XIIIème siècle. La collégiale déménage

Voulant asseoir leur autorité, en faisant oublier leurs prédécesseurs, les Soissons firent disparaître la collégiale du château.

Jean II de Soissons changea le statut du chapitre.
Les chanoines furent installés dans la collégiale Saints Pierre et Paul du centre de Chimay dont le chœur fut reconstruit en style gothique.

Au château, la collégiale fut partiellement détruite et remplacée par une chapelle.

Le site fut renforcé par des tours périphériques de défense active, dont une tour quadrangulaire le long de la turris.