Les Comtes de Vaudémont s’établissent à Châtel en 1072 et ils édifient à l’origine une simple enceinte quadrangulaire qui va par la suite entourer une grande tour rectangulaire faisant office de donjon, construite vraisemblablement à la fin du XIème siècle. De cette tour primitive subsiste la base arasée avec un parement en assises de moyen appareil, les murs présentant une épaisseur d’environ 3 mètres. L’entrée initiale se trouvait au 1er étage et elle était munie d’un accès par un escalier de bois. L’ouverture actuelle à la base de la tour a été percée au XVème siècle, au moment de sa transformation en tour d’artillerie.
Du XIIIème siècle datent des agrandissements importants avec l’apparition de tours de flanquement qui jalonnent la courtine sur le front de la Moselle. A l’origine une tour porche permettait l’accès au château après le franchissement d’un pont levis à chaînes dont il subsiste l’emplacement dans les sous-sols du bâtiment d’accueil.
Datant du XIIIème siècle sont visibles la tour de la Place qui a conservé une hauteur de 10 mètres, la courtine sud-ouest qui renferme la galerie des archers munie de plusieurs archères ainsi que la salle des gardes couverte d’une voûte d’arêtes, puis la tour de l’Etuve qui protège l’accès aux sources, et enfin la courtine conduisant à la tour de la Chapelle qui marque la fin du front est du château face à la Moselle.
Au XVème siècle les seigneurs de Neufchâtel vont entreprendre un vaste programme de transformation qui va s’étaler de 1430 à 1450 pour adapter le château à l’artillerie. Vont être construites les deux tours antérieures du châtelet d’entrée, précédées d’un pont-levis à bascule situé en amont du pont levis du XIIIème. L’une des tours existant encore sur une hauteur de 10 mètres a conservé sa salle basse munie de deux canonnières, d’un escalier d’accès et d’un évent pour les fumées. Depuis la ville un plan incliné permet de monter au château, mais l’accès est protégé par une barbacane d’environ quinze mètres de long, construite en grand appareil et qui est encore très visible.
Au nord s’étend la double enceinte d’artillerie protégée par un fossé sec de 57 mètres de large face au plateau. Le fossé était constitué de deux parties séparées par une haie de pieux et d’épines en son milieu. Les tours en fer à cheval de l’enceinte extérieure présentent des canonnières dont le tir est principalement de flanquement tandis que l’enceinte intérieure tire directement. L’ouvrage le plus remarquable est la Grosse tour qui présente pas moins de cinq canonnières par étage et une salle basse voûtée en coupole de 7 mètres de haut servant de réserve. L’emplacement du contrepoids permettant d’actionner le monte-charges est encore visible. Une porte charretière située à côté de la Grosse tour permet de passer du château au boulevard séparant les deux enceintes en assurant une circulation. Plusieurs tours de l’enceinte extérieure ont gardé leur étage inférieur voûté auquel on accède par un étroit escalier.
Au sud, du fait d’un espace restreint face à la Moselle, les Neufchâtel ont édifié à l’aplomb du mur d’enceinte initial une chemise d’artillerie percée d’une galerie de canonnières. Cette chemise se continue pour enserrer la tour de l’Etuve et se poursuit jusqu’à la tour du Parterre, une tour d’artillerie de 15 mètres de diamètre qui protège la tour de la Chapelle du côté est du château du XIIIème. La courtine continue et se poursuit jusqu’à la tour de la Campagne, une puissante tour d’artillerie en fer à cheval qui domine les fossés et en interdit l’accès à l’ennemi. Entre la tour du Parterre et la tour de la Campagne se situent deux ouvrages intérieurs particulièrement intéressants. Tout d’abord une salle permettant, grâce à deux portes charretières, l’accès à un monte-charges pour le déchargement des chariots sans pénétrer dans le château. Les trous de boulins supportant la structure en bois du monte-charges ainsi que la gaine du contrepoids sont parfaitement visibles. Un escalier très raide permet d’accéder au bas du monte-charges. L’autre bâtiment est plus mystérieux et présente un plan incliné long de 30 mètres présentant une pente de 12% dont la poutraison est encore visible. S’agissait-il d’un plan de roulement permettant d’amener les canons ?
En revenant vers le centre du château on découvre trois corps de logis. Celui des Vaudémont est situé à l’ouest et il n’en reste que peu de vestiges. L’hôtel Neufchâtel est situé transversalement à la Moselle et parallèlement au logis Vaudémont et il est de plus grande taille. Il comprenait à l’étage une très grande salle des fêtes disparue dont il ne subsiste que les celliers voûtés sur une longueur d’environ 20 mètres. A l’Ouest et disposé parallèlement à la Moselle, l’hôtel Werdenberg construit vers 1510 par Félix de Werdenberg est plus modeste mais sans doute plus confortable avec ses petites pièces munies d’un écoulement des eaux usées et avec sa cuisine extérieure dont l’évier est encore en place.
En retrait et un peu plus à l’ouest se situe l’arsenal, dont l’usage était antérieurement au XVème siècle les écuries, comme en attestent deux puits encore en eau à l’intérieur. L’arsenal a été réutilisé par la suite comme caves par les moines Capucins qui se sont installés sur le site au début du XVIIIème.
