Selon Albert Maumène, historien du château du Champ, avant le XV siècle, les constructions de ce castelet, désigné dans les vieux titres sous le nom de « castrum », s'agençaient en deux ailes disposées en équerre ; l'une au sud, l'autre à l'ouest, le tout flanqué de trois tours, deux côté sud, une au centre de la façade ouest et une échauguette à l'angle nord-ouest. Au nord-est et détaché du reste de l'édifice, s'élevait le donjon, avec ses meurtrières, son chemin de ronde et ses mâchicoulis encore bien présents. Une enceinte entourait le vaste terre-plein sur lequel s'élève le château d'une forme trapézoïdale. Deux tours de défense, une à chaque angle nord-ouest et nord-ouest, reliées entre elles par un mur, commandaient l'ensemble au nord. Deux hauts murs de terrasse le fermaient à l'est et à l'ouest, tandis qu'un large fossé le protégeait au sud. Ainsi, la défense était assurée par les remparts dont les trois côtés étaient à pic sur la rivière et par un fossé et une herse, côté sud.
Au XV siècle, il fut procédé à plusieurs adjonctions à l'édifice féodal, notamment l'aile nord, qui relia ainsi le bout de l'aile ouest au donjon, jusqu'alors isolé. Les fenêtres à meneaux que nous voyons encore aujourd'hui s'ouvrir côté nord, semblent dater du XVI siècle. Ainsi l'édifice pris sa forme actuelle dite en « fer à cheval » ou en « U ». En outre, vers 1450, on construisit la tour d'angle intérieure, qui regarde l'est (la cour), plus haute que le donjon, mais dans laquelle se trouve un escalier tournant qui dessert le premier étage et l'étage des combles. Enfin fut édifié un rempart avec une poterne, à l'extrémité des deux ailes, à hauteur du donjon. Ce rempart ferma complétement la cour entre les bâtiments et donna donc au château, un plan en « carré ». Ainsi le château se présentait avec deux enceintes : celle extérieure commandée par ses deux tours de défense au nord et le fossé au sud, et celle intérieure que commandait l'édifice lui même, avec son donjon et son rempart flanqué de deux tours.
Différentes réparations effectuées vers le milieu du XVIII siècle firent perdre à l'édifice son fort caractère féodal. C'est sans doute à ce moment que la chapelle qui occupait alors l'extrémité de l'aile sud fut transformée en cuisine, et qu'une autre fut construite au pied du rempart nord. Comme le voudrait la légende, cette nouvelle chapelle aurait été édifiée en ex-voto, au niveau où l'eau de la rivière alors en crue dévastatrice, se serait arrêtée. C'est à cette même époque que de grandes fenêtres furent percées dans la façade ouest, afin de faire pénétrer à flots la lumière au sein de l'édifice, mais ce au détriment de son caractère défensif. Par ailleurs, pour se conformer au goût du jour, on voulut faire une cour d'honneur. On décida d'ouvrir l'ancien rempart qui fermait la cour d'enceinte du côté est, et c'est alors que fut agencé et axé sur cette dernière, le perron à double révolution et deux paliers latéraux enserrant une niche, vide aujourd'hui. Cet escalier comporte deux doubles volées de marches que limite seulement le bandeau de pierre, sans balustrade ni rampe.
Sous la période révolutionnaire, les terres et le château furent saisis et vendus, les tours rasées à hauteur des toits, le château pillé et les papiers enlevés. Les dernières transformations furent effectuées par M. de Chapelain, dans les années 1860. Il fit rehausser les tours (en poivrières) qui avaient été décapitées et fit démolir complétement le rempart qui fermait la cour intérieure, et l'a ainsi mise en évidence. Il fit construire au fond de cette dernière, une galerie vestibule.
Pour résumer, des dispositions défensives initiales du château du Champ, il subsiste aujourd'hui de la première enceinte, les murs des remparts qui sont les murs de la terrasse de la plate-forme du château, les deux tours ruinées d'angle (celle au nord-est ayant été transformée en pigeonnier), alors que rien n'indique plus la position de l'ancien fossé. De la seconde enceinte demeurent le corps principal de logis, ses deux ailes en fer à cheval, la tour à curieuse échauguette, le donjon élancé et dans le mur en face de ce dernier, quelques grosses pierres indiquant l'attache du rempart et de sa poterne, qui reliait les deux ailes et fermait la cour. Tous les aménagements successifs ont laissé leur empreinte. Selon M. de Chapelain : « il résulte de cet ensemble de travaux, un édifice incohérent, où l'on trouve un peu de tout ». Pour autant, cela n'altère en rien la beauté de ce château, la variété de l'architecture constitue le témoignage de son riche passé.
Le château du Champ est l'un des lieux de tournage du film de Coline Serreau Saint-Jacques… La Mecque (2005)
