Il connut une grande extension , jusqu’à  posséder douze tours .Malheureusement une bonne partie des bâtiments fut démolie au début du XIX e  siècle : il ne reste plus aujourd’hui du château primitif que le pavillon d’entrée , un élément de muraille flanqué d’une orangerie récente et d’une tour.

Ces témoins indiquent quelle était la puissance ancienne du château , certainement l’un des plus remarquable du sud Deux-Sèvres et peut-être même de tout le Poitou.

La tour carrée est flanquée aux angles de petites tourelles en encorbellement. Deux fenêtres à meneaux ,encadrées de mâchicoulis , surmontent le portail. Ce châtelet est chapeauté d’une immense toiture en ardoises à pente très forte.

La tour ronde plus basse et plus trapue, est ornée d’une galerie sur mâchicoulis. Elle est couronnée d’une toiture conique Une remarquable chapelle est accolée au châtelet , du côté de la cour qui est pourvue d’un très beau portail de style Renaissance ;

Le château a été racheté par la commune de Chef-Boutonne en 1982. Depuis la restauration est l’oeuvre de bénévoles « les amis du Château de Javarzay ». Leurs travaux ont permis la présentation de multiples expositions ainsi que la réalisation de spectacles nocturnes qui ont attiré de nombreux spectateurs.

Un musée de la coiffe où sont exposés plus de 400 objets accueille également de nombreux visiteurs. Enfin un salon de thé fonctionne dans l’orangerie , au bénéfice de la restauration de l’édifice.