Le château a été construit sur l'emplacement d'une villa Gallo-Romaine, le premier château-fort est édifié vers l'an 1000 et signalé en 1028. Il forme un ensemble imposant en ruines de bâtiments qui entourent une grande cour. L'entrée se fait par un pont et une poterne, les bâtiments sont sur trois côtés et un mur forme le quatrième. On trouve une tour et une tourelle à deux des angles. On voit encore des décors, en particulier au dessus des fenêtres, et des merlons sculptés dans un style baroque original.
Au début du 11ème siècle il appartient au fils du comte d'Angoulême puis au début du 14ème siècle, à la réunion de l'Angoumois, il passe à Jeanne de Navarre et à Aimery III de La Rochefoucauld. Pendant la Guerre de Cent Ans le roi d'Angleterre Jean sans Terre y séjourne plusieurs fois, et Bouteville est repris par les Français vers 1355. En 1360 l'Angoumois est rendu à l'Angleterre, le château repasse plusieurs fois aux Français mais en 1445 les Anglais y sont encore avant leur retrait définitif. Le château est ruiné par la Guerre de Cent Ans et restauré en 1453. Ensuite il est à nouveau en ruines après les Guerres de Religion et reconstruit par le gouverneur du roi, les travaux dureront jusqu'en 1624. En 1726 il est la propriété du major des gardes du corps qui fait procéder à des transformations importantes. En 1788, en mauvais état, il appartient au comte d'Artois qui commence sa rénovation.
En 1929-1930 des travaux sont effectués, la charpente de la grande salle, la démolition des restes de l'aile Sud, l'aménagement de la terrasse de l'aile principale, la démolition du porche d'entrée de la cour. En 1984 le château est classé Monument Historique et en 1994 il devient propriété de la commune.