Il est situé sur un éperon qui domine le confluent de la Cère et de la Dordogne. Sa construction s'est déroulée sur plusieurs siècles, du 12ème au 17ème siècle. L'importance de son système de défense en fait l'un des plus beaux exemples de l'architecture militaire du Moyen Age. De la période médiévale on voit le donjon carré et un logis seigneurial. Il a ensuite été réaménagé au 15ème siècle, abandonné au 18ème siècle et restauré de 1896 à 1932 par Jean Mouliérat, un célèbre chanteur d'Opéra-Comique qui l'avait acheté par passion pour cet édifice.
