Le château fait partie d'un site médiéval assez important situé sur un éperon rocheux dominant la confluence de deux rivières, la Briance et la Ligoure. Le site a été fondé vers l'an 1130 par deux chevaliers de la famille des Jaunhac, suzerains du vicomte de Limoges. Il y a d'abord des restes de remparts puis "Le village des chevaliers" ou bas castrum. Des maisons-tours parfois munies de caves voûtées pour le stockage. Un donjon a aussi été édifié fin 12ème début 13ème siècles, "La Tour Jeannette" d'une hauteur de 23 mètres. Ensuite il y a les vestiges d'une chapelle et le château. Pendant la Guerre de la Vicomté, de 1260 à 1277, un ministre du vicomte de Limoges a repris les droits seigneuriaux sur Châlucet et a transformé le premier château en palais fortifié. En 1594 pendant les Guerres de Religion le château a été détruit par 100 ouvriers envoyés par la ville de Limoges pour empêcher les Catholiques de s'y installer.
Aujourd'hui les ruines et tout le site appartiennent depuis 1996 au Conseil Général de la Haute-Vienne, qui a lancé un programme de sauvegarde et de valorisation.