Le château est situé sur une butte qui domine la vallée de La Bave. Les premières traces d'une forteresse remontent à l'Antiquité Romaine, comme l'attestent des armes et des monnaies découvertes pendant des fouilles, ce qui n'interdit pas de penser qu'il y a peut être eu d'autres constructions bien plus anciennes. Le premier édifice médiéval est daté du 7ème siècle, époque précisée dans un écrit. Ensuite la première tour a été construite en 1178, puis en 1427 le second donjon et en 1602 le château fortifié. Le manoir de style Néo-Médiéval a été construit en 1895. Pendant la seconde Guerre Mondiale le lieu était stratégique pour la Résistance Française, et après la fin de la guerre le château a été acheté par Jean Lurçat, un artiste célèbre pour ses tapisseries, ses peintures et ses céramiques, décédé en 1966. Sa veuve a cédé le château au Conseil Général du Lot en 1986.