Les vestiges du château sont situés sur un promontoire rocheux d'où on a une vue étendue. La tour en pierre a été construite aux 12ème et 13ème siècles à l'Ouest de la ville, en remplacement de la motte castrale. Elle était composée sur plan carré, avec des contreforts dans les angles, d'un sous-sol, d'un rez-de-chaussée et de trois étages. L'entrée était au premier étage vers la cour, à l'Ouest, le rez-de-chaussée servait de réserve et à la défense de l'ouvrage, les niveaux supérieurs étaient pour l'habitation. les murs mesuraient 4 mètres d'épaisseur et de 22 à 23 mètres de hauteur. L'enceinte à neuf côtés de la basse-cour a été reconstruite par le duc Jean IV à la fin du 14ème siècle, elle est munie de moineaux, (ou Caponnières), dans les angles. En 1488 les Français s'en emparèrent sans résistance après leur victoire à la bataille de Saint-Aubin-du-Cormier. Bataille qui s'est passée le 28 Juillet 1488 entre les troupes du roi de France Charles VIII et celles du duc de Bretagne François II. Le duc de Mercoeur s'en rendit maitre en 1597, et Henri IV le fit démolir l'année suivante sur demande de la population. Il ne reste que la partie Est du donjon et les courtines de la basse-cour. Ces vestiges ont été inscrits aux Monuments Historiques en 1926. Ils sont occupés par des terrains de Basket-Ball, dont un a été transformé en piste de Skateboard depuis l'été 2015.