Le nom de Clohars-Carnoët ne doit pas être confondu avec la commune de Carnoët dans les Côtes d'Armor. Le vieux château, ou plutôt les ruines, se trouvent dans la forêt de Quimperlé au Sud de la ville. C'est un de ces Châteaux-Forts oubliés dont on ne sait que très peu de choses. Pour dire vrai ce que l'on sait de lui tient autant de la légende que de l'Histoire, même l'époque de sa construction n'est pas établie de façon certaine. Il a peut-être été à l'origine une ancienne fortification, rasée au 9ème siècle par des pirates Normands. Ils en furent chassés par le comte de Cornouailles Alain Canhiart, qui aurait esquissé ensuite la forme que les ruines nous montrent aujourd'hui, pour défendre ses possessions un territoire d'environ douze paroisses. Plus tard le château est devenu une chatellenie ducale et a servi de rendez-vous de chasse pour les Ducs de Bretagne au 13ème siècle. Pour remonter au début de l'histoire du château, son premier propriétaire aurait été le roi Breton Conomor, un roi cruel qui règnait sur la Bretagne au milieu du 6ème siècle. Aussi désigné sous les noms De Konomor ou Cognomorus, son histoire côtoie la légende et fait de lui un personnage assez mystérieux. Bretagne terre de légendes, celles du vieux château sont toujours présentes sur le site. Il suffit d'y croire et écouter. Pour terminer, si le château est nommé "Vieux" c'est pour le différencier d'un château du 19ème siècle situé non loin et nommé Château de Carnoët.