Construit à l’initiative de Pierre II au milieu du XIIIe siècle, c’était une enceinte carrée de 45 m de côté flanquée à chaque angle par une tour ronde. Son plan évoque le château Morges en Suisse.

Son accès était défendu par un pont-levis enjambant le ruisseau de Bennevy. Au nord, face au lac, se trouvait le corps de logis comtal. Les murs épais de deux mètres et hauts de dix étaient prolongés par les remparts de la ville qui descendaient jusqu’au rivage, ponctués de tours et percés de quatre portes. Délaissé par les comtes de Savoie à la fin du XIVe siècle au profit de Ripaille à Thonon, le château fut occupé par les Valaisans au XVIe siècle puis investi par les troupes du roi de France et démantelé en 1591. Trois tours, vestiges du château et des remparts, sont encore visibles au-dessus de la rue Nationale.