Le château médiéval, construit au 11e siècle, fut d’abord une résidence royale, appartenant aux Capétiens puis aux Valois. Le Château devient ensuite la propriété des ducs d’Orléans. Après un long abandon qui laisse le château en ruine, celui-ci est reconstruit dans la seconde moitié du 17e siècle par les Phélypeaux de La Vrillière, une famille de secrétaires d’Etat du roi. Le château se mue alors en « un petit Versailles », agrémenté de jardins à la française descendant jusqu’à la Loire.
A la fin du 18e siècle, le château est racheté et agrandi par le duc de Penthièvre, petit-fils de Louis XIV. A la Révolution, le château est vendu comme bien national puis en partie détruit. Les bâtiments qui subsistent, une partie du corps principal de logis et les dépendances (écuries, pavillons d’entrée et orangerie), sont classés monuments historiques en 1927 et 1942.
Le château est depuis 1925 l’hôtel de ville de Châteauneuf-sur-Loire.