Le Palais Ducal, considéré comme un des 1er châteaux de la Loire, fut la résidence des comtes puis des ducs du Nivernais.
Au départ le château s'élevait à l'emplacement de l'actuel Hôtel de ville. Il fut édifié par Pierre de Courtenay.
Le Château actuel date de la seconde moitié du 15ème siècle à l'initiative de Jean de Clamecy (Comte de Nevers), qui hérite du comté du Nivernais à la suite de la mort de son père Philippe de Bourgogne. Par la suite les familles De Clèves et de Gonzague qui se succèdent à la tête du duché, et participent à l'embellissement du bâtiment avec notamment les nombreuses sculptures qui ornent la façade sud, jusqu'à lui donner en 1609 une esplanade devant offrir un vaste panorama sur la Loire. Elle ne sera terminée qu'au début du 19ème siècle.
En 1659, Charles de Gonzague vend le duché au Mazarin, les Mancini en héritent et le garde jusqu'à la Révolution. L'héritière du dernier Duc vend le château à la municipalité et au département en 1810.
En 1850 le palais de Justice s'installe, et ce n'est qu'en 1980 que la municipalité se réapproprie le monument. Le Palais de Justice se déplace alors dans l'ancien Palais épiscopal.
