D’après les textes anciens, Colas de Peret (aussi nommé Nicolas Dupeyret) était seigneur de Bien-Assis en 1481. Le château est, par son style, de la seconde moitié du XV siècle.
Le château est ensuite passé successivement dans les familles de Chasauvert, Mercier, Tardé, Alamargot, La Saigne de St Georges, puis à Mme Sarret qui le vend à MM. Jean et Richard de Montaignac qui le louent à des fermiers.
Suite à une mesure d’expropriation, le château est récupéré par la ville de Montluçon qui le cède à la Société d’équipement du bourbonnais qui devait le démolir dans le cadre de la construction du nouveau quartier de Bien-Assis.
C’est en 1970 que les Amis de Montluçon achètent le château de Bien-Assis afin de le sauver de la démolition. Le prix Émile-Mâle 1993 a été attribué à la Société pour la restauration de cet édifice du XV siècle, inscrit à l’inventaire supplémentaire des Monuments historiques une première fois le 09 décembre 1929, désinscrit 17 mars 1933 et réinscrit le 20 décembre 1965.