À l'origine l'établissement est un des tout premiers lycées de jeunes filles de France, en application de la loi Camille Sée. Jusqu'en 1881 les lycées en France sont réservés aux garçons. En 1880 loi Camille Sée institue un enseignement secondaire pour les filles avec un programme spécifique. Les Républicains voulaient soustraire les femmes à l'influence cléricale. Certains veulent aller vite comme l'inspecteur académique ou le maire de Nantes George Colombel. Alors que la Lettre ministérielle précisant les conditions d'ouverture paraît en août 1882, l'ouverture de l'établissement a lieu en octobre 1882, avant même la signature de son traité constitutif par la Ville et le Ministère en juillet 1883.
Pour accueillir les élèves, la ville achète deux maisons bourgeoises rue Harrouys, et Élisa Bordillon la première directrice accueille cent jeunes filles à l'ouverture. Elles sont 120 en janvier 1883, 200 en 1886 et 500 en 1907. Ce succès nécessite un agrandissement, ce qui se traduit par un déménagement. La mairie conduite par Gabriel Guist'hau rachète des terrains et la chapelle abandonnés par l'Externat des Enfants Nantais. Les bâtiments existants sont rasés, laissant place à la construction d'un nouvel édifice doté d'une structure en béton, les travaux durant jusqu'en 1914. Pendant la Première Guerre mondiale, l'école sert d'hôpital militaire. Jacques Vaché et André Breton s'y rencontrent en 1916.
La guerre finie les travaux reprennent et se poursuivent de 1919 à 1932. En 1924, il est décidé que les jeunes femmes préparent le même baccalauréat que les garçons. En 1928 le vieux lycée de la rue Harrouys devient une école primaire. En 1932, les travaux achevés, le lycée est baptisé Gabriel-Guist'hau, un an après la mort de celui-ci.
Au début de la Seconde Guerre mondiale, Madeleine Bourguel, professeur membre de l'association des françaises diplômées des universités, est à l'initiative du parrainage par la grande majorité du personnel du lycée de deux collègues polonaises réfugiées, on ne relève que douze cas semblables en France.
Le lycée Guist'hau est devenu une institution fréquentée par les enfants de la bourgeoisie, comme tous les lycées de l'époque. L'établissement devient mixte en 1970, comme partout. Le lycée propose de nombreuses formations et dispose de peu d'espaces, étant situé dans quartier urbanisé. L'internat a été réduit, accueillant 21 jeunes filles du secondaire. Le sport est dispensé dans les installations municipales pour récupérer l'espace qui aurait été nécessaire à des installations propres. En 2006 sont lancés des travaux transformant le préau avec verrière en hall fermé, ce qui a permis la création quatre nouvelles salles. Aujourd'hui encore, l'établissement conserve une réputation de lycée bourgeois.
