De oorspronkelijke villa werd reeds rond 1868 opgetrokken in opdracht van grootgrondeigenaar Benjamin Crombez volgens de plannen van de Doornikse architect De Man-Bogaert. Talrijke marines van Robert Mols sierden de grote ontvangstzaal van deze luxueuze residentie die betiteld werd als "La Villa des Lapins". Dit werd zo genoemd omdat er inderdaad onder allerlei vormen en op heel veel plaatsen afbeeldingen van konijntjes waren aangebracht. Er waren o.a. konijnenfiguren opgevuld met stro, in porselein of in hout, afbeeldingen in de glasschilderwerken en op de horloges en cementen konijnen bij de voorgevel. Wanneer Benjamin Crombez op de badplaats verbleef, wapperde op het dak van de villa de toenmalige vlag van Nieuwpoort-Baden, namelijk een geel veld met een konijn erop. Dit is een duidelijke verwijzing naar de vele "dunekeuntjes" in het duinencomplex, in die tijd nog een onmetelijk wijd stuk ongeschonden natuur, waar heel dikwijls grote jachtpartijen werden georganiseerd, zoals op 14 augustus 1876 met koning Leopold II.

Maar toen kwam de Eerste Wereldoorlog. Op 13 oktober 1914 nam Koning Albert I er zijn intrek voor een dag en amper een maand later op 11 november ging deze prachtvilla in vlammen op. In 1920 werd aan de wederopbouw gedacht. Onder toezicht van Leon Verlinden en Louis Joyeux moet vooraf de toen bekende “boyau cave” worden verwijderd. Dit was een lange loopgracht van Oostduinkerke tot aan het Hendrikaplein met hier en daar een uitgang, o.m. nabij de huidige IJzerstraat.

Het nieuwe gebouw kwam in 1924 met een gevelbreedte van 62 meter in Normandische stijl tot stand. Prins Karel was er dikwijls op bezoek. Het gebouw was verdeeld in een grote villa, een kleinere villa en een serre. Het ruime dak was doorbroken met dakkapellen en standvensters en achteraan langs de zijde van de "Voie Auguste" (de vroegere benaming voor de Albert I-laan) was een open tuin. Het geheel stond onder toezicht van de meestergasten-conciërges Louis Joyeux en Georges Levecque.

Na de bezetting van dit gebouw door de Duitse overheid in de Tweede Wereldoorlog werd het van mei 1945 tot september 1946 in gebruik genomen als kazerne voor de ontmijningsdienst van het Belgische leger, waarna het in 1947 een A.E.P.-tehuis voor oorlogswezen was geworden op kosten van de Belgische staat.

In december 1949 kocht de vzw Kindervreugde de Villa Crombez aan en stelde haar open voor sociaal toerisme. In 1981 werd het gebouw op de lijst geplaatst van het Belgisch cultuurpatrimonium en aldus geklasseerd als beschermd stadszicht. Aanvankelijk stond Kindervreugde enkel in de maanden juli en augustus open voor de kindervakanties. Later kreeg het een multifunctionele invulling: gepensioneerden, diverse organisaties, scholen en gezinnen konden er het hele jaar door terecht.