En 1910, Alfred Courmes achète ce qui va devenir le Domaine du Rayol. Il y fait construire la ferme et sa demeure principale. En 1925, les Courmes vendent la demeure principale qui devient « l’Hôtel de la mer » et vont s’installer à la villa Le Rayolet, à l’autre bout du jardin. En 1940, madame Courmes revend la propriété à l’avionneur Henri Potez. Contraint par la guerre, il doit se réfugier en zone libre. Les hostilités terminées, le Domaine du Rayol redevient une résidence d’été, mais faute d’entretien à la fin des années soixante, il est à l’abandon. Échappant à de nombreux projets immobiliers, la propriété sera achetée en 1989 par le Conservatoire du littoral qui propose au paysagiste Gilles Clément de réinventer les jardins.