Son origine remonterait au début du XVIIIème siècle. Il a entre autres appartenu à M. Benjamin Van Gelder, riche soyeux de Lyon, qui possédait également un hôtel particulier face à l'Hôtel des Ventes de Paris (plus connu sous le nom d'Hôtel Drouot).
Du parc déjà existant il fit un lieu agréable où l'on canotait sur l'étang, artificiel et dont la profondeur au centre était de trois mètres. L'eau qui l'alimentait venait des gouttières des bâtiments et du drainage du terrain, car la propriété possédait un superbe jardin potager, aussi bien équipé qu'un terrain maraîcher de cette époque sinon mieux, disposant d'une grande serre adossée bien exposée au sud et sur le versant ouest d'un magnifique verger.
Outre l'ancien monastère, M. Van Gelder possédait les terres du Clos de l'Aumône, qui doit son nom au seigneur d'émery qui venait y faire l'aumône toutes les semaines aux nécessiteux qui se présentaient pour recevoir une obole.