El Retiro era ya en 1850 una finca de recreo con huertas, árboles frutales y especies ornamentales propiedad de D. Luis de Ysasi Lacoste. Tras su muerte dona a la ciudad de Jerez su hacienda para la creación de uno de los primeros parques de la ciudad. En 1898, siendo los jardines todavía de su propiedad, invita a todos los maestros de Jerez a un “lunch”, tras la celebración de la Primera Fiesta del Árbol en nuestra ciudad “para impulsar desde el comienzo, esta feliz iniciativa”.
El legado se traspasa a finales de 1902 y la única condición era que esta finca debía conservarse para uso público en forma de parque. Asimismo, también se especificaba la construcción de una biblioteca para facilitar el mundo de la cultura a las capas más pobres de la ciudad. Y si existía algún incumplimiento por parte del Ayuntamiento, dicha finca pasaría a manos de sus herederos legítimos.
Por su cercanía a las entonces 'afueras de la ciudad', era un lugar ideal para el esparcimiento y el paseo de los ciudadanos.
Servirá de marco, el 25 de diciembre de 1903, a la Fiesta de los Niños, una celebración precursora de la actual cabalgata de Reyes. “Más de 2000 pequeñuelos disfrutaron al ver aquellos árboles cargados de juguetes y adornados con exquisito gusto por bellas y elegantes damas”.
El parque, que en sus primeros tiempos ocupaba una superficie mucho mayor que la actual, va tomando forma con el paso de los años. Ya en la década de 1920 cuenta con una arboleda en todo su esplendor.
Se estructura en torno a un largo y recto paseo central en sentido Este -Oeste que, flanqueado de naranjos, constituye la columna vertebral del parque. A sus lados, otros dos paseos laterales de trazado sinuoso, discurren entre las praderas.
En su extremo oriental, los paseos confluyen en un parque infantil rodeado de fresnos, sóforas, palmeras. En el otro extremo, se forma también una explanada en la que se encuentra un estanque y un pequeño montículo. El extremo occidental acoge parte de las instalaciones del vivero municipal.
Entre los aboles del parque podemos destacar los singulares: Castaño de Flor Roja, Limpia tubos llorón, Majuelo, Fresno de la tierra, Gingo, Pino Carrasco y Yuca gigante. También encontramos buenos ejemplares de: Árbol del Amor, Ciprés común, Drago, Maclura y Agracejo.