An der Stelle des Türkenschanzparkes befand sich 1683 während der Zweiten Wiener Türkenbelagerung eine Befestigung der Türken, eine Schanze. Allerdings wird bereits in einer topografischen Darstellung aus dem Jahr 1649 dieses Gebiet als „Türkenschanz“ bezeichnet. Die Die Benennung geht vermutlich auf die Erste Wiener Türkenbelagerung zurück, Belege dafür gibt es aber keine.

Lange Zeit war das Gebiet unverbaut, es gab Kornfelder und Wiesen. Über Jahrhunderte wurden hier auch Bausand und Schotter abgebaut. Bekannt war im 19. Jahrhundert die „Schreibersche Sandgrube“.

1883 wurden wurde das fast 29 Hektar große Gelände für Häuser mit Vorgärten parzelliert und Häuser der Wiener Cottage erbaut. In der selbstständigen Stadtgemeinde Währing bildete sich ein „Comité zur Anlage eines öffentlichen Parks auf der Türkenschanze“. 

Das Grundstück wurde mit dem Geld des Wiener Stadterweiterungsfonds, der Gemeinden Währing und Ober-Döbling, des Wiener Cottage Vereins sowie des Stadtbaumeister Ferdinand Oberwimmer finanziert. Außerdem stellte Oberwimmer mit dem Lederfabrikanten und Lokalpolitiker Jacques Gerlach Grundstücke im Ausmaß von rund 70.000 m² zur Verfügung.

Unter der Leitung des Wiener Stadtgartendirektors Gustav Sennholz wurde ab 1885 der Park im Stil eines englischen Landschaftsgarten angelegt. Der alte Schießgraben wurde aufgeschüttet, das an anderer Stelle vier Meter abgegrabene Terrain lieferte den Aushub zur Errichtung eines künstlichen Hügels. Darauf wurde die Paulinenwarte, ein nach seiner Sponsorin Pauline von Metternich benannter Aussichtsturm, nach dem Entwurf des Architekten und Stadtbaumeisters Anton Krones sen. errichtet. Man erbaute auch nach Plänen des Architekten Wilhelm Stiassny eine längst nicht mehr bestehendes in italienischer Renaissance ausgeführte dreigeschossige Restauration. Sie lag unweit des Eingangs an der heutigen Gregor-Mendel-Straße.

Am 30. September 1888 eröffnete Kaiser Franz Joseph I. den Park. In seiner Rede äußerte der Monarch seinen Wunsch, dass die  Vereinigung der Vororte mit der Stadt Wien bald stattfinde. Sie wirkte sich auf die weitere Entwicklung Wiens positiv aus. Der sanfte Druck des Kaiser bewirkte, dass mit 1. Jänner 1892 41 Vororte zu Wien kamen.

Im Dezember 1892 ging der Park gegen Übernahme der Kosten und Lasten in den Besitz der Stadt Wien über. 1908 wurde die Erweiterung beschlossen, nachdem die Stadt Grundstücke vom Staat erwerben konnte. Sie wurde bis 1910 vom Stadtplaner Heinrich Goldemund und dem Stadtgartendirektor Wenzel Hybler fertiggestellt.

Neben Teichen, Bächen und Springbrunnen befindet sich eine Reihe von Denkmälern im Park, etwa für die Dichter Adalbert Stifter und Arthur Schnitzer oder für die Komponisten Franz Marschner und Emmerich Kálmán. Im Zuge einer Zusammenarbeit mit der benachbarten Universität für Bodenkultur wurden zahlreiche botanische Raritäten aus allen Kontinenten gepflanzt.