Der heutige Kahlenberg hieß ursprünglich Sauberg oder Schweinsberg – wahrscheinlich wegen der zahlreichen Wildschweine, die in den Eichenwäldern lebten. Bis ins 17. Jahrhundert war er unbewohnt. Kaiser Ferdinand II. erwarb 1628 den Berg vom Stift Klosterneuburg, ließ dort eine Eremitage für den Kamaldulenserorden errichten und nannte ihn Josephsberg.
1870 erwarb die Union-Baugesellschaft das Gebiet und errichtete die Kahlenbergbahn (Zahnradbahn) sowie im Bereich des bestehenden Restaurantgebäudes das Hotelrestaurant Kahlenberg. Nach Konkurs der Zahnradbahn wurde das Gebäude von der Kahlenberg AG, einer Tochtergesellschaft der Stadt Wien erworben.