Aus der Zeit keltischer Besiedlung findet man Grubenbauten im Burgbereich und Hangverbauungen an der Südterrasse, eine späte Phase zeigt Pfostenbauten mit Resten einer vielfältigen Handwerkstätigkeit sowie Funde von Pferdegeschirren und eisernen Sporen.

Erstmals urkundlich erwähnt wurde er als de Chalwenberge zwischen 1130 und 1136. Er erhielt seinen Namen, Kahlenberg, vermutlich durch den kahlen Felsabhang zur Donau hin oder durch den aus Verteidigungsgründen oben kahl gehaltenen Burgberg. Andere alte Schreibweisen sind Kalenberg, Kallenberg, und Chalenberg. Auf dem nördlichen Abhang des Kahlenbergs sind erstmals 1304 Weingärten belegt.

Im 12. Jahrhundert ließ Leopold III. eine Burg am Kahlenberg gegen die Einfälle der Ungarn erbauen. Leopold selbst starb 1136 hier. 1529 wurde die Burg vor dem Eintreffen der Türken in Brand gesteckt, die Reste wurden später gesprengt. Anlässlich der der großen Pestepidemie stiftete Kaiser Leopold I.1679 die Leopoldskapelle auf dem Berg. 1683 wurde der fertiggestellte Teil von den Osmanen zerstört. Nach dem Sieg in der Schlacht am Kahlenberg ließ Leopold die Kapelle wieder errichten und 1693 dem Heiligen Leopold weihen. Nun erhielt der Berg seinen heutigen Namen: Leopoldsberg. Der westlich benachbarte, etwas höhere Sauberg wurde darauf in Kahlenberg umbenannt.

Zur Wiener Weltausstellung1873 wurde über die Nordflanke des Leopoldsbergs eine in Richtung Kahlenberg führende Standseilbahn begonnen, ihre Talstation befand sich etwa an der heutigen Grenze zwischen Wien und Niederösterreich.