Bij de aanleg tussen Delft en Rotterdam ondervond de HSM problemen met een landeigenaar, dat een station bij Heemstede wilde. Die eigenaar kocht een laantje ten zuiden van Delft om de HSM dwars te kunnen zitten (het Laantje van Van der Gaag). Uiteindelijk bouwde de HSM de lijn er met een kronkel omheen (het Kromme Lijntje). De lijn werd niet lang daarna rechtgetrokken, zonder resultaat voor de landeigenaar. Uiteindelijk zou Heemstede in 1876 een station krijgen, waar momenteel zelfs sneltreinen stoppen.

De lijn werd in breedspoor (1945 mm) aangelegd.  Later moest de HSM haar lijnen ombouwen naar normaalspoor (1435 mm).

In 1878 werd het tracé bij Amsterdam Willemspoort verlengd naar Amsterdam Westerdok (en later Amsterdam Centraal). Deze verlenging ontstond vanwege de aanleg van de spoorlijn naar Zaandam en Den Helder en de aanleg van de Oosterspoorlijn (Amsterdam - Zutphen). De spoorlijn Amsterdam - Rotterdam en Amsterdam - Zutphen werden via een aangelegde spoordijk verbonden. Midden op die dijk werd station Amsterdam Centraal gebouwd, dat in 1882 werd geopend.

In 1924 werd het tracégedeelte tussen Leiden en Den Haag HS als proeftracé geëlektrificeerd met 1500 V gelijkstroom, waarmee dit het eerste Nederlandse spoor geëlektrificeerd met 1500 V is. In 1927 volgde de elektrificatie van de rest van de spoorlijn (in hetzelfde jaar voltooid).

Vanaf 1938/1939 werd de exploitatie en eigendom overgenomen door de NS (Nederlandse Spoorwegen).

In 1985 werd het tracé bij Amsterdam Sloterdijk verlegd, zodat er ook treinen tussen Amsterdam en Haarlem konden stoppen op het in 1983 geopende station Amsterdam Sloterdijk.

In 2003 ging het beheer en eigendom van de lijn over naar ProRail.

Momenteel is de spoorlijn nog steeds een belangrijke verbinding voor zowel personen- als goederenvervoer.

De spoorlijn (Amsterdam - Haarlem) bestond op 20 september 1989 precies 150 jaar.