Estudió en el conservatorio de su ciudad natal y trabajó como violinista en varias orquestas, antes de iniciarse en el arte de la dirección, en 1954 y 1955, con Ferdinand Leitner. En 1955 fue nombrado director segundo de la orquesta de la radio holandesa.
En 1956 sustituyó a Carlo Maria Giulini en la orquesta del Concertgebouw, tras de lo cual recibió algunas otras invitaciones a dirigir esta orquesta y la acompañó en su gira por Inglaterra en 1959. Tras la muerte repentina de Eduard van Beinum en 1959, Haitink fue nombrado director principal. Alcanzó fama internacional cuando en 1961 recibió el nombramiento de director principal de la orquesta junto con Eugen Jochum, quien se retiró en 1964, quedando Haitink al frente de la formación, como director artístico.
Entre 1967 y 1979 fue director de la London Philharmonic Orchestra y entre 1978 y 1988 fue director musical del Festival de Glyndebourne. En 1988 no se prorrogó su contrato con la orquesta del Concertgebouw, lo que...