Nacido en Ámsterdam (Holanda), se crió en un ambiente familiar vinculado a la música y desde el principio se interesó por el órgano y el clave. Tras acabar el bachillerato se trasladó a la Schola Cantorum Basilensis, estudiando bajo la dirección de Eduard Müller.
En 1952 fue nombrado profesor de musicología y clave en la Academia de Música de Viena, cargo que desempeñó hasta 1955. A continuación dio clases en el Conservatorio de Ámsterdam y obtuvo el puesto de organista de la Nieuwe Kerk. Desde 1950 ha ofrecido conciertos de clave y órgano por toda Europa, América, Asia y Australia. Ha grabado más de ciento ochenta discos para diversas casas discográficas.
Como musicólogo ha publicado un detallado estudio sobre el Arte de la Fuga de J.S. Bach y ha supervisado, para Universal Editions, la publicación de una serie de música de cámara del siglo XVIII. Desde 1969 ocupa una cátedra en la Universidad de Harvard en los Estados Unidos. Como director musical ha recorrido todas las salas de conciertos del mundo al frente de las principales agrupaciones de instrumentos originales, de las que ha sido un constante inspirador: La Petite Bande, The Orchesta of the Age of Enlightment y Freiburger Barockorchester.
También ha dirigido representaciones de óperas de Monteverdi y Rameau. Ha grabado, en colaboración con Nikolaus Harnoncourt, la totalidad de las Cantatas de Bach, así como numerosas obras inéditas de autores franceses y alemanes. Muy importante ha sido su labor como parte del trío formado junto a Franz Brüggen y Anner Bylsma, con quienes ha desarrollado una valiosa actividad investigadora y musical, sentando así las bases de la interpretación con criterios e instrumentos originales, verdadera aportación de los instrumentistas de finales del siglo XX a la historia de la música.
En 1980 recibió el Premio Erasmus en Europa, y entre 1983 y 1991 se le han impuesto varios doctorados Honoris Causa por universidades europeas y americanas. Está considerado en la actualidad como uno de los más eminentes especialistas en el campo de la música antigua, tanto en el aspecto práctico como en el teórico.