Arthur Garfunkel nació en Forest Hills, un barrio de Queens, Nueva York. Es de ascendencia judía de Rumanía.

Conoció a Paul Simon en sexto curso. Entre los años 1956 y 1962 tocaban juntos música con el sobrenombre de Tom & Jerry. Garfunkel se hacía llamar "Tom Graph". Se matriculó en la Universidad de Columbia a principios de los sesenta, allí tocó con los Kingsmen, un grupo a capella en el que todos eran hombres. Durante su estancia en la universidad, también fue miembro de la Alpha Epsilon Pi, la única fraternidad judía en Estados Unidos y Canadá. En 1962 se sacó el Bachillerato de Artes licenciándose en Historia del Arte.



En 1963 volvió a unirse al dúo con Simon, aunque ahora ya bajo sus nombres reales, Simon y Garfunkel. En octubre de 1964 publican "Wednesday Morning, 3 A.M.", su primer álbum gracias a Columbia Records. El álbum no tuvo buena acogida, y el dúo se separó. Al año siguiente añadieron sonidos electrónicos a la canción The Sound of...