Nació el 13 de octubre de 1941 en Newark Heights, Nueva Jersey . Pronto se mudó a Queens en la ciudad de Nueva York , donde comenzó su carrera musical en Forest Hills High School. Fue allí donde Simon conoció a Art Garfunkel , y el dúo comenzó a cantar juntos. En 1957, grabaron su primer sencillo «Hey, Schoolgirl», con Big Records; el sencillo pronto alcanzó el puesto 49 en las listas de éxitos.
Simon asistió y se graduó de Queens College.Entre 1957 y 1964, Simon escribió, grabó y lanzó más de treinta canciones, reuniéndose ocasionalmente con Garfunkel (que asistió a la Universidad de Columbia en Manhattan). Sin embargo, estos álbumes se lanzarían a través de sellos discográficos menores, como Amy Records. Simon también usó varios seudónimos diferentes para estas grabaciones, incluido Tico como parte de un grupo llamado Tico and the Triumphs. También fue durante este tiempo que Simon conoció a Carole King, con quien grabó varias demos como un dúo llamado The Cosines. Simon también comenzó a producir muchos singles de éxito para otras bandas, incluidos The Vels y The Pedestrians.
A principios de 1964, Simon y Garfunkel se reunieron bajo sus propios nombres; Juntos consiguieron una audición con Columbia Records y firmaron un contrato. Su primer disco, Wednesday Morning, 3 AM fue lanzado el 19 de octubre de 1964. Aunque el álbum inicialmente fracasó, muchas estaciones de radio comenzaron a recibir solicitudes para tocar el sencillo «The Sound of Silence». La canción finalmente llegó al número uno en las listas de éxitos en los Estados Unidos. En 1965, tras el éxito de «El sonido del silencio». Juntos grabaron varios álbumes influyentes, incluido Parsley,Sage , Rosemary and Thyme (1966) y Bridge over Troubled Water (1970). Simon y Garfunkel también contribuirían exclusivamente a la banda sonora de la película The Graduate (1967).
En 1975, Simon y Garfunkel se reunieron para su sencillo Top Ten «My Little Town». En 1981, el dúo se reunió para el famoso concierto en el Central Park de Nueva York, y lanzó un álbum de reunión, Hearts and Bones , en el mismo año.
En 1990, Simon y Garfunkel fueron incluidos en el Salón de la Fama del Rock and Roll. En 2000, Simon nuevamente fue incluido en el Rock and Roll Hall Fame por su carrera en solitario. En 2003, los dos se reunieron nuevamente cuando recibieron el Grammy Lifetime Achievement Award. Esta reunión condujo a una gira por los Estados Unidos, seguida de un bis internacional de 2004, que culminó con un concierto gratuito en el Coliseo de Roma.