Klinefelter estudió primero en la Universidad de Virginia, en Charlottesville. Luego obtuvo su título de médico en la Escuela de Medicina de la Universidad Johns Hopkins.​Después de graduarse, en 1937, continuó su formación en medicina interna en el Hospital Johns Hopkins. Trabajó en el Hospital General de Massachusetts, en Boston, en 1941-1942. Bajo la supervisión de Fuller Albright, describió a un grupo de nueve hombres afectados por ginecomastia, aspermatogénesis sin aleydigismo y aumento de la excreción de la hormona foliculoestimulante, la primera descripción de lo que posteriormente se denominaría síndrome de Klinefelter. Inicialmente sospechó que se trataba de un trastorno endocrino, y postuló la presencia de una segunda hormona testicular, pero, en 1959, Patricia A. Jacobs y J. A. Strong (Western General Hospital y Universidad de Edimburgo) demostraron que un paciente masculino portador del fenotipo del síndrome de Klinefelter tenía un cromosoma X adicional (47 XXY).​Más tarde, Klinefelter confirmó que la causa no era hormonal, sino cromosómica.4​ Klinefelter sirvió en las Fuerzas Armadas de 1943 a 1946, luego regresó a Johns Hopkins, donde permaneció durante el resto de su vida profesional. En 1966 fue nombrado profesor asociado. Se retiró a la edad de 76 años.