Leahy nació el 27 de octubre de 1904 en San Francisco, California. Su padre era el almirante de la flota William D. Leahy. Leahy se casó con Elizabeth Marbury Beale el 23 de julio de 1927 y tuvo dos hijos, Louise Harrington (que lleva el nombre de su abuela) y Robert Beale.

Después de asistir a la Sidwell Friends School, completó sus estudios universitarios en la Academia Naval de los Estados Unidos; también obtuvo un máster en arquitectura naval en el MIT e hizo más trabajos de gestión en la Harvard Business School.

Leahy sirvió como Oficial Superior de Diseño, Construcción de Embarcaciones de Desembarco, y más tarde Jefe de la Sección de Embarcaciones de Desembarco, Oficina de Buques, desde noviembre de 1942 hasta octubre de 1945 y recibió la Legión del Mérito por su servicio. Como Contralmirante, fue Comandante del Astillero de Norfolk entre el 30 de junio de 1958 y el 29 de junio de 1960.

Leahy fue miembro de la Sociedad de Arquitectos Navales e Ingenieros Marinos y de la Sociedad Newcomen.

Falleció el 12 de mayo de 1986 en Chevy Chase, Maryland y está enterrado con Elizabeth y sus padres en el Cementerio Nacional de Arlington.