Leahy nasceu em 27 de outubro de 1904 em São Francisco, Califórnia. O seu pai era o Almirante da Frota William D. Leahy. Leahy casou-se com Elizabeth Marbury Beale em 23 de julho de 1927 e teve dois filhos, Louise Harrington (com o nome de sua avó) e Robert Beale.

Depois de freqüentar a Sidwell Friends School ele completou seus estudos de graduação na Academia Naval dos Estados Unidos; ele também recebeu um mestrado em arquitetura naval pelo MIT e fez um trabalho adicional em administração na Harvard Business School.

Leahy serviu como Oficial Senior Design Officer, Landing Craft Construction, e mais tarde Chefe da Seção de Landing Craft, Bureau of Ships, de novembro de 1942 a outubro de 1945 e recebeu a Legião de Mérito por seu serviço. Como Contra-Almirante, ele foi Comandante de Estaleiros Navais, Norfolk Navy Yard entre 30 de junho de 1958 e 29 de junho de 1960.

Leahy foi membro da Sociedade de Arquitetos e Engenheiros Navais e da Sociedade Newcomen.

Morreu em 12 de maio de 1986 em Chevy Chase, Maryland e está enterrado com Elizabeth e seus pais no Cemitério Nacional de Arlington.