Leahy 1904. október 27-én született a kaliforniai San Franciscóban. Apja William D. Leahy flottaadmirális volt. Leahy 1927. július 23-án vette feleségül Elizabeth Marbury Beale-t. Két gyermekük született, Louise Harrington (nevét nagyanyjáról kapta) és Robert Beale.

A Sidwell Friends School látogatása után az Egyesült Államok Haditengerészeti Akadémiáján végezte el egyetemi tanulmányait; az MIT-n haditengerészeti építészetből szerzett mesterdiplomát, majd a Harvard Business Schoolon végzett további menedzsmentet.

Leahy 1942 novemberétől 1945 októberéig a Landing Craft Construction vezető tervezőtisztjeként, majd a Bureau of Ships Landing Craft Section vezetőjeként szolgált, és szolgálatáért megkapta a Legion of Merit-et. Mint ellentengernagy, 1958. június 30. és 1960. június 29. között a Norfolk Navy Yard hajógyári parancsnoka volt.

Leahy tagja volt a Society of Naval Architects and Marine Engineers és a Newcomen Society tagja.

1986. május 12-én halt meg a marylandi Chevy Chase-ben, és Elizabeth és szülei mellett az Arlington National Cemeteryben nyugszik.