Leahy wurde am 27. Oktober 1904 in San Francisco, Kalifornien, geboren. Sein Vater war Flottenadmiral William D. Leahy. Leahy heiratete am 23. Juli 1927 Elizabeth Marbury Beale und hatte zwei Kinder, Louise Harrington (benannt nach ihrer Großmutter) und Robert Beale.

Nach dem Besuch der Sidwell Friends School schloss er sein Grundstudium an der United States Naval Academy ab; außerdem erwarb er einen Master-Abschluss in Schiffbau am MIT und absolvierte ein weiteres Studium in Management an der Harvard Business School.

Leahy diente von November 1942 bis Oktober 1945 als Senior Design Officer, Landing Craft Construction, und später als Leiter der Landing Craft Section, Bureau of Ships, und erhielt für seine Dienste die Legion of Merit. Als Konteradmiral war er vom 30. Juni 1958 bis zum 29. Juni 1960 Werftkommandant der Norfolk Navy Yard.

Leahy war Mitglied der Society of Naval Architects and Marine Engineers und der Newcomen Society.

Er starb am 12. Mai 1986 in Chevy Chase, Maryland, und ist mit Elizabeth und seinen Eltern auf dem Arlington National Cemetery beigesetzt.