Leahy föddes den 27 oktober 1904 i San Francisco, Kalifornien. Hans far var flottans amiral William D. Leahy. Leahy gifte sig med Elizabeth Marbury Beale den 23 juli 1927 och fick två barn, Louise Harrington (uppkallad efter sin mormor) och Robert Beale.

Efter att ha gått på Sidwell Friends School avslutade han sina grundstudier vid United States Naval Academy; han fick också en masterexamen i marinarkitektur från MIT och arbetade vidare inom management vid Harvard Business School.

Leahy tjänstgjorde som Senior Design Officer, Landing Craft Construction, och senare chef för Landing Craft Section, Bureau of Ships, från november 1942 till oktober 1945 och fick Legion of Merit för sin tjänst. Som konteramiral var han Shipyard Commander, Norfolk Navy Yard mellan den 30 juni 1958 och den 29 juni 1960.

Leahy var medlem av Society of Naval Architects and Marine Engineers och Newcomen Society.

Han avled den 12 maj 1986 i Chevy Chase, Maryland och är begravd tillsammans med Elizabeth och sina föräldrar på Arlington National Cemetery.