Leahy werd geboren op 27 oktober 1904 in San Francisco, Californië. Zijn vader was Vlootadmiraal William D. Leahy. Leahy trouwde op 23 juli 1927 met Elizabeth Marbury Beale en kreeg twee kinderen, Louise Harrington (genoemd naar haar grootmoeder) en Robert Beale.

Na zijn studie aan de Sidwell Friends School voltooide hij zijn bachelorstudie aan de United States Naval Academy; hij behaalde ook een mastergraad in scheepsarchitectuur aan het MIT en deed verder werk in management aan de Harvard Business School.

Leahy diende als Senior Design Officer, Landing Craft Construction, en later Hoofd van de Landing Craft Section, Bureau of Ships, van november 1942 tot oktober 1945 en ontving Legion of Merit voor zijn diensten. Als Rear Admiral was hij Shipyard Commander, Norfolk Navy Yard van 30 juni 1958 tot 29 juni 1960.

Leahy was lid van de Society of Naval Architects and Marine Engineers en de Newcomen Society.

Hij overleed op 12 mei 1986 in Chevy Chase, Maryland en ligt begraven bij Elizabeth en zijn ouders op Arlington National Cemetery.