Leahy est né le 27 octobre 1904 à San Francisco, en Californie. Son père était l’amiral de la flotte William D. Leahy. Leahy a épousé Elizabeth Marbury Beale le 23 juillet 1927 et a eu deux enfants, Louise Harrington (nommée d’après sa grand-mère) et Robert Beale.

Après avoir fréquenté la Sidwell Friends School, il a terminé ses études de premier cycle à l’Académie navale des États-Unis ; il a également obtenu une maîtrise en architecture navale du MIT et a fait d’autres travaux en gestion à la Harvard Business School.

Leahy a servi en tant que Senior Design Officer, Landing Craft Construction, puis chef de la Landing Craft Section, Bureau of Ships, de novembre 1942 à octobre 1945 et a reçu la Légion du Mérite pour son service. En tant que contre-amiral, il a été commandant du chantier naval de Norfolk entre le 30 juin 1958 et le 29 juin 1960.

Leahy était membre de la Society of Naval Architects and Marine Engineers et de la Newcomen Society.

Il est décédé le 12 mai 1986 à Chevy Chase, dans le Maryland, et est enterré avec Elizabeth et ses parents au cimetière national d’Arlington.