Fetterman meldete sich am 14. Mai 1861 in Delaware zur Unionsarmee und wurde sofort zum Oberleutnant befördert. Er diente während des gesamten Krieges im Ersten Bataillon des 18. US-Infanterieregiments, wurde zweimal für seine Tapferkeit ausgezeichnet und beendete den Krieg als Oberstleutnant der Freiwilligen.

Nach dem Krieg entschied er sich, in der regulären Armee zu bleiben und wurde als Hauptmann dem Zweiten Bataillon des 18. Im November 1866 war das Regiment in Fort Phil Kearny stationiert und hatte die Aufgabe, Einwanderer zu schützen, die auf dem Bozeman Trail zu den Goldfeldern im Montana-Territorium reisten. Fetterman prahlte angeblich damit, dass er mit 80 Soldaten „durch die gesamte Sioux-Nation reiten“ könne.

Am 21. Dezember 1866 griff eine große Gruppe von Cheyenne und Sioux – darunter Crazy Horse – unter der Führung von Red Cloud einen Holzzug in der Nähe des Forts an. Obwohl er mit den Bedingungen an der Grenze und den Methoden des Indianerkampfes nicht vertraut war, übernahm Fetterman das Kommando über eine gemischte Eingreiftruppe, die aus dem ehemaligen Quartiermeister des Bataillons, Captain Frederick Brown, dem zweiten Leutnant George Grummond, 49 Soldaten der 18. Infanterie, 27 Männern der zweiten Kavallerie und zwei zivilen Spähern, insgesamt 80 Mann, bestand. Unter Missachtung seiner Befehle, sich nicht über den Lodge Trail Ridge hinaus zu wagen (außerhalb der Sichtweite und des Unterstützungsbereichs des Forts), verfolgte Fetterman eine kleine Gruppe von Sioux und wurde in einen Hinterhalt gelockt. Er sah sich etwa 2.000 Indianern gegenüber. Innerhalb von 20 Minuten waren Fetterman und sein Kommando ausgelöscht.

Der Fetterman-Kampf, wie die Begegnung bekannt wurde, war nach Custers katastrophaler Niederlage im Jahr 1876 der zweitberühmteste. Sie führte zur Entlassung von Fettermans kommandierendem Offizier, Henry B. Carrington, der zunächst für die Katastrophe verantwortlich gemacht, schließlich aber entlastet wurde.

Fettermans Grab befindet sich auf dem Nationalfriedhof des Little Bighorn Battlefield National Monument. Er hatte nie geheiratet und hinterließ keine Erben.