Fetterman s’est engagé dans l’armée de l’Union le 14 mai 1861, dans le Delaware, et a été rapidement commissionné comme premier lieutenant. Il sert au sein du premier bataillon du 18e régiment d’infanterie américain pendant toute la guerre et est breveté à deux reprises pour sa conduite galante, terminant la guerre comme lieutenant-colonel des volontaires.

Après la guerre, il choisit de rester dans l’armée régulière et est affecté comme capitaine au deuxième bataillon du 18e régiment d’infanterie. En novembre 1866, le régiment était stationné à Fort Phil Kearny, chargé de protéger les immigrants qui se rendaient dans les champs aurifères du territoire du Montana en empruntant la piste de Bozeman. Fetterman se serait vanté qu’avec 80 soldats, il pouvait « traverser toute la nation sioux ».

Le 21 décembre 1866, une importante bande de Cheyennes et de Sioux – dont Crazy Horse – sous la direction de Red Cloud attaque un train de bois près du fort. Malgré sa méconnaissance des conditions de la frontière et des méthodes de combat des Indiens, Fetterman prend le commandement d’une force de réaction composite composée de l’ancien quartier-maître du bataillon, le capitaine Frederick Brown, du sous-lieutenant George Grummond, de 49 soldats engagés du 18e d’infanterie, de 27 hommes du 2e de cavalerie et de 2 éclaireurs civils, soit 80 hommes au total. Ignorant ses ordres de ne pas s’aventurer au-delà de la crête de Lodge Trail (hors de vue et à distance de soutien du fort), Fetterman poursuivit une petite bande de Sioux et fut attiré dans une embuscade. Il s’est retrouvé face à environ 2 000 Indiens. En l’espace de 20 minutes, Fetterman et son commandement avaient été anéantis.

Le combat de Fetterman, comme la rencontre est devenue connue, n’a été dépassé en notoriété que par la défaite désastreuse de Custer en 1876. Il a conduit au renvoi du commandant de Fetterman, Henry B. Carrington, qui a été initialement blâmé pour le désastre, mais a finalement été disculpé.

La tombe de Fetterman se trouve dans le cimetière national du monument national du champ de bataille de Little Bighorn. Il ne s’était jamais marié et n’a laissé aucun héritier.