Fetterman alistou-se no Exército da União em 14 de Maio de 1861, em Delaware, e foi prontamente nomeado um primeiro tenente. Ele serviu com o Primeiro Batalhão do 18º Regimento de Infantaria dos EUA durante toda a guerra e foi duas vezes nomeado capitão do Segundo Batalhão do 18º Regimento de Infantaria, terminando a guerra como tenente-coronel dos Voluntários.

Após a guerra, ele optou por permanecer no Exército Regular e foi designado como capitão do Segundo Batalhão do 18º Regimento de Infantaria. Em novembro de 1866, o regimento foi colocado no Forte Phil Kearny, encarregado de proteger os imigrantes que viajavam para os campos de ouro do Território de Montana, ao longo da Trilha de Bozeman. Fetterman alegadamente gabava-se de que, com 80 soldados, podia “cavalgar por toda a nação Sioux”

Em 21 de dezembro de 1866, uma grande faixa de Cheyenne e Sioux – que incluía Crazy Horse – sob a liderança de Red Cloud atacou um trem de madeira perto do forte. Apesar do seu desconhecimento das condições da fronteira e dos métodos de combate dos índios, Fetterman assumiu o comando de uma força de reacção composta composta pelo ex-mestre do batalhão, Capitão Frederick Brown, 2º Tenente George Grummond, 49 soldados alistados da 18ª Infantaria, 27 homens da 2ª Cavalaria e 2 batedores civis, totalizando 80 homens. Ignorando suas ordens de não se aventurar além de Lodge Trail Ridge (fora da vista e da distância de apoio do forte), Fetterman perseguiu um pequeno bando de Sioux e foi atraído para uma emboscada. Ele se viu enfrentando aproximadamente 2.000 índios. Em 20 minutos, Fetterman e seu comando foram dizimados.

O Fetterman Fight, como o encontro ficou conhecido, foi o segundo em notoriedade apenas pela desastrosa derrota de Custer em 1876. Levou à demissão do comandante de Fetterman, Henry B. Carrington, que foi inicialmente culpado pelo desastre, mas acabou sendo exonerado.

O túmulo de Fetterman está no Cemitério Nacional no Monumento Nacional de Little Bighorn Battlefield. Ele nunca se casou e não deixou herdeiros.