Fetterman se alistó en el ejército de la Unión el 14 de mayo de 1861, en Delaware, y fue rápidamente nombrado teniente primero. Sirvió en el Primer Batallón del 18º Regimiento de Infantería de los EE.UU. durante toda la guerra y fue condecorado en dos ocasiones por su conducta galante, terminando la guerra como teniente coronel de Voluntarios.

Después de la guerra, optó por permanecer en el Ejército Regular y fue asignado como capitán en el Segundo Batallón del 18º Regimiento de Infantería. En noviembre de 1866, el regimiento estaba destinado en Fort Phil Kearny, con la tarea de proteger a los inmigrantes que viajaban a los campos de oro del territorio de Montana por el camino de Bozeman. Al parecer, Fetterman se jactaba de que, con 80 soldados, podía «atravesar toda la nación sioux».

El 21 de diciembre de 1866, una gran banda de cheyennes y sioux -que incluía a Caballo Loco- bajo el liderazgo de Nube Roja atacó un tren de madera cerca del fuerte. A pesar de su desconocimiento de las condiciones de la frontera y de los métodos de lucha de los indios, Fetterman tomó el mando de una fuerza de reacción compuesta por el antiguo intendente del batallón, el capitán Frederick Brown, el teniente segundo George Grummond, 49 soldados alistados del 18º de Infantería, 27 hombres del 2º de Caballería y 2 exploradores civiles, en total 80 hombres. Haciendo caso omiso de sus órdenes de no aventurarse más allá de Lodge Trail Ridge (fuera de la vista y de la distancia de apoyo del fuerte), Fetterman persiguió a una pequeña banda de sioux y fue atraído a una emboscada. Se encontró frente a unos 2.000 indios. En 20 minutos, Fetterman y su comando habían sido aniquilados.

El Combate de Fetterman, como se conoció el encuentro, fue el segundo en notoriedad después de la desastrosa derrota de Custer en 1876. Condujo a la destitución del oficial al mando de Fetterman, Henry B. Carrington, a quien inicialmente se culpó del desastre, pero que finalmente fue exonerado.

La tumba de Fetterman se encuentra en el Cementerio Nacional del Monumento Nacional del Campo de Batalla de Little Bighorn. Nunca se casó y no dejó herederos.