Os Whigs também foram gravemente feridos pelo partido de curta duração Nativo Americano ou Know-Nothing, que era principalmente anti-imigrante e anti-Católico.

Isso é apenas parte da resposta, é claro. Aqui está outro relato, novamente muito simplista:

• Por um breve tempo, muitos americanos apoiaram o partido nativista Know-Nothing, preocupados que o Know-Nothings pudesse representar o único partido verdadeiramente nacional possível, em grande parte unido por um medo geral dos imigrantes católicos.
• Mas no final, a questão da escravidão provou ser mais forte do que o medo dos imigrantes não protestantes, e os sulistas alinharam-se atrás do partido Democrata e os nortenhos atrás do partido Republicano.
• Os sistemas partidários seccionais substituíram um partido nacional.

Este parece ser o relato detalhado definitivo. Tente este livro também. Na maioria das vezes, porém, os partidos não entram em colapso, mas sim os membros do partido, temendo os custos das alternativas, incluindo os custos de suas carreiras.

Aqui está meu post anterior Por que o Partido Federalista entrou em colapso?