A banda foi formada logo após Brian Viglione testemunhar uma apresentação de Amanda Palmer em uma festa de Halloween. Suas apresentações dramáticas, no qual os membros maquilavam-se e vestiam vestimentas de cabaré, logo ganhou fãs.
A banda apresentou-se em 2002 no Prêmio IgNobel em Cambridge, Massachusetts. Após uma demo produzida pelos próprios integrantes, seu primeiro lançamento oficial foi um álbum contendo em sua maioria compilações de apresentações, A is for Accident.
Quatro anos de trabalho duro!Neste mês de maio fizemos quatro anos no ar. Continuamos trabalhando na divulgação deste maravilhoso instrumento, obrigado por participar da nossa história!