Violent Things wurde von Dallon Weekes geschrieben und vom Produzenten Casey Crescenzo über einen Zeitraum von zwei Wochen in seinem Heimkellerstudio in Boston, MA, aufgenommen. Es zeigt Darren Robinson von Phantom Planet an der Gitarre. In einem Online-Interview gab Weekes an, dass die Platte, obwohl sie größtenteils mit "Violent Things" zufrieden war, nie gemischt oder gemastert wurde und dass die Platte aufgrund fehlender Ressourcen zur Vervollständigung der Aufnahme als "unvollendet" veröffentlicht wurde.
2011 hat Weekes "Visitation of the Ghost" in einem Studio in Südkalifornien persönlich neu aufgenommen. Er gab bekannt, dass er sich dazu entschlossen habe, da er im offiziellen Album "nie ganz zufrieden mit der Version" war. Diese alternative Version von "Visitation of the Ghost" wurde im selben Jahr als Jubiläumsbonus auf Bandcamp veröffentlicht.