Laulaja Justin Hawkins halusi käyttää rakkaus-sanaa mahdollisimman paljon, koska hänestä muut bändit eivät uskaltaneet sanoa sitä suoraan.

Hyljätyt sekoittelee musiikissaan metallia, hardcorea ja punkkia.