A la fin des Libertines à l'automne 2004, Carl Barat, songwriter élégant et flegmatique, commença à travailler sur un nouveau projet. Signé presque immédiatement après la séparation par le label Vertigo, il travailla seul sur les chansons et engagea son ancien batteur Gary Powell pour son nouveau groupe, les Dirty Pretty Things. Il emmena également Anthony Rossomando - qui remplaçait déjà un Pete Doherty absent sur scène - comme second guitariste. Le bassiste Didz Hammond quitta The Cooper Temple Clause pour rejoindre l'aventure. A l'automne 2005, le groupe était au complet et joua son premier concert à Paris, là où s'étaient arrêté les Libertines.