Den nuværende frontmand, Oliver Ackermann, var netop flyttet til New York for at blive en del af støjrockprojektet, der er opkaldt efter den britiske okkultist Aleister Crowleys skrifter.
I 2006 selvudgav de tre ep’er, Breathe, Missing You og Never Going Down.
Samme år spillede bandet en uforglemmelig koncert som support for The Brian Jonestown Massacre i Webster Hall og året efter blev de belønnet, da de indtog scenen, nu som opvarmning for deres store idoler i The Jesus and Mary Chain.
I deres første år skabte bandet gennem deres vilde, kaotiske liveshows en kæmpe hype som værende New York City´s loudest band. Den amerikanske avis The Washington Post skrev bl.a.: "The most ear-shatteringly loud garage/shoegaze band you'll ever hear."
I 2007 skrev bandet pladekontrakt på en serviet med selskabet Killer Pimp for deres første udgivelse. August samme år opnåede bandet en enorm popularitet, da det selvbetitlede album røg i hænderne på de amerikanske anmeldere.
Langt de fleste af sangene blev indspillet mellem 2004 og 2006 og blev udgivet på de ep´er som bandet solgte til deres shows.
A Place To Bury Strangers skabte med deres sange en støjende, atmosfærisk lydmur og på albummet mestrer de til perfektion balancen mellem det vilde inferno og de lange, smukke klangflader.
Nummeret ”To Fix The Gash In Your Head” kan findes på Nine Inch Nails onlineudgivelse af albummet Lights In The Sky, der indeholder sange fra supportbandsne fra turnéen af samme navn.
I 2009 havde bandet udgivet albummet Exploding Head på Mute Records og året efter forlod Jonathan Smith bandet. Han blev erstattet af bassisten Dion Lunadon, der tidligere har spillet med i bands som The D4 og True Lovers.
I januar 2012 udkom Worship på deres nye pladeselskab Dead Oceans (Slowdive, Akron Family, The Tallest Man on Earth). Bandet fortsatte deres eksperimenter i den hvide, frenetiske guitarstøj og skrev sig med Worship endnu tættere på ikonerne i The Jesus and Mary Chain, hvor de poppede melodier akkompagneres af tykke elektriske guitartåger.
På albummet flirtede bandet også med tysk, psykedelisk krautrock og 80´ernes dream pop. Albummet er skrevet, indspillet og produceret af bandet, og de havde en klar vision om, hvordan Worship skulle lyde.
Transfixiation er bandets fjerde studiealbum, og det er første gang at den nytiltrådte trommeslager Robi Gonzalez er med i studieprocessen. Robi Gonzalez rykkede med sit energiske trommespil live-følelsen ind i studiet, og albummet fremstår mere 'spillet' end de forrige.
A Place To Bury Strangers havde turneret uafbrudt i to år, da de besluttede sig for at hoppe i studiet og påbegynde arbejdet med Transfixiation. De indspillede en masse materiale i studiet, Death By Audio, men de intense år på landevejene havde slidt bandet op. Der gik to måneder, inden de fandt tilbage til optagelserne.
I februar annoncerede trioen deres femte studiealbum, der har fået titlen Pinned, og som udkommer den 13. april. På det nye album har trommeslager Lia Simone Braswell afløst Robi Gonzales, der nu spiller i det instrumentale postrockband This Will Destroy You.