Paramore se dali dohromady v roce 2004 v americkém státě Tennessee. V té době bylo Hayley Williams teprve šestnáct let a kapelu spolu s ní tvořili kytaristé Josh Farro, Jason Bynum, baskytarista Jeremy Davis a bubeník Zac Farro. Ovšem ještě než se skupina pustila do nahrávání svého debutu, opustil ji Jeremy Davis (už při nahrávání druhé studiovky "Riot!" se ale do sestavy vrátil), což ostatní emotivně dost poznamenalo. Odloučení se pak stalo ústředním tématem samotného alba. Název "All We Know Is Falling" odkazuje na odchod oblíbeného člena kapely.

Nahrávku, která vyšla 26. července 2005, později Hayley popisovala jako příběh o ztrátě, nejistotě a pádu, což se odráží i v textech. Ty jsou prosáklé těmi nejupřímnějšími emocemi, přesto se deska pyšní pop-punkovým zvukem s melodickými linkami. Prvním singlem se stala píseň "Pressure", která si sice nevydobyla komerční úspěch, jaký o pár let dříve slavila třeba skladba "Sk8er Boi" od Avril Lavigne, u fanoušků si ale vysloužila až kultovní status.

Studiovka "All We Know Is Falling" vyšla pod hlavičkou společnosti Fueled by Ramen, které muzikantům v té době poskytlo hodně nízký rozpočet. Hayley dokonce říkala, že PR materiály si chystali sami a stejně tak si sami plánovali turné.

Počinu se zpočátku moc nedařilo, protože se neprodával příliš dobře. Přesto si ale k posluchačům cestu postupně nacházel - díky koncertům a vzestupu emo komunity. Zcela upřímně - snad každá holka chtěla mít háro jako Hayley. Žánroví fanoušci se navíc brzy rozdělili na dva tábory: jedni fandili Avril, druzí nedali dopustit právě na Hayley.

Mladou rebelku od začátku veřejnost vnímala jako talentovanou zpěvačku. Její hlas, emotivní projev a energii mnozí označovali za hlavní tahouny debutu. A přestože členům kapely bylo v době jejího založení od šestnácti do osmnácti let, kritici jejich texty uznali za mimořádně autentické a vyzrálé. Například song "Emergency" pojednává o nepochopení a bolesti, "Conspiracy" definuje melancholický a temnější zvuk.

Nejosobnějším trackem ze všech je však "All We Know". Už úvodní verš: "Tolik jsme se snažili porozumět | Ale nemůžeme | Svět jsme drželi pevně v rukou | A ty jsi utekl pryč" - nahání husí kůži a skoro nutí posluchače k pláči.

Přesto se ale našli někteří, kteří "All We Know Is Falling" považovali za příliš předvídatelné dílo a za něco, co se při boomu kolem emo kapel v té smršti brzy ztratí. Naštěstí se tak nestalo a urputnost a píle se staly hnacím motorem formace, která chtěla dělat hudbu za každou cenu. A že svou práci odváděla (a stále odvádí) sakra dobře.

Nejedná se však o nejlepší řadovku Paramore. Následující "Riot!" si vedla podstatně lépe. Teprve druhé album vystřelilo tuto partu do mezinárodních výšin, a to i přesto, že svému zvuku nastolenému na debutu zůstala věrná.

V závěru se dá říci, že prvotina funguje spíše jako syrový a nesmírně upřímný deník naštvaného a zklamaného teenagera. S každou další deskou se však hudebníci posouvali dál a dál. Uskupení si přesto vždy zachovávalo svou autenticitu a sázelo na silné texty, díky čemuž si získalo stabilní popularitu trvající do dnešních dní. Zpěvačky jako Billie Eilish, Olivia Rodrigo nebo Willow Smith několikrát přiznaly, že právě Paramore jim přinesli ohromnou inspiraci.