Szülei annak ellenére, hogy nem éltek jó módban, gondoskodtak fiúk tanítatásáról. Mint kortársai közül sokan ő is jogot tanult, először Bécsben, majd Budapesten. A Bécsben töltött évek alatt többféle politikai nézettel is megismerkedett és nagy hatással volt rá későbbi pályája során.
1899-ben hazatért Budapestre ahol hamarosan a Népszava publicistája, később pedig a szociáldemokrata lap segédszerkesztője lett. Miközben az újságnál dolgozott, Szabó Ervin aktívan részt vett a század elején megformálódó Társadalomtudományi Társaság, majd az 1904-ben megalakuló Huszadik Század című folyóirat munkájában is. Bár eredetileg jogot hallgatott, hamarosan otthagyta tanulmányait, és 1903 után szociológiával, statisztikával, és könyvtártudománnyal kezdett foglalkozni. Mivel a bécsi és budapesti egyetemen egyaránt bizonyította könyvtárosi tehetségét, a Fővárosi Könyvtár 1901-ben alkalmazásába vette, 1911-től haláláig pedig ő lett az intézmény vezetője. Igazgatása alatt megreformálta a könyvtár működését. Elsőként Magyarországon bevezette az Egyetemes Tizedes Osztályozást (ETO), ami a mai napig elengedhetetlen része a könyvtári dokumentumok rendszerezésének. Emellett a könyvtár élén töltött évek alatt igyekezett mind térben, mind társadalmi szempontból – az angol public library, azaz közkönyvtár mintájára – kiszélesíteni a Fővárosi Könyvtár olvasókörét. Azért, hogy ez megvalósulhasson, kezdetben öt helyszínen alakított ki fiókkönyvtárakat, és külön figyelmet fordított a gyermekkönyvtár kialakítására is. Vezetése alatt korszerű társadalomtudományi könyvtár született. Áldozatos szervező munkájanak és a közművelődésért tett erőfeszítéseinek elismeréséül a Fővárosi Könyvtár 1946-ban Szabó Ervin nevét vette fel, és mindmáig azt is viseli.