Pályáját zongoraművészként és zenepedagógusként kezdte Kolozsvárott, de alkalmilag vezényelt is, és zeneszerzéssel foglalkozott. Különböző színházakban volt karnagy, a Nemzeti Színházhoz került előbb ügyelői, majd első karmesteri minőségben.
Itt mintegy három évtizeden át munkálkodott.
Első operája a Bátori Mária volt, a szövegkönyv szerzője Egressy Béni aki egészen haláláig segítőtársa volt. Majd a Hunyadi László operával ért el sikert.
1844-ben megnyerte a Kölcsey Himnuszának megzenésítésére hirdetett pályázatot, a tizennégy beérkezett pályamunka közül Erkel Ferencét nyilvánították győztesnek.
Erkel vezetésével alakult meg 1853-ban a Filharmóniai Társaság, amelyet számtalan esetben vezényelt. Bánk bán című operáját, amely egyben pályájának csúcsát is jelentette, 1861-ben mutatták be. Közreműködött a Zeneakadémia megalakításánál (1875), amelynek ezután tíz éven át igazgatója és zongoratanára volt. Az 1884-ben megnyíló operaház főzeneigazgatója lett.
Erkel nevéhez fűződik a magyar nemzeti opera megteremtése. Mint karmester és szervező egyéniség rendkívül sokat tett a főváros zenei életének felvirágoztatása érdekében. Neves sakkozó volt, az 1864-ben alakult Pesti Sakk-kör egyik alapítója.
Erkel Ferenc új operája a Dózsa György 1867. április 6-án került színre a Nemzeti Színházban, de sajnos nem hozott közönségsikert , mindössze tíz előadást ért meg akkor. Később Erkelt az Operaház örökös főzeneigazgatói címével tüntettek ki 1890. november 7-én, 80 esztendős korában adta utolsó hangversenyét a Filharmonikusokkal. 1893-ban a Kerepesi temetőben helyezték örök nyugalomra, sírjánál a Himnusszal búcsúztatták .