Erkel régi, neves muzsikusdinasztiából származik, tanulmányait szülővárosában, Gyulán kezdte el, majd Nagyváradon folytatta.
Ő volt a Zeneakadémia első igazgatója, kilenc tantárgyat tanított, olykor Liszt Ferencet helyettesítette.
Kiváló sakkozó volt, ő alapította a Pesti Sakk-kört.
Erkel hozta létre az első magyar hivatásos szimfonikus zenekart, a Budapesti Filharmóniai Társaság Zenekarát.
Az első zeneszerző volt, aki cimbalmot használt operazenekarban. A Bánk bán bemutatóján 15 éves fia, Sándor játszotta a cimbalom szólamot, mert a zenekar tagjai közül senki nem tudott cimbalmozni.
Erkel dirigálta Magyarországon először Beethoven IX. szimfóniáját.
Pályáját zongoraművészként és zenepedagógusként, Kolozsváron kezdte, és egész életében ezt vallotta: „Ami vagyok, azt mind Kolozsváron töltött éveimnek köszönhetem”.
Utoljára 80. születésnapján lépett színpadra, Mozart d-moll zongoraversenyét játszotta.
