Ötéves korától hegedült, később zongorázni is tanult, hétévesen lépett fel először nyilvánosan. Érettségi után apja kérésére a lipcsei egyetemen tanult vegyészmérnöknek, de ezzel párhuzamosan zenei tanulmányait is folytatta. Végül 1929-ben diplomázott a konzervatóriumban és ekkor már megszülettek első kompozíciói is, főként hegedű-zongora darabok.
1931-ben Párizsba próbált szerencsét, ahol Arthur Honeggerrel zeneszerző ismertette meg a filmzene írással. Első filmes munkáját 1936-ban kapta, Londonban Korda Sándor filmcégétől.
1940-ben az Amerikába áttelepülő Korda-testvérekkel tartott ő is. A dzsungel könyve című 1942-es filmhez írott zenéje olyan népszerű lett, hogy az RCA lemezkiadó külön szvitet vett fel belőle, ez volt az első, lemezen megjelent teljes filmzene.
1946-ban a Hitchcock rendezte Bűvölet kísérőzenéjéért vehette át első Oscar-díját, a szerelmi témából írott Concerto pedig legnépszerűbb alkotása lett. Másodszorra két évvel később, a Kettős életért kapta meg a filmvilág legrangosabb kitüntetését, a harmadikat 1958-ban a Ben Hurért vehette át.
Nem ez volt az egyetlen szuperprodukció, amelynek sikeréhez hozzájárult, a Cid, az Ivanhoe, a Julius Caesar és a Quo vadis zenéjének megkomponálását is rá bízták.
A komoly zenei iránt is elkötelezett maradt, sokszor vonult el hónapokig alkotói szabadságra. Írt szimfóniát, hegedű- zongora és gordonkaversenyt, kamaraműveket, zongoradarabokat és kórusműveket is. Szülőhazájához és a magyar kultúrához élete végéig kötődött, nevét sem változtatta meg. Hosszú távollét után, 1974-ben tért először haza, a műveiből összeállított hangverseny alkalmából.
Nyolcvanadik születésnapja alkalmából számtalan kitüntetést kapott, Ronald Reagan amerikai elnök, II. Erzsébet brit királynő és II. János Pál pápa is köszöntötte, Los Angelesben Rózsa Miklós napot tartottak. 1995. július 27-én halt meg Los Angelesben, nyolcvannyolc éves korában. Élete során több mint száz film zenéjét komponálta.