A háború alatt, 1944-ben született Budapesten a repülőgép-tervező Rubik Ernő fiaként. A találékony szellemet apai ágon öröklő fiú a Budapesti Műszaki Egyetemen végzett építészmérnökként 1967-ben, majd 1971-ig az Iparművészeti Főiskolán belsőépítészetet tanult. Ezután építész-tervezőként dolgozott, 1970 és 1988 között az Iparművészeti Főiskolán tanított.
1974 tavaszán oktatási segédeszközként tervezte meg a térbeli mozgások szemléltetésére alkalmas, mérnöki modellezést segítő szerkezetét, amelyről később kiderült, hogy játéknak is nagyon szórakoztató. Ez egy háromdimenziós logikai játék, a célja, hogy az összekevert kockákból forgatások sorozatával visszaállítsuk a rendezett színösszeállítást, vagyis amikor a kocka egy oldalán egyféle szín fordul elő. A kocka a játékosok körében rövid idő alatt példátlan népszerűségre tett szert, gyártásához és külföldi terjesztéséhez azonban át kellett verekednie magát a hazai bürokrácia útvesztőin, míg végül Rubik-kocka néven meghódította a világot.
1980-81-ben több országban volt az év játéka, később klubokat, egyesületeket, versenyeket és világbajnokságokat szerveztek rajongóinak.
1981-ben a kocka bevonult a New York-i Modern Művészetek Múzeumának építészeti és dizájngyűjteményébe. 1983-ban alapította meg saját vállalkozását, a Rubik Stúdiót, ahol játékokat és bútorokat tervezett. 1982. június 5-én volt az első Rubik-kocka világbajnokság. A legnagyobb magyar találmányok közé sorolják. Bebizonyították, hogy bármilyen elrendezésből húsz forgatással visszaállítható az eredeti állapot, de több mint 43 trillió eltérő állás hozható létre. Miközben a tudósok a kirakási lépések minimális számát keresve igyekeznek megfejteni a játékszer titkát, a játékosok gyorsaságban versenyeznek egymással. A kockakirakási rekord jelenleg 3,47 másodperc.
Munkásságát számos kitüntetéssel ismerték el, 1983-ban Állami Díjat kapott, 1995-ben életművéért, innovációs tevékenységéért Gábor Dénes-díjjal, 2007-ben Kossuth-díjjal tüntették ki, valamint a Magyar Köztársasági Érdemrend középkeresztje a csillaggal kitüntetést vehetett át. Bűvös kockája a nehezen megoldható, bonyolult problémák kezelésének jelképévé vált, kirakása "csüggesztő feladatnak tűnik, de a kitartás, a töretlen összpontosítás és a kreativitás meghozza gyümölcsét".