Emil Gilels werd geboren in Odessa en kwam niet uit een muzikale familie: zijn vader werkte als bediende in een suikerfabriek en zijn moeder zorgde voor de grote familie. Op de leeftijd van vijf werd hij naar Yakov Tkach gestuurd, een bekende pianopedagoog in Odessa. Op zijn twaalfde gaf hij zijn eerste openbare concert. In 1930 werd hij toegelaten tot het Conservatorium van Odessa in de klas van Berta Reingbald. Haar voornaamste doel was hem voor te bereiden voor zijn deelname aan de eerste All-Unionwedstrijd voor muzikanten, die werd aangekondigd voor 1933 in Moskou. Gilels' prestatie was een sensatie : toen hij klaar was, brak het auditorium uit in een staande ovatie en zelfs de jury stond recht om te applaudisseren. Unaniem werd hij aangeduid als winnaar. De wedstrijd veranderde zijn leven : hij was plotseling beroemd in het hele land en begon nadien aan een uitgebreide concerttournee doorheen de Sovjet-Unie.
In 1935 studeerde Emil Gilels af aan het Conservatorium van Odessa. Vervolgens werd hij toegelaten tot de klas van Heinrich Neuhaus aan het Conservatorium van Moskou, maar hij bleef concerten geven. Bij zijn aankomst in Moskou begin 1936 bracht dirigent Otto Klemperer Beethovens 3e Piano Concerto met niemand minder dan Gilels als solist. Later in 1936 nam hij deel aan zijn eerste internationale wedstrijd; die van Wenen. Ondanks de aandacht die hij van het Europese publiek kreeg en het onbetwistbare prestige van zijn finaleplaats, was hij niet tevreden met de tweede plaats die hem toegekend werd. De eerste plaats ging naar zijn vriend Jacob Flier, een meer romantische pianist.
In 1938 namen beiden deel aan de Koningin Elisabethwedstrijd. Van hen werd verwacht dat ze de overwinningen van de Sovjet-violisten van een jaar eerder, met onder anderen David Oistrakh als winnaar, zouden evenaren. Gilels werd bekroond met de eerste prijs en Flier kaapte de derde prijs weg. De hele muzikale wereld begon te praten over Emil Gilels. Na de wedstrijd zou hij aan een lange tournee beginnen, met inbegrip van een passage door de Verenigde Staten. Deze plannen werden echter abrupt onderbroken door de Tweede Wereldoorlog. Op eigen bodem werd hij een held: hij kreeg een medaille voor zijn prestaties, werd bij zijn terugkeer met een welkomstfeest vereerd en zijn naam kreeg evenveel bijklank als die van beroemde ontdekkingsreizigers, piloten en filmsterren.
Emil Gilels voltooide zijn studies in 1938 en begon zelf te onderwijzen aan het Conservatorium van Moskou. Door zijn vele concerten kon hij zich niet ten volle wijden aan zijn pedagogisch werk. Toch tellen we onder zijn leerlingen pianisten als Marina Mdivani, Valery Afanassiev, Igor Zhukov en de pianist-componist Vladimir Blok.
Toen de oorlog uitbrak, werd hij niet geëvacueerd met de rest van het Conservatorium. In plaats daarvan sloot hij zich aan bij de weerstand van de burgerbevolking en na een terugkeringsbevel begon hij op te treden aan het front en in ziekenhuizen. Begin 1943 voerde hij Stravinsky's bravourestuk Petroesjka uit voor de vermoeide bewoners van het belegerde toenmalige Leningrad.
Toen de oorlog eindigde, nam Emil Gilels een speciale missie op zich. Hij zou de Kunst van een zegevierend land vertegenwoordigen. Hij besteeg het podium tussen de ruïnes van Oost-Europa en begon al snel na de oorlog concertreizen te maken door Italië, het Verenigd Koninkrijk, Frankrijk, Oostenrijk, Scandinavië en tal van andere landen. Hij werd onderscheiden met medailles en onderscheidingen en het publiek aanbad hem. In 1955 was Emil Gilels bovendien de eerste Sovjet-muzikant die sinds de Tweede Wereldoorlog door de Verenigde Staten reisde om op te treden.
Van de jaren 1950 tot 1970 stond hij in alle aspecten van zijn muziekspel op het hoogtepunt. Hij concerteerde onder de leiding van gerenommeerde dirigenten als Mravinsky, Melik-Pashayev, Svetlanov, Ivanov, Rakhlin, Gauk, Ginsburg, Eliasberg, Niyazi, Jarvi, Kitayenko, Dudarova, Barshai. Vooral zijn samenwerkingen met Sanderling en Kondrashin waren belangrijk en van lange duur. Binnen de Sovjet-Unie werkte hij verder samen met Gusman, Paverman, Maluntsyan, Gokieli, Kolomiytseva, Shaposhnikov, Gurtovoy, Rabinovich, Katz, Feldman, Vigners, Sherman, Stasevich, Sokolov, Tiulin, Kravchenko, Karapetyan, Dubrovsky, Tolba, Provatorov, Katayev, Aranovich, Chunikhin, Yadikh, Nikolayevsky en vele anderen. Hij ontdekte ook nieuwe, talentvolle dirigenten als Verbintsky en Ovchinikov.
Emil Gilels speelde ook in ensembles: met pianisten Flier en Zak, en later met zijn dochter Elena Gilels, violisten Elisabeth Gilels (zijn zus), Tziganov, Kogan, met het Beethoven Kwartet, in een trio met Tziganov en Shirinsky, evenals zijn eigen trio (Gilels, Kogan, Rostropovich), met fluitist Korneiv en de Franse hoornspeler Shapiro. In het buitenland werkte hij samen met het Amadeus Kwartet en het Sibelius Academy Quartet.
Emil Gilels nam daarnaast intensief platen op voor labels als Melodiya, Angel, Ariola, EMI, Eterna en Deutsche Grammophon, wat leidde tot een indrukwekkende discografie. Zijn vroegste opnames dateren uit de jaren 1930 en omvatten Loeillet-Godowsky's Gigue, de Fantasia op twee thema's uit Le nozze di Figaro van Mozart-Liszt-Busoni, Chopins Ballade nr. 1, de Rhapsodie hongroise nr. 9 van Liszt, Schumanns Toccata en Mendelssohns Duetto uit de Lieder ohne Worte. Al met al nam hij meer dan vijfhonderd werken op (nog afgezien van de meerdere versies die er van zijn hand bestaan van een aantal cycli en individuele stukken).
Hij was nog voorzitter van de jury van de eerste vier Internationale Tchaikovskywedstrijden, maar aan het einde van de jaren 1970 stopte Emil Gilels met al zijn activiteiten buiten het optreden. Hij trok zich terug als jurylid van internationale pianowedstrijden en gaf geen les meer.
Hij werd benoemd tot Artiest van het Volk van de Sovjet-Unie, ontving de Leninprijs (1962) en in 1976 ontving hij ter ere van zijn zestigste verjaardag de toenmalige hoogst mogelijke overheidsprijs, die van Held van de Socialistische Arbeiderspartij.