У академических музыкантов есть давняя традиция вести свою творческую родословную. Каждый из них знает, у кого учился его преподаватель, преподаватель его преподавателя и так далее. Следуя этой логике, через Я.Ткача, его педагога Рауля Пюньо и учителя Пюньо, Жоржа Матиа, Гилельс — музыкальный правнук Шопена.
Когда Эмилю исполнилось 13 лет, он дал в Одессе первый сольный концерт, исполнив сложные сочинения Листа, Шопена, Скарлатти. Вскоре он переходит в класс Б. М. Рейнгбальд, одного из лучших педагогов Одесской консерватории. Берта Михайловна становится для юного пианиста не только замечательной наставницей, но и второй матерью: она отдает Миле тепло своего сердца. Знакомит его с разными областями музыки, пробуждает интерес к театру и литературе, вводит в круг интересных людей. В 1933 году, когда никому не известный подросток из Одессы неожиданно для всех и самого себя победил на Первом Всесоюзном конкурсе музыкантов-исполнителей, сам Сталин предложил Эмилю переехать в Москву. Гилельс ответил, что вернется в Одессу и продолжит занятия с Рейнгбальд.
Газеты запестрели тогда фотографиями Гилельса, радио разнесло весть о нем по всем уголкам страны. На этом, впрочем, триумфы Эмиля не закончились. Минуло еще три года — и у него вторая премия на Международном конкурсе в Вене. Затем — золотая медаль на труднейшем соревновании в Брюсселе (1938). Это сейчас конкурсы и победы в них — явление в общем-то привычное. А в довоенные времена лауреаты международных музыкальных конкурсов воспринимались в сознании людей наравне с героями-челюскинцами или Чкаловым и Громовым, совершившими первый перелет в Америку.
После победы на брюссельском конкурсе уже окончивший Одесскую консерваторию Гилельс решается, наконец, на переезд в Москву и поступает в Школу мастерства (аспирантуру) Московской консерватории, где его наставником становится прославленный маэстро Генрих Нейгауз. Позднее Нейгауз писал о Гилельсе:
Биография Гилельса замечательна своей неуклонной, последовательной линией роста и развития. Многие, даже очень талантливые пианисты застревают на какой-то точке, дальше которой особенного движения (движения вверх!) не наблюдается. Обратное — у Гилельса. Из года в год, от концерта к концерту его исполнение расцветает, обогащается, совершенствуется.
И надо отдать справедливость Нейгаузу. Он, несмотря на то, что Гилельс в его классе находился несколько в тени его любимца Святослава Рихтера, многое сделал для становления Эмиля Григорьевича как музыкальной личности. Вначале Гилельс прежде всего поражал своей виртуозностью, совершенством своей игры. Вспоминают, что Нейгауз со свойственной ему метафоричностью высказываний, сказал только что пришедшему в его класс Гилельсу: «Миля, ты уже взрослый мужчина, тебе пора есть бифштексы с кровью, а ты все еще балуешься детскими сладостями». И именно Нейгауз помог молодому пианисту выработать ту концептуальность, ту предельно четкую выявленность художественно-интеллектуального замысла в исполняемом сочинении: его «подтекста», ведущей образно-поэтической идеи; то художественное совершенство, ту глубину и мужественность, которые были свойственны Гилельсу на протяжении всего его дальнейшего творческого пути. Вместе с тем Гилельсу была свойственна филигранная отделка мелких деталей и не просто виртуозная техника, а особая, только ему свойственная элегантность этой техники.
Он обладал поистине необъятным репертуаром, причем умел настолько постигнуть стиль исполняемых сочинений — от композиторов далеких эпох до современников — что знатоки постоянно спорили, что же Гилельсу удается лучше всего. Он охотно исполнял и сольный репертуар, и концерты с оркестром, и камерные произведения. Масштабы творческой деятельности Эмиля Григорьевича были поистине необъятными: он выступал в сотнях городов Союза и был одним из самых востребованных музыкантов в мире. Гилельс стал одним из первых советских музыкантов и первым пианистом страны, который выступал в США.
Значительным событием в жизни пианиста стала Великая Отечественная война, когда он выступал перед сотнями и тысячами солдат на фронте. Вся суровость того времени, а также особенные черты индивидуальности Гилельса отразились на его специфическом музыкальном почерке. Осенью 1943 года он дал концерты в блокадном Ленинграде. В 1945 году выступил в Потсдаме на конференции глав правительств СССР, США, и Великобритании.
Еще во время учебы в Московской консерватории Гилельс женился на своей сокурснице Розе Тамаркиной. Она обещала вырасти в очень крупную пианистку, но скоропостижно скончалась, не дожив и до 30 лет. Второй раз музыкант женился, когда ему было уже за сорок. Его новой супругой стала поэтесса и композитор Фаризет Хуцистова. Дочь Эмиля Григорьевича от этого брака — Елена — стала выдающейся пианисткой. Впоследствии она неоднократно выступала в дуэте со своим отцом.