В возрасте с семи до двенадцати лет у Роберта были три домашних увлечения – минералогия, поэзия и конструирование из кубиков. Впоследствии он вспоминал, что тратил время на эти занятия «не для того, чтобы заполнить одиночество, или потому, что это было связано с учебой в школе, а просто так». В двенадцать лет он научился пользовался семейной пишущей машинкой и переписывался с местными именитыми геологами о минеральных отложениях, которые исследовал в Центральном парке. Один из партнеров по переписке, не зная, что ему писал ребенок, порекомендовал принять Роберта в нью-йоркский клуб минерологов; вскоре мальчик получил письмо с приглашением прочитать в клубе лекцию. Испугавшись перспективы выступления перед взрослыми, Роберт умолял отца объяснить членам клуба, что они прислали письмо двенадцатилетнему мальчишке. Приятно удивленный Юлиус ободрил сына и убедил его принять приглашение. В назначенный вечер Роберт явился в клуб вместе с родителями, гордо представившими его полным именем – как Джулиуса Роберта Оппенгеймера. Опешившие геологи и любители – коллекционеры минералов расхохотались, увидев на сцене подростка. Оратору пришлось встать на деревянный ящик; в противном случае из-за трибуны был виден лишь вихор жестких черных волос. Преодолевая застенчивость и неловкость, Роберт все же зачитал приготовленные заметки, сорвав бурные аплодисменты.
Юлиус без колебаний поощрял взрослые увлечения сына. Отец и мать понимали, что в семье растет «гений». «Они обожали его, переживали за него и берегли его, – вспоминала двоюродная сестра Роберта Бабетта Оппенгеймер. – Ему давали любую возможность развивать свои наклонности, не торопя события». Как-то раз Юлиус подарил сыну профессиональный микроскоп, который быстро стал для него любимой игрушкой. «Мне кажется, что мой отец был одним из самых терпимых и человечных людей в мире, – вспомнит Роберт через много лет. – Прежде чем что-то сделать для человека, он всегда сначала позволял ему самому определиться, чего он хочет». Чего хотел Роберт, нетрудно было угадать: с раннего возраста мальчик жил в мире книг и науки. «Он был мечтателем, – писала Бабетта Оппенгеймер, – и его не привлекала суматошная жизнь сверстников… его часто дразнили и высмеивали за непохожесть на других детей». Когда Роберт подрос, его «ограниченный интерес» к играм сверстников временами тревожил даже мать. «Я знаю, что она – без особого успеха – пыталась сделать меня похожим на других мальчиков», – говорил он.
В 1912 году, когда Роберту было восемь лет, Элла родила еще одного сына – Фрэнка Фридмана Оппенгеймера и переключила основное внимание на новорожденного. Мать Эллы переехала в квартиру на Риверсайд-драйв и некоторое время жила с семьей. Она умерла, когда Роберт достиг подросткового возраста. Восьмилетняя разница в возрасте между братьями оставляла мало места для детского соперничества. Позже Роберт высказал мысль, что был для Фрэнка не только старшим братом, но «из-за разницы в возрасте – отцом». Фрэнка в раннем детстве пестовали не меньше, а возможно, и больше, чем Роберта. «Если я чем-то увлекался, – вспоминал Фрэнк, – то родители немедленно это предоставляли». Когда Фрэнк в старших классах заинтересовался Чосером, Юлиус купил сыну сборник произведений поэта, изданный в 1721 году. Стоило Фрэнку проявить интерес к игре на флейте, как родители наняли давать частные уроки одного из лучших флейтистов Америки Жоржа Баррера.
Обоих мальчиков нежили и баловали, однако некоторым тщеславием обзавелся только первенец Роберт. «Я отплатил родителям за их уверенность во мне, развив в себе неприятный апломб, – признался впоследствии Роберт, – который – я убежден – отталкивал как детей, так и взрослых, имевших оплошность вступить со мной в контакт».
В сентябре 1911 года, вскоре после возвращения из второй поездки к деду Беньямину в Германию, Роберт поступил в единственную в своем роде частную школу. За несколько лет до этого Юлиус стал активным участником Общества этической культуры. Церемонию бракосочетания между ним и Эллой проводил доктор Феликс Адлер, основатель и руководитель общества, в котором Юлиус с 1907 года служил попечителем. То, что дети должны получить начальное и среднее образование в школе общества, расположенной на Сентрал-парк-уэст, даже не обсуждалось. Девиз школы гласил: «Поступки, а не вера». Основанное в 1876 году Общество этической культуры прививало своим членам приверженность деятельности на благо общества и гуманизма: «Человек должен быть в ответе за направленность своей жизни и судьбу». Будучи порождением американского реформистского иудаизма, этическая культура сама по себе не являлась религией и прекрасно устраивала немецко-еврейскую верхушку среднего класса, большинство которой, как и Оппенгеймеры, стремилось ассимилироваться в американское общество. Феликс Адлер с группой талантливых педагогов содействовали этому процессу и определенно оказали мощное влияние – как эмоциональное, так и интеллектуальное – на формирование психики Роберта Оппенгеймера.