Дедушка Джона фон Неймана был большим любителем музыки, и в его доме даже был граммофон — редкость и новинка в то время. В буржуазных семьях было принято создавать небольшие камерные оркестры. Молодой Янош научился играть на скрипке. Позже он забросил инструмент, но любовь к музыке сопровождала его на протяжении всей жизни. Одним из произведений, которые больше всего впечатлили фон Неймана, было «Искусство фуги» Баха, включающее в себя 14 фуг и 4 канона. Бах написал его, чтобы показать пример техники контрапункта, без определенного порядка и не для какого-то конкретного инструмента. Судя по всему, это произвело огромное впечатление на молодого Яноша, который увидел в композиции пример абстрагирования. По словам его брата Николаса, «Искусство фуги» навело Яноша на мысль о том, что компьютер может не иметь предустановленной программы. Так появилась архитектура вычислительных машин, которая с тех пор носит имя фон Неймана.
Рукопись «Искусства фуги» Иоганна Себастьяна Баха.
Янош рос в окружении многочисленных братьев и кузенов, которые жили в одном доме и вместе обедали, ужинали, играли и отмечали праздники. В результате Янош, в отличие от других сверходаренных детей, не был ни молчаливым, ни скрытным ребенком. Напротив, он вырос чрезвычайно общительным человеком, хотя и нельзя сказать, что очень уж открытым и разговорчивым. Его ум всегда был занят какими-то интеллектуальными задачами, и на проявление теплых чувств места уже не оставалось, так что Яноша несправедливо считали немного высокомерным. Его мать рассказывала, что однажды, когда она сидела у окна с потерянным взглядом и хмурым лицом, Янош подошел к ней и вместо того, чтобы попытаться понять, чем она обеспокоена, спросил: «Что ты считаешь?»
В доме говорили на нескольких языках, и гувернантки обучали детей английскому и французскому. Знание иностранных языков всегда было очень важным для еврейских семей, ведь они в любой момент могли быть вынуждены покинуть родину. А кроме того, знание немецкого языка считалось обязательным, так как для некоторых слоев венгерского общества Германия была одной из лучших стран, позволявших достичь высокого профессионального и социального статуса. Ценились и мертвые языки, перед которыми Макс Нейман испытывал настоящее благоговение. В то время в средних школах обязательными предметами были латынь и греческий, которые начинали изучать в 14 лет. Янош благодаря урокам своего отца уже в шесть лет знал несколько фраз на классическом греческом. Неудивительно, что, обладая такими способностями и находясь в такой благоприятной среде, мальчик проявлял склонность к языкам. Во взрослые годы фон Нейман говорил на венгерском — языке своей матери, а также на немецком, английском, французском и, конечно, латинском и греческом. Он неоднократно подчеркивал то, какую важную роль сыграли в его жизни мертвые языки: их изучение помогло ему лучше понять, какой должна быть внутренняя структура вычислительных машин.
Бессмысленно быть точным, когда даже неизвестно, о чем идет речь.
Джон фон Нейман
Удивительно, однако, что на Рождество в семье фон Нейманов пели немецкие народные песни рядом с наряженной елкой. Удивительно, поскольку речь шла о празднике, который еврейская община не отмечала. Якоб Канн, дедушка Яноша, был очень религиозным человеком и строго соблюдал все еврейские обряды, но следующие поколения не унаследовали эту религиозность. Янош не получил еврейского религиозного воспитания, но ритуалы иудаизма в его семье соблюдались, хотя часто только внешне. Среди этих традиций были занятия с раввином по введению в Тору. О том, насколько незначительное влияние имел на фон Неймана иудаизм, свидетельствует тот факт, что ученый без малейших угрызений совести перешел в католическую веру, когда этого потребовали обстоятельства — чтобы заключить свой первый брак. В течение всей жизни фон Нейман был агностиком, за исключением очень краткого периода незадолго до смерти, когда он попросил позвать к нему католического священника.