В биографиях математических гениев часто упоминаются два их качества: первое — это способности к языкам, второе — фотографическая память (возможно, они тесно связаны).
Янош не был исключением и мог запомнить целую страницу из телефонной книги, прочитав ее всего два-три раза. Друзья часто устраивали ему проверку, и действительно, Янош зачитывал по памяти имена, фамилии, адреса и номера телефонов в том порядке, в каком они шли в справочнике, или в обратном, или вразброс. Однажды отец купил ему такую большую энциклопедию, что для нее пришлось выделить отдельную комнату.
Маленький Янош проводил среди книг по нескольку часов в день. Он начал с первого тома и, не пропустив ни одного абзаца, дошел до последней страницы последнего тома (всего в энциклопедии по мировой истории было 20 томов). При этом Янош не только запоминал всю информацию, но и анализировал ее. Уже в раннем возрасте мальчик заинтересовался отношениями между странами, в частности военными конфликтами и стратегиями, которые в них использовались. Янош пытался установить взаимосвязи, не обозначенные в тексте напрямую. Вообще его интерес к военным стратегиям проявился очень рано. Янош быстро научился играть в шахматы у отца, который почти всегда выигрывал, и в это время Макс Нейман понял, что его сын не умеет проигрывать. Но и еще раньше, когда Янош играл со свинцовыми солдатиками, он был в первую очередь стратегом. Его брат Михаль говорил, что Янош не устраивал парады и не убивал солдат: его военные следовали тактике, установленной в самом начале игры, а его самого больше интересовало развитие битвы и движение отрядов, нежели война сама по себе.
Когда Янош был маленьким, он часто играл с братьями, особенно с Михалем, в военные игры. Но делал он это не так, как большинство детей (он никогда ничего не делал так, как другие), то есть проводя военные парады или битвы с участием свинцовых солдатиков. Братья играли в версию старой игры кригшпиль, что в переводе с немецкого означает буквально «военная игра». В 1824 году Георг фон Рассевиц, полковник артиллерии прусской армии, придумал настольную игру, представляющую собой поле битвы, на котором можно реализовывать различные стратегии. Очень скоро высшее военное командование оценило потенциал игры: ее можно было использовать для тренировок офицеров. Эта инициатива принесла свои плоды, что проявилось в военных победах над Австрией в 1866 году и несколько лет спустя — над Наполеоном III. Со временем появились разные версии кригшпиля на английском, немецком и французском языках, и многие страны использовали эту игру для обучения офицеров военным стратегиям. Кригшпиль, в который играл Янош со своими братьями, они придумали сами и сами рисовали на листе бумаги поля сражений, укрепления, горы, реки и другие необходимые для битвы элементы. Во время Первой мировой войны фон Нейман внимательно следил за всеми продвижениями и отступлениями войск, чтобы как можно точнее воспроизвести их в своем личном кригшпиле. Много лет спустя, когда ученый уже был в США, он продолжил играть в эту игру и часто посещал стратегический центр РЭНД (Research And Development Corporation) — исследовательскую лабораторию, в которой обучались американские военные.
Прусские офицеры обсуждают военные стратегии за столом кригшпиля. Гравюра Адальберта фон Росслера (ок. 1884).
Около середины XIX века образовательная система Европы подверглась глубокой реформе. Промышленный переворот вызвал появление множества новых технологий, для применения которых требовались устройства и механизмы, до этого никогда не использовавшиеся. В программы открывающихся инженерных факультетов включали новые дисциплины, требовавшие более продвинутых знаний по математике, чем давала обычная школа.
Изучение математики — долгий процесс, идущий постепенно, шаг за шагом. Это многоэтажное здание, для которого нужен прочный фундамент, закладывающийся еще в школе. В середине XIX столетия в Венгрии была начата реформа, полностью внедренная к началу XX века и породившая так называемое венгерское чудо, которое впоследствии стало предметом изучения историков науки. Это явление было представлено такими учеными, как физики Денеш Габор (1900-1979), Лео Силард (1898-1964), Эдвард Теллер (1908-2003), а также физик и математик Юджин Пол Вигнер (1902-1995). Некоторые из них были товарищами фон Неймана по учебе. Девизом реформы стала фраза «Обновление или смерть», и она была понята буквально. В то время получила развитие дискретная математика, расчищающая себе дорогу в царстве «непрерывной», оставшейся в наследство еще от времен Исаака Ньютона (1643-1727), и лежащая в основе математического анализа. Одним из главных представителей этого прогрессивного направления стал Давид Гильберт (1862-1943), великий немецкий математик, впоследствии оказавший большое влияние на фон Неймана. Ласло Рац (1863-1930), венгерский математик, занимавшийся средним образованием, был одним из авторов реформы школьной программы по математике, начатой в 1909 году. Нововведением в рамках реформы стало создание в 1894 году Közepiskolai Matematikai Lapok — математического журнала для средней школы, редактором которого стал Рац. В нем печатали работы и учителей, и учеников, в основном он содержал довольно простые задачи. Этот журнал, как и учреждение математических конкурсов (например, «Этвёш»), сыграл решающую роль в воспитании нового поколения венгерских математиков.