«В моем доме было столько агрессии, и все мошенничали, особенно мой отец. Он провоцировал и разводил. Я научился всем отцовским аморальным, подозрительным, жестким позициям по отношению всего. Он не мог не проехаться на машине без того, чтобы ввязаться в драку с другим водителем. В этом смысле он был очень сложным, он всегда был готов плохо поступить с человеком ради своей выгоды. Наблюдая за ним, я не знал, что люди вообще могут себя вести приятно по отношению друг к другу… Я думал, что именно так ты общаешься с миром», — говорит Аллен. Когда Аллен нашел фальшивую монетку на улице, он попытался всучить ее своему деду, думая, что он слишком стар, чтобы увидеть разницу, но его поймала мать, которая была сторонником жесткой дисциплины в их доме, у нее был горячий темперамент и тяжелая правая рука. Она «всегда пыталась ударить его, — вспоминает его друг в юности Джек Фрид, — как только он вызывал ее гнев, она начинала вопить и орать, прежде чем сильно ударить его. У него была невероятная способность сдерживать эмоции. А его мать вообще не умела себя контролировать».
И опять же, тут не нужен психоаналитик, чтобы установить источник всех мегер, сварливых и ворчливых женщин, которые сформировали одну нить, охватывающую все женские персонажи в работе Аллена. «Она била меня каждый день моей жизни», — сказал он создателям документального фильма Барбары Копл «Блюз дикого человека» 1997 года. Но в тот момент единственная тактика, которую он знал и использовал в разной мере искусности, была бегством. В нем была черта, которая, кажется, появилась из рассказа Дэймона Раньона. Он мечтал стать картежником, шулером, мошенником и бесконечно практиковал в своей комнате трюки с ловкостью рук либо же сидел со своими друзьями на крыльце, выдумывая схемы, как облапошить своих одноклассников игрой с подтасованными картами или краплеными костями. «Никогда не играй в карты с Конигсбергом», — советовал редактор газеты Мидвудской школы «Аргос». Субботними утрами он со своими друзьями совершал паломничество в Магический магазин Ирвинга Теннена на Вест 52-й улицы в Манхэттене либо зависал в магазине с пластинками на Кингс Хайвэй, там они тратили свои карманные деньги на пластинки на 78 об/мин Джелли Ролл Мортона, потом они проигрывали их в доме их друга Эллиота Миллса, где они часами слушали джаз на его проигрывателе за 12,5 долларов. «Мы не переставали слушать, я имею в виду, одержимо ноту за нотой. Я не могу даже сказать, насколько одержимыми мы были», — рассказал Аллен. Его друзья всегда удивлялись, что ему не нужно просить разрешения уйти из дома, как нужно было им. Он просто свободно уходил.
Кроме всего прочего, были фильмы, которые являлись как бы сборником его любимых вещей: Манхэттена, магии, музыки, девушек, иллюзий, мелкого хулиганства, побега от действительности — все это было смешано в одно. Аллену было три, когда мать взяла его на его первый в жизни фильм «Белоснежка и семь гномов» в 1939 году; он побежал потрогать экран, но она притянула его. В первый раз, когда его отец взял его в город, ему было 6; они сели в поезд из Бруклина и вышли на Таймс-Сквер. «Это самая невероятная вещь, которую можно себе представить. Во всех направлениях в обозримом пространстве были кинотеатры. Теперь мне кажется, что в Бруклине, где я вырос, было много кинотеатров, и так оно и было, но здесь каждые 25 или 30 футов был кинотеатр — тут и там по Бродвею, и мне это казалось самым пленительным. Это было очертание всех этих знаков — значок Howard Clothes и значок Camel, — все эти вещи теперь стали иконичными. А на улицах были толпы солдат и моряков, и все они прекрасно выглядели в своих униформах. А женщины в то время все походили на Бетти Грейбл, Риту Хэйворт, Веронику Лейк — именно к этому они все стремились. И они прогуливались по улицам, держались за руки с моряками, а рядом со зданиями стояли парни, которые торговали как будто без ниток управляемыми марионетками, и там были прилавки с папайей и тиры. Это было похоже на момент, где Фред Астер идет по улице в начале „Театрального фургона“. Это не было преувеличением… Это было невероятно увидеть. И в тот момент, как я это видел, я понял, что все, чего я когда-либо хотел — это жить на Манхэттене и работать на Манхэттене, я был просто в восторге от этого места».