Рисование было чуть ли не единственной радостью маленького Толи. «Я уцепился за карандаш и стал рисовать воробья, — вспоминает он, — и очень хотел, чтобы мне рисовали коня. Я стал копировать деревья, бабу и траву с картины — лубок висел как образ, мрачный и глухой». Но было ещё неизвестно, сохранится ли этот интерес дальше.
С четырнадцати лет Зверев стал выступать в юношеских футбольных командах и хотел стать вратарём-профессионалом, как его кумир — необычайно популярный тогда голкипер Леонтьев. Интересно, что антипод Зверева в живописи — Владимир Вейсберг — был несколькими годами раньше центральным нападающим юношеской сборной Москвы. Так им и предстояло в будущем: одному — нападать, другому — защищаться, хотя ни один из них футболистом так и не стал.
Серьёзно изучать искусство живописи Зверев начал с пятнадцати лет, бросив среднюю школу. С 1946 по 1950 год он учился в Художественном ремесленном училище на Преображенке у Дмитрия Лопатникова. Он всегда вспоминает своего учителя с благодарностью, а время учения — как одно из самых радостных в жизни. «Надо дерзать!» — повторял Лопатников, и Зверев напряжённо работал, овладевая профессиональными навыками и пытаясь найти свой стиль. Менее удачно сложилось его учение в Художественном училище памяти 1905 года, куда он поступил после двухлетней службы во флоте. Зверев не соглашался с системой преподавания, которая господствовала там, и вскоре был вынужден уйти. С тех пор он работал самостоятельно, первые годы почти в полном одиночестве. Это было грустное время. «Вот я покидаю училище живописи, — писал он другу, — и, по-флотски шлёпая по бульвару и улице башмаком на правой и валенком на левой ноге, направляюсь в сторону дома, где не поджидает меня никто, кроме кошки».
До 1952 года он писал преимущественно пейзажи, под сильным влиянием Исаака Левитана и Кондрата Саврасова, двух известных русских пейзажистов конца XIX века. Однако их натуралистическая, слегка слащавая манера постепенно перестала удовлетворять Зверева, хотя он до сих пор ценит их обоих. Его начинает привлекать динамизм рисунков Михаила Врубеля, художника, совершившего революцию в русском искусстве конца века и кончившего жизнь в психиатрической больнице. У Врубеля он находит как бы подтверждение своего права на экспрессию.
В 1953 году Зверев получил новый сильный художественный импульс. После долгого перерыва в Москве были вновь экспонированы картины импрессионистов, Сезанна и фовистов. Хотя Сезанн потряс Зверева, но интеллектуальный метод знаменитого француза оказался ему органически чужд. Его тянуло в сторону большей экспрессии за счёт меньшей построенности картины. Пожалуй, из всех увиденных художников ближе всех ему был Ван Гог. Он напишет потом, что «был близок к Ван Гогу как в силу общего восприятия натуры, так и в общении с народом».
Пока же, по его словам, он начинает энергично работать «на началах эксперимента и какого-то непонятного стремления быть художником независимым». В тот период он пишет только с натуры: пейзажи, портреты, ню, постоянно рисует в зоопарке зверей и птиц. Этому «количественному» росту не хватало какого-то резкого скачка, чтобы перейти в новое «качество».
Зверев работал тогда художником в детском городке Сокольнического парка в Москве. Срочно понадобилось оформлять этот городок к какому-то празднику. Все остальные художники отказывались от этой работы, так как времени оставалось в обрез. Зверев попросил ведро краски и кисти и энергично начал расписывать фанерные щиты. Оставались считаные часы, раздумывать времени не было — и художник работал интуитивно, рука двигалась как бы «сама собой». В конце концов он даже отбросил малярные кисти и закончил работу веником, который ему одолжила одна из уборщиц.
Впоследствии известный московский коллекционер Георгий Костаки специально приезжал в Сокольники смотреть написанных веником красных петухов. Костаки сказал, что такого сильного впечатления на него не произвели даже работы, которые ему показывал в Париже Шагал.
В 1959 году Зверева подвели к картине Джексона Поллока на проходившей тогда американской выставке, кстати, тоже в Сокольниках, и сказали: «Вот кому вы подражаете».
Зверев увидел Поллока впервые. Внимательно рассмотрев знаменитую картину и вспомнив, как в ста метрах отсюда он писал веником на огромных фанерных листах, Зверев сказал: «Ну, это академизм. Я ушёл гораздо дальше».
Однажды, делая этюды, он случайно познакомился в Сокольниках с Надеждой Румневой, а потом с её братом — известным советским артистом, руководителем театра пантомимы Александром Румневым, ныне покойным. Эта встреча сыграла большую роль для Зверева. Румнев, сам тонкий художник, был удивлён большими способностями нового знакомого и много занимался с ним, обучая его не только живописи, но даже и иностранным языкам.