Он был сообразительным пареньком и однажды понял, что уоки-токи могут быть очень полезными в ограблениях. Он спланировал ограбление и сумел скрыться, но один из его шайки стал сорить деньгами. Грегори выследили во Флориде, и в 1947 г. он был приговорен к трем годам заключения в государственной тюрьме Клинтон в Даннеморе, Нью-Йорк, прямо рядом с канадской границей. Именно в Клинтоне он увлекся поэзией и классической литературой. Он читал запоем, стараясь поднять свой культурный уровень. Он начал изучение с классического периода греков и римлян, и это навсегда наложило отпечаток на его поэзию. Кстати, позднее он посвятит свою книгу стихов «Бензин» «ангелам тюрьмы Клинтон, поддержавшим меня, семнадцатилетнего, и снабдившими книгами, которые помогли мне прозреть».
Грегори рассказывал биографу Нелли Черковски: «У меня были самые лучшие учителя. Было там несколько ребят в тюрьме. Когда я попал туда, мне было семнадцать, когда я вышел — девятнадцать. Понимаете? Это два очень важных года. Я был проблемой для общества. А знаете, что я приобрел в Даннеморе? „Красное и черное“ Стендаля и моего Шелли. Это здорово встретиться с Шелли ребенком, когда они запирают тебя в клетку, потому что ты опасен… Ты сам хозяин своего времени. Я использовал его, чтобы исследовать книжные жемчужины. Я в тюрьме даже словарь изучал, я все слова выучил». Он занимался по огромному словарю, изданному в начале века, Грегори начал с буквы «А» и планомерно изучил все слова, даже те, которые были помечены как архаизмы.
Его освободили в 1950 г., накануне его двадцатого дня рождения, теперь он считал себя поэтом. Позднее Грегори писал: «Вернулся домой, пожил там два дня, сбежал из дома навсегда, правда, вернулся к вечеру, чтобы умолять о прощении и забрать мою коллекцию марок». Он устроился на работу в округе Гармент, а вскоре познакомился с Алленом Гинзбергом. Приятель Грегори работал художником и рисовал портреты посетителей в лесбийском баре «Стойло пони» на Третьей улице по Шестой авеню в Виллидже. Грегори как раз зашел навестить его, когда в баре появился Аллен. У Грегори была с собой большая пачка стихов, и каждому встречному и поперечному он рассказывал, что он — поэт. В то время в Виллидже подобные заверения были обычным делом, но Гинзберг заметил, что все стихи были набраны на печатной машинке, а это уже было необычно, к тому же ему понравился молодой человек с взъерошенной шапкой волос на голове и блестящими темными глазами, он подошел и представился.
Гинзберг удивился, увидев, что стихи оказались хорошими. Там было одно, сейчас утерянное стихотворение, в котором была строчка, запомнившаяся Аллену на всю жизнь: «Мир камня приближается ко мне и говорит, что жизни час остался». Аллен был потрясен и с воодушевлением принялся рассказывать о своих друзьях, которые тоже были писателями. Они рассказали друг другу о своих жизнях, и Аллен спросил, как у него насчет секса. Грегори рассказал ему, что мечтает об одной из своих соседок. Он жил в маленькой меблированной комнатенке под самой крышей на 12-й Западной улице Шестой авеню и со своей командной высоты мог видеть все, что происходило в квартире молодой женщины, которая жила на четвертом этаже в доме напротив. Он мастурбировал, глядя, как она раздевается перед зеркалом, принимает ванну, ходит в туалет и занимается любовью с приятелем, который приходит к ней каждый вечер. Грегори мечтал, что перейдет улицу, постучится и познакомится с ней.
Аллен тоже был потрясен, потому что по деталям истории Грегори это была его собственная подруга — Дасти Моленд — и что ее приятель — это он сам. «Хочешь, познакомлю? — загадочно спросил Аллен. — Я волшебник». На следующий день он познакомил Грегори с ней. Позднее Грегори прокомментировал это как «первое совокупление после тюрьмы».
Аллен познакомил его с Джеком Керуаком, представив как поэта. «А в каком жанре ты специализируешься?» — спросил Керуак. «Во всех», — ответил Грегори. Еще Аллен познакомил его с Марком Ван Дореном — лауреатом Пулитцеровской премии, он был профессором английского языка, учившимся раньше с Алленом в Колумбийском университете, и тот продолжал считать его мудрецом и называл «китайцем». Грегори был польщен тем, что его приняли как настоящего поэта, и купался в том внимании, что Аллен оказывал ему. Позднее Грегори писал: «Благодаря ему я узнал больше о современной поэзии, научился подавать себя в университетском обществе. Кроме огромного удовольствия, получаемого мною от веселых обсуждений поэзии, он был первым человеком, который был добр ко мне, он стал моим дорогим другом».