Особенно тяжелый период, вспоминал поэт, пришлось пережить после освобождения из лагеря. Чтобы получить какую-нибудь специальность, он окончил единственно доступные для него как для бывшего зэка, сидевшего по политической статье, бухгалтерские курсы. Работал сначала бухгалтером в домоуправлении, потом в автотранспортном предприятии, вплоть до 1962 года. Этой внешней стороне жизни Борис Чичибабин не придавал решающего значения. Он как-то умел жить, всегда оставаясь самим собой. Главными были для него внутренний мир, его внутренняя свобода. В автобиографической прозе «Выбрал сам» он так писал об этом: «Хоть обстоятельства отучали заниматься литературным делом, отучить быть поэтом невозможно. Это так же, как со свободой. Если есть у человека внутренняя свобода — он будет свободен и в тюремной камере, где пять шагов в длину и шаг в ширину… и эту внутреннюю свободу никто у него не отберет — никакие лагеря, никакие тюрьмы, никакие преследования».
Работая в домоуправлении, он познакомился с Матильдой Федоровной Якубовской и перешел к ней жить, в маленькую чердачную комнату в самом центре Харькова (ул. Рымарская, 1). Во второй половине 1950-х постепенно образовался дружеский круг, состоявший из художников, поэтов, артистов и просто людей, любящих поэзию. По воспоминаниям друзей, пришлось выделить определенный день (среду), чтобы не слишком досаждать хозяевам. Об этих «чичибабинских» средах многие очевидцы сохранили яркие воспоминания. Бывали и приезжающие к родственникам в Харьков известные поэты: Борис Слуцкий, Григорий Левин, Григорий Поженян. Приглашенный на официальное выступление в Харьков, приходил знакомиться Евгений Евтушенко. Борис Слуцкий способствовал публикации стихотворений Чичибабина в журнале «Знамя» в 1958 году.
После выхода первых сборников в 1963 году, почти одновременно в Москве и Харькове, имя поэта стало известно не только в родном городе. Наконец он мог оставить бухгалтерскую работу и перейти на литературную. С 1964 по 1966 год Чичибабин руководил литературной студией при библиотеке Дома культуры связи. Студия пользовалась популярностью у харьковчан: возраст участников был от 16 до 70 лет, — но просуществовала она недолго. В начале 1966-го ее закрыли: поводом послужило занятие, посвященное Борису Пастернаку. Конечно, дух вольнодумства, царивший в студии, тоже сыграл свою роль. По странному стечению обстоятельств, после трехлетней волокиты, Чичибабина в этом же году приняли в Союз писателей. Но после закрытия студии, чтобы иметь какие-то средства к существованию, поэт был вынужден снова пойти на конторскую работу. Он проработал 23 года в Харьковском трамвайно-троллейбусном управлении, занимаясь документацией, деловыми письмами, отчетами в материально-заготовительной службе. Чичибабин всегда подчеркивал, что это была не бухгалтерская работа, которая отнимала бы у него гораздо больше времени и сил. На всех работах он числился под своей паспортной фамилией Полушин (фамилия усыновившего его отчима); Чичибабин — литературный псевдоним по фамилии матери.
В середине 1960-х Чичибабин издал еще две книги в Харькове, но свои «главные», как он сам говорил, стихотворения не мог туда поместить, так как они не прошли бы советскую цензуру; некоторые были напечатаны, но в искаженном виде. Он был недоволен этими книгами, временами даже стыдился их. «При желтизне вечернего огня / как страшно жить и плакать втихомолку. / Четыре книжки вышло у меня. / А толку?» («Уходит в ночь мой траурный трамвай…»).
Несмотря на все превратности судьбы, Борис Алексеевич старался сохранить веру в справедливость и человечность советского строя. Но пришедший на смену оттепели идеологический режим, реабилитация сталинизма, начавшиеся политические процессы выбивали почву из-под ног и не оставляли ни малейшей надежды на будущее. И в личной жизни наступает кризис: приходит конец взаимопониманию и терпению. Чичибабин тяжело переживает сложившуюся ситуацию. Едва ли не самые трагические стихотворения «Уходит в ночь мой траурный трамвай…» и «Сними с меня усталость, матерь Смерть…» написаны им в это время…