Несмотря на начитанность и таланты — Бергельсон был хорошим актером-любителем и прекрасно играл на скрипке, — ему не удалось сдать экстерном экзамены за гимназический курс. Попытки получить специальность, зубоврачебную или коммерческую, также не удались, однако оставшегося от отца наследства было достаточно для безбедного существования. Главным увлечением Бергельсона была литература, в первую очередь ивритские писатели-модернисты Ури-Нисон Гнесин, с которым он познакомился в Киеве, и Миха-Йосеф Бердичевский, а также Чехов, Тургенев, Флобер и Гамсун. С современной литературой на идише он практически не был знаком. Погруженный в занятия литературой и искусством, Бергельсон обращал мало внимания на политические события. Позже он сам признавал, что в 1905 году не понимал разницы между большевиками и меньшевиками и ничего не слышал о Ленине. Мало интересовала его и еврейская политика. Свой первый рассказ Бергельсон написал в 1906 году на иврите, но он был отвергнут редакцией виленского журнала «Газман». Попытка писать по-русски тоже оказалась неудачной. По совету сведущих в литературе знакомых, в том числе Льва Шестова, Бергельсон обратился к идишу.
Переход на идиш оказался трудным делом. Чтение идишских классиков не помогало начинающему писателю найти свой собственный стиль, отвечавший его представлениям о современной литературе. Бергельсону претила разговорчивость героев Шолом-Алейхема, был чужд польский диалект Переца, а поэтическая идеализация местечка в произведениях Шолома Аша не соответствовала его собственному опыту. В своих первых опытах на идише он пытался подражать Чехову и Шницлеру, но и они не были приняты редакторами журналов в Киеве, Вильно и Варшаве. Лишь в 1909 году Майзелю удалось пристроить повесть «Вокруг вокзала» у крупнейшего варшавского издателя Лидского при условии, что Бергельсон оплатит половину расходов. Приехав в Варшаву, Бергельсон вместе с Майзелем подошли «за благословением» к дому Переца, постояли перед дверью, но не решились позвонить и ушли. Повесть получила несколько положительных отзывов, в частности от молодого критика Шмуэля Нигера в газете «Дер фрайнд», незадолго до этого переехавшей из Петербурга в Варшаву. Вдохновленный успехом, Майзель открыл в Киеве в 1909 году собственное издательство «Кунст-фарлаг» («искусство»), где под редакцией Бергельсона вышел первый номер «Еврейского альманаха». Распространением киевской печатной продукции занялся известный виленский издатель и энтузиаст «серьезной» еврейской литературы Борис Клецкин. С этого времени Бергельсон начал активно печататься в различных, преимущественно киевских и виленских, изданиях.
Как и большинство еврейских писателей, живших к тому времени в крупных городах, Бергельсон писал в основном о жизни местечка. Он объяснял это тем, что только там евреи все еще говорили на идише, в то время как в городах они уже в значительной мере перешли на русский или польский язык. Однако выбор местечка как арены действия был обусловлен не только языком. В своих ранних рассказах Бергельсон создал очень точную и подробную картину экономического и социального упадка традиционного еврейского образа жизни в результате капиталистической урбанизации и индустриализации. Герои Бергельсона принадлежали, как и он сам, к некогда зажиточному торговому сословию, на протяжении нескольких веков служившему посредником между украинскими крестьянами, польскими помещиками и крупными торговыми и промышленными городами России и Европы. Реформы 1860-х годов, поражение Польского восстания 1863–1864 годов, развитие железных дорог и рост промышленного производства, концентрация коммерции и банковского дела подорвали объективную, социально-экономическую основу их благосостояния, однако субъективно, в собственном сознании, они еще продолжали жить в прежнем мире, стараясь следовать его правилам и условностям.