В Каменец-Подольске Шолом-Яков сдал экзамены в «казенном» училище и получил аттестат с правом заниматься педагогической деятельностью.
В 1858 году Шолом-Яков Абрамович перебрался в Бердичев, где занялся исключительно публицистикой. Через два года появляется сборник его статей «Мишпат шалом» («Мирный суд»). В нем он полемизирует с пользующимся в еврейской среде авторитетом, педагогом и писателем Л. Цвейфелем (1815–1888), проповедующим компромисс между хасидизмом и просвещением во имя «защиты иудаизма». «Мирный суд» произвел огромное впечатление, молодой автор обратил на себя внимание и приобрел славу тонкого и умного публициста.
В 60-х годах в кругу русской передовой интеллигенции особый интерес вызвало природоведение, о котором много и неоднократно рисал Д. И. Писарев. Под его влиянием прогрессивные еврейские просветители настойчиво доказывали, что естествознание — самая животрепещущая потребность общества, а популяризация этой науки — высшее назначение мыслящих людей. Менделе Мойхер-Сфорим занялся переводом на древнееврейский язык трехтомной «Естественной истории» немецкого ученого Ленца. Первый том (о млекопитающих) вышел в свет в 1862 году.
Вскоре Шолом-Яков опубликовал новеллу на древнееврейском изыке, послужившую ядром его романа «Отцы и дети». Роман не пользовался успехом, но зато заставил писателя серьезно призадуматься. «Вот я, — пишет он о себе, — стараюсь проникнуть во внутреннюю жизнь моего народа, чтобы потом описывать ее на языке Библии. Но разве не правда, что большая часть моего народа не понимает этого языка и знает только идиш. К чему весь этот умственный и физический труд писателя, если он бесполезен для народа? И вопрос „для кого же я работаю“ неотступно преследовал меня». Менделе принимает решение: впредь писать на понятном народу языке, на идиш. Бичуя и высмеивая, надо быть, пользуясь словами Шолом-Алейхема, человеколюбцем, надо быть преданным народу, «и в творчестве и в шутке оставаться ему верным с преданностью и любовью». Но преданность и любовь к трудовым массам писатель может выразить только на живом языке народа. Синагогальные и талмудические мудрецы пренебрегали языком идиш, называя его «и вульгарным, и ограниченным, и диалектом, и мешаниной, и жаргоном». Они смотрели на жаргон сверху вниз и относились к нему с презрением. Если кто-нибудь, вспоминает Менделе Мойхер-Сфорим, спускался с высот и решался писать на языке идиш, «то он всеми силами старался окружить тайной этот акт, грозивший ему унижением». «Мысль, что сочинениями на еврейском языке, — продолжает Менделе, — я восстановлю против себя так называемое общественное мнение, меня очень беспокоила, но сознание пользы моего поступка взяло наконец верх над чувством ложного стыда, и я сказал себе: будь что будет! Я буду бороться в первых рядах за этот самый жаргон и буду им служить моему народу». Менделе дал решительный отпор врагам демократических убеждений и сторонникам уступок и компромиссов. Писателю следует, размышлял Менделе, с головой окунуться в будничную жизнь масс и описывать ее на том самом языке, на котором она главным образом проявляется.
Первое произведение на идиш «Маленький человечек» печаталось в петербургском еженедельнике «Кол-мевассер» («Голос возвещающий») в течение 1864–1866 годов.
Образ «Маленького человечка» — богача Ицхок-Авремла написан с живого человека, «пощелкивающего большим кнутом» и управляющего еврейской общиной Глупска. Итак, Кабцанск, Тунеядовка и Глупск — «вот три столицы, — пишет Шолом-Алейхем, — которые фигурируют во всех творениях Менделе Мойхер-Сфорима и самыми названиями метко выражают всю сущность тогдашнего еврейского гетто… Глупск — невежество, Кабцанск — нищета, Тунеядовка — бедняки без ремесла, без работы, без занятий, лишние существа на свете».
«Маленький человечек» — монолог сатирического героя. Ицхок-Авремл рассказывает о самом себе, как он с детства старательно учился быть маленьким и незаметным, но с помощью лести и подлости стать «сильным» и душить слабых. Он ни перед какими злодеяниями не останавливался, когда речь шла о его личных интересах. Умело надевал на себя личину богобоязни и благодетельствования, чтобы выглядеть важной персоной, заботливо думающей о благе общины.