Все шло хорошо до тех пор, пока не пропала у отца упряжка лошадей. Семья осталась без надежного заработка. Альфред и Ян вынуждены были прекратить занятия: Альфред — по классу фортепиано, Ян — вокального искусства. Дубур был очень раздосадован, когда узнал, что самый младший из семьи Лепсе покидает класс: «Передай маме, что я разрешаю тебе ходить бесплатно. В будущем, возможно, и у нас в Латвии появится свой Шаляпин». Однако в семье Лепсе было заведено по-другому. Ян Якабавич считал непристойным быть должным кому-либо, зависеть от кого-нибудь. «Заработай сам и будь сам себе хозяин», — всегда повторял он.
Вначале Альфред, а потом и Ян пошли на завод. Альфреда приняли сразу, поскольку он был старше. Яну же только исполнилось четырнадцать лет. Его с трудом удалось устроить на принадлежавший акционерному обществу Рижский чугунолитейный и машиностроительный завод, в прошлом Фельзер и К0, учеником формовщика литья. Уж больно бледным и хрупким казался Ян с виду.
Работая на «Фельзере», Ян не расставался со сценическим искусством. Вместе с Альфредом по рекомендации Е. Дубура он посещал «Улей». Там, при Доме купеческого общества, под руководством Константина Незлобпна, других режиссеров молодежь, а среди нее были и студенты Политехнического института, ставила Чехова, Горького, Островского, а также модных тогда зарубежных драматургов и композиторов. Лепсе лучше всего удавались смешные водевильные роли. Нередко к участию в спектаклях постановщики и импресарио привлекали профессиональных актеров, и тогда спектакли шли при полном аншлаге.
«Улей» очень обогащал жизнь юного Яна Лепсе. Там он познакомился со студентами Политехнического института Арвидом и Петерисом, их подругой Илзой. Студенты иногда приглашали Яна на открытые лекции в институт, звали на свои капустники. В институте и Доме купеческого общества Лепсе встречался и с революционерами — членами рижского партийного подполья, которые вели пропагандистскую работу среди молодежи.
…Лепсе еще многого не знает и не ведает. Он старается лишь осмысливать все происходящее вокруг, горит желанием познать хоть то немногое, чем живут Арвид, Петерис, их сокурсники.
На «Фельзере» Ян знакомится с членом заводской партийной организации Андрисом Недритом. Поначалу их свела любовь к стихам Райниса, которые Ян почитывал в обеденный перерыв, на что и обратил внимание Андрис. А. Недрит стал обмениваться с Я. Лепсе книжками, среди которых были работы Ленина, Фейербаха, Данишевского, прогрессивных писателей Латвии, обращается к Яну с просьбой распространить в кругу подростков статьи и книги на политические темы. Позже Недрит вводит Яна Лепсе в партийную организацию, действовавшую на заводе подпольно. Это произошло в декабре 1904 года, спустя полгода после того, как Яна взяли в ученики.
Вскоре Я. Лепсе вместе с Г. Розенбергом, А. Апенитом, Я. Пратнеком, подростками из литейного, составлявшими актив партийной организации, участвует в первой своей демонстрации, проходившей тогда в Риге против царского самодержавия, его антинародной военной политики. А 13 января 1905 года, откликаясь на события 9 января в Петербурге, они шли в колонне рабочих Александровского района, направлявшейся вместе с колоннами других районов к дворцу губернатора, чтобы выразить свой гневный протест. Демонстранты не знали, что жандармам был отдан приказ встретить безоружный народ огнем. Для Лепсе и других молодых партийцев 13 января 1905 года стало датой их боевого, революционного крещения.
Лепсе оказался впереди своей колонны в тот момент, когда жандармы начали палить из винтовок. До Даугавы было каких-то полета метров, и он, не задумываясь, что было сил бросился к покрытой льдом реке, несмотря на устроенную войсками засаду, прямые выстрелы. И лед спас его. Урок того «прорыва» запомнился ему на всю жизнь. «Не убегайте в испуге от пуль, — говорил Лепсе потом, будучи комиссаром, солдатам, красноармейцам, — пули быстро догонят. Рвитесь с ходу вперед. Встречный бросок — плохая мишень!»
В том же году по инициативе Яна Лепсе на «Фельзере» проходит забастовка учеников, требовавших от владельцев завода сократить сроки обучения или хотя бы платить сдельно за ненормированную формовку и литье. Предприниматели решили выставить подростков на улицу: «Хотите получить профессию — учитесь положенные три года. Нет — вам нечего делать на заводе!» Но по призыву большевиков подростков поддержали все рабочие. Они остановили свои станки, несмотря на то, что срывался военный заказ. Восемнадцать дней продолжался пикет у заводских ворот. В конце концов распорядители акционерного общества, в чьем ведении был завод, под давлением военного ведомства пошли на уступки: дали согласие платить за сверхурочные работы подросткам, а также за дополнительные заказы, которые выполняли рабочие.