Николай Александрович готовил себя к преподавательской и научной деятельности. Но за участие в нелегальном студенческом кружке и связь с революционной молодежью он еще в 1884 году оказался под надзором полиции, а затем в 1886 году был арестован и лишен права остаться при университете и заниматься педагогической работой. В дальнейшем Н. А. Рубакин неоднократно подвергался преследованиям полиции и высылкам из Петербурга на разные сроки. В 1907 году как «политически неблагонадежный» он вынужден был покинуть Россию и эмигрировать за границу — сначала в Финляндию (Выборг), а затем в 1908 году — в Швейцарию, где поселился в небольшом городе Кларане. В 1922 году Н. А. Рубакин переехал в Лозанну. Здесь он прожил до конца своей жизни. Умер Николай Александрович 23 ноября 1946 года. Урна с его прахом была перевезена на родину и погребена в Москве на Новодевичьем кладбище.
Вынужденный отказ от ученой карьеры, нежелание поступить на казенную службу, которая всегда отталкивала его своим однообразием и бюрократической атмосферой канцелярий, раздумья о том, каким образом служить своему народу, — все это определило направление дальнейшей деятельности Н. А. Рубакина. Его тянуло к живому делу, к людям. Он решил посвятить свою жизнь борьбе «против гнуснейшего вида неравенства — неравенства образования». Это стало его девизом, смыслом жизни. С ранних лет он общался с рабочими. Мальчиком Н. Рубакин вместе с братом продавал веники в банях своего отца и следил за тем, чтобы приказчик не воровал деньги из кассы. Здесь они знакомились с простыми людьми, разговаривали с ними и, с разрешения родителей, приглашали к себе домой на «литературные вечеринки», где рассказывались народные сказки, басни, случаи из жизни. Каждый был слушателем и рассказчиком. Так началось знакомство с жизнью, интересами и народной речью трудового люда.
По окончании университета Н. Рубакин четыре года работал на бумагоделательной фабрике своего отца в Стрельне. Здесь он постоянно общался с рабочими, беседовал с ними, снабжал их книгами и т. д. Но вскоре он убедился, что рабочие не всегда понимали его, а он — их. Как будто они разговаривали на разных языках. Еще в детстве Николай Александрович решил, когда вырастет, написать для людей, обездоленных образованием, книгу обо всем, «энциклопедию всех знаний». Непосредственно столкнувшись с рабочими, Н. А. Рубакин пришел к выводу, что надо изучить язык, психологию, интересы тех людей, просвещению которых он стремился посвятить свою жизнь. Это еще больше укрепило его в решении писать книги не для тех, кому широко открыты двери для образования — школы, университеты, библиотеки, кто имеет время и возможности для учения, а для наименее подготовленного читателя, принужденного хватать знания когда и как придется, рвущегося к свету из тьмы и невежества.
В 1891–1901 годах Рубакин много странствовал по фабрикам, заводам и деревням России. С этого и началось его самое ближайшее знакомство с трудовым народом, там он и научился писать для него языком, понятным всем, даже малограмотным людям. Так стало осуществляться его давнишнее желание — работать для народа. Он задумал создать научно-популярную энциклопедию для малообразованных читателей. Над выполнением этой задачи он работал всю жизнь, написав серии научно-популярных книжек по всем отраслям знания.
Мировоззрение Н. А. Рубакина формировалось под воздействием различных философских и общественных течений того времени. Еще с юношеских лет, под влиянием матери, он впитал в себя народнические взгляды 60-х годов. Большое влияние на него оказали русские просветители второй половины XIX века — революционные демократы Н. Чернышевский, Н. Добролюбов, Д. Писарев и другие, заветам которых он был верен всю свою жизнь. Рубакин был лично знаком с В. И. Лениным, Н. К. Крупской, Г. В. Плехановым, А. В. Луначарским, вел с ними переписку и поддерживал научную связь.
Н. А. Рубакин не стоял в стороне и от практики революционного движения. Его жена — Надежда Ивановна Рубакина — была учительницей тех же воскресно-вечерних рабочих школ на окраинах Петербурга, где в то время преподавали Н. К. Крупская, А. М. Коллонтай, Л. М. Книпович и многие другие учителя и учительницы из революционной интеллигенции. Рубакин постоянно оказывал им массу самых разнообразных услуг и большую помощь методическими советами о том, как заниматься с рабочими, какие книги рекомендовать им. Н. К. Крупская не раз брала из библиотеки Н. А. Рубакина книги для рабочих Невской заставы. В то время его библиотека была первой из частных библиотек, которая бесплатно снабжала книгами рабочие марксистские кружки. На занятиях этих кружков учителя демонстрировали экспонаты Подвижного музея наглядных пособий, созданного Рубакиным с участием Е. Д. Стасовой при его библиотеке.