Философ много сделал для развития краеведческих исследований в тех городах, с которыми связывала его судьба: Богородск, Керенск, Воронеж, Асхабад — это далеко не весь перечень. В первой половине 1874 г. он несколько месяцев живет в Керенске, где Н. П. Петерсон взял на себя попечительство о Керенской публичной библиотеке. Вместе с учеником изучает Керенский край, создает при библиотеке хранилище местных исторических документов, куда свои родословные несут даже крестьяне. И в Москву поначалу возвращается с целью собрать по местным библиотекам и архивам новые сведения о Керенском крае. Однако вскоре древняя столица окончательно берет над ним власть: в конце ноября философ поступает на службу в библиотеку Московского публичного и Румянцевского музеев, под одну крышу с которой перекочевала и подаренная городу Чертковская библиотека. Работает дежурным чиновником при читальном зале, а позднее становится заведующим Каталожной комнатой библиотеки.
В этой комнате, где на больших столах располагались каталожные ящики с книжными карточками — своего рода мозг библиотеки, ее ДНК — на протяжении двух десятилетий царил гений философа-библиотекаря. По свидетельству современников, он обладал энциклопедическими познаниями, знал содержание всех книг московского книгохранилища и мог проконсультировать занимающихся в библиотеке буквально по любому вопросу. Федоров создал целую философию библиотеки как центра самообразования, познания и общего дела, подчеркивая, что в будущем она сможет заменить даже университет и именно в ее умном пространстве во всей полноте действует принцип: «Все должны быть познающими». Под руководством «идеального библиотекаря» в 1874–1876 гг. в Румянцевской библиотеке занимался юный К. Э. Циолковский. «Федорова я считаю необыкновенным человеком, а встречу с ним — счастьем. Он мне заменил университетских профессоров, с которыми я не общался», — признавался будущий теоретик космонавтики в конце жизни.
«Герой и подвижник в области книговедения», Федоров выдвинул ряд библиотечных новаций, которые потом воплотились в жизнь, стали практикой работы библиотек XX–XXI веков: идея международного книгообмена, устройство в библиотеках выставочных отделов, выдача в читальный зал книг из частных коллекций, выпуск книжных карточек, содержащих не только библиографическое описание книги, но и ее аннотацию — своего рода «зерно», «семя» всего сочинения. Многие из идей и проектов философа-библиотекаря обретают реальность только сейчас — та же идея собирания общей памяти человечества, создания всемирной библиотеки-музея, вмещающей в себя все знание и весь массив культурного наследия рода людского, кумулирующей в себе издания, выходящие в разных концах земного шара, на разных языках мира, исторические и культурные памятники и др. Федоров предлагал создать эту библиотеку-музей в Константинополе, центре восточно-христианского мира, на перекрестке Всемирной истории. В наши дни эти идеи отчасти оживают в проектах создания Системы бессрочного хранения информации, Всемирной электронной библиотеки, вбирающей в себя национальные электронные библиотеки разных стран мира, в создании виртуальных порталов памяти, цифровых музейных коллекций в сети Интернет и др.
Федоров придавал собиранию и хранению информации не прикладной, но священный смысл, видел в этом первые этапы воскресительной работы человечества. Библиотеки, музеи, архивы как институты памяти были для него «не собранием мертвых вещей», книг и рукописей, а «собором лиц», стоящих за каждой коллекцией и документом. Самый процесс чтения представлялся Федорову своего рода воскресительным актом, изводящим из тьмы забвенья лицо автора книги: «читающий невольно рисует в своем воображении портрет его, слышит его голос, входит в его чувства и мысли».
«Интеллектуальная и духовная власть» Федорова была столь высока, что художник Л. О. Пастернак, посещавший Румянцевский музей в 1892–1893 годах с целью сбора материала для иллюстраций к роману Л. Н. Толстого «Война и мир», в своих воспоминаниях назвал его заведующим библиотекой. В Каталожную приходили для бесед с Московским Сократом Лев Толстой и Владимир Соловьев, Афанасий Фет и художник Василий Верещагин. Здесь сложился круг друзей и учеников, глубоко чтивших мыслителя, помогавших ему в его общественных начинаниях. По воскресеньям Каталожная превращалась в своего рода ученый клуб, где собирались и старожилы библиотеки, и ученые, и новички, разгорались философские споры и «звучало среди разлада мыслей и тумана сомнений умиротворяющее слово “учителя”, способное, — как писал друг и первый биограф Федорова В. А. Кожевников, — вместить разнообразие направлений и объединить кажущиеся противоречия своею совершенно исключительною синтетическою способностью!..».