В начале 60-х прежнее влияние «Колокола» в России резко пошло на убыль. Процесс освобождения крестьянства не оправдал надежд Герцена. Царизм в очередной раз поверг его в ужас кровавым подавлением восстания в Польше в 1863 году. Герцен был в числе сравнительно небольшого числа русских интеллигентов, искренне вставших на сторону поляков. Несмотря на этническую связь (а может, благодаря ей) и всю историю двух этих народов, отношения между поляками и русскими складывались не лучшим образом. В отношении поляков русское общественное мнение придерживалось стереотипов, не слишком отличающихся от тех, которыми иногда награждали евреев. Радикалы видели в польских лидерах аристократов и землевладельцев, которые эксплуатировали своих (а нередко русских) крестьян. Консерваторы считали поляков нацией революционеров, похвалявшейся своей исключительной культурой и предавшей славянскую расу. Герцен, уверенно вставший на защиту польской независимости в тот момент, когда поляки убивали русских солдат, разбудил в России шовинистические чувства.
Герцен катастрофически быстро терял влияние и среди радикалов, готовых приветствовать любое выступление против царизма. Герцен явно отставал от «людей 60-х годов», или «нигилистов», как их иногда называют. Он был продуктом романтизма, а они вообразили себя представителями «научного» коммунизма. На их взгляд, социализм Герцена был излишне гуманным. Во многих случаях «нигилисты» были людьми низкого происхождения; их самолюбие уязвляли аристократические манеры и изысканный язык Герцена. Они прикрывали свою социальную и интеллектуальную неполноценность, как это зачастую происходит в подобных случаях, сарказмом в адрес «людей 40-х годов» с их полными благих намерений, но такими устаревшими и бессмысленными либеральными идеями (в радикальной среде слово «либерал» стало звучать как оскорбление). Новые люди, вроде Чернышевского, вызывали у Герцена скорее эмоциональное, нежели политическое неприятие. Он чувствовал, как, вероятно, почувствовал бы в большевиках, что занятие революцией, скорее всего, является для них не возможностью добиться свободы, а просто самоцелью. За их ярко выраженным материализмом и погруженностью в науку Герцену виделась враждебность к традиционной культуре, ко всему, что не могло стать «полезным», то есть не соответствующему их политическим представлениям и амбициям. В ужасе от новых радикалов Герцен произнес фразу, которая постоянно ставилась ему в вину: молодежь, писал Герцен, сохранила в своей ментальности характерные особенности, присущие «комнате для слуг, духовной семинарии и казарме». Это был прямой намек на их плебейское происхождение, обвинение в грубости и зависти к старшему, более «благородному» поколению. В другом случае Герцен воспользовался приемом, который впоследствии использовался во всех революционных спорах, а сегодня, тщательно отлаженный, прослеживается в отношениях между русскими и китайскими коммунистами, которые, отказавшись от собственной политики, ставшей «крайне» правой, служат интересам реакции. В статье под заголовком «Very Dangerous» (есть какая-то неестественность в том, что название дано на английском языке) Герцен объявил, что нападки на него служат интересам наиболее реакционной части царской бюрократии и за это правительство могло бы наградить молодых радикалов.
Герцен с горечью понял, что его противники все сильнее завоевывают умы и сердца молодого поколения России. Кроме того, к нему пришло осознание безнадежности его собственной политической позиции. Герцен не мог позволить себе долго оставаться среди людей с умеренными взглядами и отрицать любые формы революционной борьбы. В нем уже проявилась психологическая черта, ставшая проклятием будущих либералов. Как повезло Ленину, который понял и использовал в своих интересах слабоволие либералов.
В силу характера Герцен должен был вернуться к революционной борьбе. Он все еще возлагал надежды на императора, но, как и прежде, горячо реагировал на любые проявления тирании и жесткости со стороны властей. Студентам, возглавившим теперь революционные беспорядки в России, Герцен писал: «Слава вам! Вы начинаете новую эру, вы осознали, что время слухов, скрытых намеков (тайного чтения), запрещенных книг прошло». Куда же им следовало идти, если власти закрыли университеты? «К народу, к народу… показать ему… что среди вас есть те, кто готов сражаться за русский народ». На арест Чернышевского, своего основного антагониста среди радикалов, человека, который олицетворял для него духовную узость (менталитет семинарии), Герцен отреагировал статьей, в которой отдавал дань уважения Чернышевскому и осыпал проклятиями царизм.