Утин поселяется в Женеве, которая постепенно становится центром русской революционной эмиграции, на улице Приере (aux Pâquis, rue de Prieure´, 5). Молодой революционер ощущает себя призванным объединить и возглавить разрозненные силы русского «освободительного» движения и выступает с идеей объединительного съезда эмигрантов. В письмах он зовет Герцена переехать в Швейцарию из Лондона.
«Колокол» переживает не лучшие времена. Самое популярное в империи Александра Освободителя издание принесло лондонскому изгнаннику всероссийскую славу. В своих письмах Герцен усердно пересказывает принесенный кем-то ему в Лондон анекдот, будто государь начинает свой рабочий день с прочтения герценовских статей. Однако закон непостоянства славы касается и могучего громовержца Искандера. «Колокол» резко теряет популярность в России после того, как поддерживает поляков во время польского восстания 1863 года. Герцен нарушает ту границу, где русское свободомыслие головы сталкивается с патриотическим нутром, – тираж падает в пять раз. «Этот упадок Герцен приписывал тому, что он писал в <Колоколе> статьи в пользу поляков», – вспоминает Шелгунов, один из героев того «революционно-демократического» времени. Иссякает и поток посетителей из России, устремившийся вследствие «открытия границ» после смерти Николая I на берега Альбиона, чтобы пожать руку изгнаннику-победителю.
Герцен мучительно переживает эту образовавшуюся вокруг него пустоту. Пропала уверенность, что он идет впереди России, своим блистательным пером указывая народившемуся обществу направление. Но ему кажется, что еще не всё потеряно, что он еще может нагнать, объясниться, снова стать во главе. В письмах 1864 года постоянно появляется мысль, что необходимо переехать в Швейцарию, чтобы вдохнуть в «Колокол» новую жизнь. Огареву из Женевы: «Что “Колокол” издавать в Лондоне при новом взмахе в России нельзя, это для меня ясно. Здесь перекрещиваются беспрерывно едущие из и во Францию, из и в Италию, здесь многие живут и пр.»
Переезд на континент и перенос издания в Женеву – к концу 1864 года дело почти решенное. Возникает вопрос о союзниках. В декабре этого страшного для него года Герцен приезжает на так называемый Женевский конгресс – первый объединительный съезд русской эмиграции, организованный Утиным. Приезжает с похорон. 4 декабря умирает от дифтерита трехлетняя дочь Герцена Елена, через неделю, 11 декабря, сын Алексей – близнецы. В эти декабрьские дни Герцен пишет старшей дочери и ее воспитательнице: «Какую мрачную и страшную страницу я пережил, все мы пережили, трудно сказать вам это. Я присутствовал при ужасающем зрелище самой жестокой смерти – смерти от удушья – этих двух детей. Я держал девочку во время операции трахеотомии и закрыл глаза мальчику… Всё это сразу; удар за ударом… как сон…»
И вот через несколько дней – переговоры в Женеве с молодой эмиграцией. Герцен приезжает в город на Роне с Огаревым и своим старшим сыном Александром. Утин требует «Колокол» или фонд Бахметьева для издания своей газеты. Главное обвинение Герцену – старик держит монополию на революционную прессу. Герцен сначала готов поделиться, но глубоко оскорблен отсутствием уважительного к себе отношения со стороны молодых людей.В статье «Молодая эмиграция» он дает свой взгляд на причины расхождений: «В самый разгар эмигрантского безденежья разнесся слух, что у меня есть какая-то сумма денег, врученная мне для пропаганды. Молодым людям казалось справедливым ее у меня отобрать». Речь идет о знаменитом таинственном спонсоре революции, некоем Бахметьеве, юноше, получившем наследство и уехавшем строить социализм «на Маркизовы острова». По дороге, заехав в Лондон, он оставил Герцену круглую сумму «на пропаганду», которую тот положил в банк Ротшильда под процент, обязавшись, во-первых, ждать как можно дольше возвращения Бахметьева, а во-вторых, тратить эти деньги только совместно с Огаревым. Хотя след жертвователя пропал бесследно, на все притязания «молодых штурманов будущей бури» Герцен отвечает отказом. О молодых революционерах-землевольцах Герцен, объясняя свою позицию, пишет: «…Их систематическая неотесанность, их грубая и дерзкая речь не имеет ничего общего с неоскорбительной и простодушной грубостью крестьянина и очень много с приемами подьяческого круга, торгового прилавка и лакейской помещичьего дома. Народ их так же мало счел за своих, как славянофилов в мурмолках. Для него они остались сужим, низшим слоем враждебного стана, исхудалыми баричами, стрекулистами без места, немцами из русских».