Владимир Онуфриевич совсем уже не был в состоянии заниматься наукой. Кроме краха всех его строительных и других коммерческих затей, кроме назревавшего распада семьи, на него обрушился еще один тяжелый удар. Это был поздний отголосок давнего недоброжелательства к Ковалевскому со стороны радикально-революционных кружков. Началось оно во второй половине шестидесятых годов. Выстрел В. Д. Каракозова 4 апреля 1866 года в Александра II вызвал белый террор дворянского правительства против участников революционных и радикальных кружков. Хватали правых и виноватых. Казематы Петропавловской крепости были переполнены арестованными. Среди них были друзья и знакомые Владимира Онуфриевича. Его самого муравьевский террор обошел, как и очень многих других участников общественного движения. Но Ковалевскому это зачлось плохо. В эмигрантских кругах стали говорить о подозрительности его счастья.
В письме к А. И. Герцену из Неаполя, от 22 сентября 1866 года, Бакунин сообщал, что слух о том, будто В. Ковалевский — корреспондент III отделения, дошел до него от Н. И. Утина. Так как сам Бакунин имел «дотоле доброе мнение о Ковалевском», то он «потребовал Утина к ответу». Утин отвечал, что он обвинил Ковалевского, не зная его, по сообщениям знакомых, и отказался назвать их. Бакунин указал ему, что «обвинять громко человека в шпионстве, не называя своих источников и не приводя положительных доказательств, не благородно, не честно, а также и не совсем безопасно». На это Утин отвечал, что «с тех пор, как он лично познакомился с Ковалевским, он сам усомнился в справедливости обвинения». «Утин пустой и тщеславный мальчишка, — добавляет Бакунин, — важнее было для меня показание М. — натуралиста, которого я от души уважаю, как человека умного, серьезного и добросовестного. Он сам лично также ничего не знал положительного против Ковалевского, но слышал многое от разных людей в Швейцарии и в Германии». С этим сообщением Бакунин переслал Герцену письмо, полученное им от Ковалевского по поводу сплетен.
Письмо Владимира Онуфриевича к Бакунину до нас не дошло, но розысками М. К. Лемке, редактора 22-томного собрания сочинений Герцена, и моими в разных архивах установлено, что отношения III отделения к В. О. Ковалевскому сводились исключительно к переписке об его политической неблагонадежности. Однако, в 60-х годах слухи, исходившие от «пустого мальчишки» Утина и умного, добросовестного М., доползли к Герцену, и он изменил свое хорошее мнение о В. О. Ковалевском. Впрочем, через два года Герцен выражал сожаление о своем плохом отношении к Владимиру Онуфриевичу.
Семья Герцена также не придавала значения этим слухам. В 1872 году Н. А. Тучкова-Огарева виделась с А. В. Жаклар в Цюрихе и расспрашивала ее о Владимире Онуфриевиче «без всякого враждебного чувства».
В том же году, ожидая полного разрыва с Софьей Васильевной, Ковалевский в письме к брату высказывал радость по поводу того, что он не будет одинок в Париже, так как сумеет бывать там у своих друзей — дочери Герцена, Ольги, и ее мужа Г. Моно.
Кто же распространял слухи о Ковалевском, причинившие ему много горя, несомненно отразившиеся на его психическом состоянии и, может быть, не меньше, чем крах спекуляций, послужившие причиной его трагической гибели?
Главный распространитель слухов о сношениях В. О. Ковалевского с III отделением, Н. И. Утин, примыкал в 60-х годах к революционным кружкам, но в 70-х годах «раскаялся» и был помилован царем. В эмиграции он строго следил за стойкостью всех вообще революционеров и радикалов. Так он участвовал в конце 60-х годов в насильственном обыске в Женеве у революционера И. И. Бочкарева, без основания подозревавшегося в шпионстве за его «крайнее любопытство» к эмиграции и т. п. Есть сообщение о таком же неосновательном обыске, произведенном эмигрантами у В. О. Ковалевского.
К слухам о Ковалевском имел также отношение Г. Н. Вырубов — богатый помещик, занимавшийся естественными науками и философией, живший с конца 60-х годов за границей, преимущественно в Париже. Известный ботаник и дарвинист К. А. Тимирязев сообщает, что когда он в 1869 году уезжал в Париж из Гейдельберга, где жил постоянно в обществе В. О. и С. В. Ковалевских, то Владимир Онуфриевич дал ему рекомендательное письмо к Вырубову. Прочитав это письмо, Вырубов, встретивший Тимирязева любезно, изменил свое отношение к нему Впоследствии С. И. Ламанский объяснил Тимирязеву, что еще до его приезда в Гейдельберг, в эпоху процветания там русской колонии, она делилась на партии. «Была в ней и та, что по современной (до революции) терминологии называется черносотенной, и вот один из ее представителей по злобе на В. О. Ковалевского пустил гнусную сплетню, будто он вертелся около Герцена в качестве шпиона».
Теперь о «натуралисте М.», показание которого имело важное значение в глазах М. А. Бакунина, но который сам также ничего не знал положительного против Ковалевского», хотя передавал сплетни о нем. Это — хороший знакомый Владимира Онуфриевича, ближайший друг и товарищ его брата по научной работе, знаменитый зоолог И. И. Мечников, Впоследствии В. О. Ковалевский много раз возвращался в своих письмах к брату к вопросу об участии И. И. Мечникова в распространении неаполитанских слухов, но, в конце-концов, недоразумение сгладилось, и отношения между ними стали дружескими.
Итак, постепенно толки о шпионстве улеглись, В. О. Ковалевский мог, казалось, забыть один из страшных кошмаров своей жизни. Но Владимиру Онуфриевичу не суждено было избавиться от него навсегда, и последние годы его тяжелой и сложной жизни вновь были отравлены всплывшей клеветой об его подозрительном счастьи при арестах деятелей радикальных и революционных кружков. Спекуляции с домами, постройка бань, участие в «Новом времени», наконец, почти явный разрыв с женой, — все это вызвало новые разговоры о нем в эмигрантских кружках. В результате этого в № 20, за февраль 1879 года, женевской русской газеты «Общее дело», издававшейся радикальной интеллигенцией, появилась огромная статья под заглавием «Нечто о шпионах». Автор статьи начинает с заявления, что разоблачать шпионов надо осторожно, ибо «всякая ошибка в этом случае непростительна и равняется убийству, да пожалуй еще хуже, потому что порядочный человек, конечно, предпочтет, чтобы его убили, чем быть заподозренным в этой полезной государственной деятельности». После этого переход к «биографии шпиона, далеко недюжинного, имеющего интерес вполне общественный». «В самом начале 60-х годов, — говорится в статье, — когда затевалось столько дел великих и малых, геройских и смехотворных… везде и всюду, и в Гейдельберге, и в Лондоне, и в Петербурге, в кружках смехотворных и в обществах серьезных, мелким бесом вертелся, вьюном извивался, петушком забегал один еще юный в то время субъект… Прошло это время… Громадное большинство знакомых нашего юного героя очутились кто на виселице, кто в эмиграции, кто в крепости, кто в ссылке; другие, из более благоразумных, подвизались кто в земстве по устройству банков, кто по тюремным комитетам, кто в адвокатах, кто и в прокурорах.
Один герой ни в огне не горел, ни в воде не тонул… Он занялся делом, небезвыгодным в материальном отношении и делавшим ему честь в нравственном, именно изданием книжек по части естествознания… Но этого было мало для честолюбия юноши. Он не прерывал с одной стороны своих прежних связей, часто посещая Герцена в Лондоне и Женеве, а с другой стороны, не пренебрег и открывшимся в то время женским вопросом…
Он слишком ясно показал свою несгораемость, когда летом 1866 г., в самый разгар муравьевщины, явился, как ни в чем не бывало, либеральничать среди русской эмиграции в Швейцарии. Его попросили выйти. С другой стороны, в Петербурге около того же времени обнаружилось, что женский вопрос он понимает слишком односторонне, в смысле сводничанья доверяющихся ему девиц с нетрезвыми капиталистами, имея в виду вступить потом за известную сумму в брак с этими жертвами его сводничанья и капиталистической похотливости, для прикрытия греха. По обнаружении подобных прелестей наш герой на некоторое время исчез с петербургского горизонта… Он, как пробка, всплыл опять и опять-таки на женском вопросе. Оказалось, что одна очень молоденькая и неопытная, хотя способная девушка, дочь весьма богатых родителей, признала в нем рыцаря, готового на помощь угнетенным красавицам, и предала свою судьбу в его руки».