В записках Вигеля есть заметка о встрече его с Толстым среди глухих лесов вотяцкого края, в июне 1805 года, в то время, когда Федор Иванович возвращался через Сибирь в Петербург.
«На одной из станций, — рассказывает Вигель, — мы с удивлением увидели вошедшего к нам офицера в Преображенском мундире. Это был граф Ф. И. Толстой, доселе столь известный под именем Американца. Он делал путешествие вокруг света с Крузенштерном и Резановым, со всеми перессорился, всех перессорил и как опасный человек был высажен на берег в Камчатке и сухим путем возвращался в Петербург. Чего про него не рассказывали…»
Здесь Вигель приводит рассказ о жестокости Ф. И. в детстве и о том, как он будто бы съел свою обезьяну. Далее Вигель пишет:
«Он поразил нас своей наружностью. Природа на голове его круто завила густые черные волосы; глаза его, вероятно от жары и пыли покрасневшие, показались налитыми кровью; почти же меланхолический взгляд его и самый тихий говор его настращенным моим товарищам казался смутным. Я же не понимаю, как не почувствовал ни малейшего страха, а напротив, сильное к нему влечение. Он пробыл с нами недолго, говорил самое обыкновенное, но самую простую речь вел так умно, что мне внутренне было жаль, что он едет от нас, а не с нами. Может быть, он сие заметил, потому что со мною был ласковее, чем с другими, и на дорогу подарил мне сткляницу смородинового сиропа, уверяя, что, приближаясь к более обитаемым местам, в ней нужды не имеет».
Федор Иванович за свои бесчинства поплатился не только своим путешествием и высадкой. «Когда он возвращался из путешествия вокруг света, пишет Вигель, он был остановлен у Петербургской заставы, потом провезен только через столицу и отправлен в Нейшлотскую крепость. Приказом того же дня переведен из Преображенского полка в тамошний гарнизон тем же чином (поручиком). Наказание жестокое для храбреца, который никогда не видал сражений, и в то самое время, когда от Востока до Запада во всей Европе загорелась война»[9].
В глухом местечке, поручиком гарнизона Нейшлотской крепости, Федор Иванович прослужил более двух лет (от конца 1805 года до 1808 года). Все его помыслы были направлены на то, чтобы выбраться оттуда. Вигель пишет, что когда его зять, шеф Митавского полка, генерал Илья Иванович Алексеев прибыл в Сердоболь, Толстой явился к нему и молил взять его с собою на Шведскую войну. «Толстой наружностью и сердцем полюбился Алексееву, и Алексеев представил о том в Петербург, но с выговором получил отказ. Другое дело с Долгоруковым, тому отказать не смели». Князь Михаил Петрович Долгоруков во время шведской войны был командующим Сердобским отрядом, и по его просьбе Толстой был назначен к нему адъютантом.
Липранди в своих замечаниях на записки Вигеля так рассказывает о пребывании Толстого в штабе Долгорукова и о смерти Долгорукова: «Князь знал его издавна и был с ним как со старым товарищем, любил слушать его рассказы, мастерски излагаемые, и не иначе называл его как Федей или Федором. Толстой заведывал походным хозяйством и за столом разливал суп, делал для личного употребления князя конверты (тогда не было еще клееных) и т. п. и сберегался для отчаянных предприятий».
Отчаянное предприятие скоро представилось. 15 октября 1808 года во время сражения под Иденсальме, чтобы не дать отступающим шведским драгунам времени разобрать мост, князь поручил Толстому с несколькими казаками броситься за шведами и завязать с ними перестрелку, что и было удачно выполнено.
В этот же день, в присутствии Толстого, Долгоруков был убит. По словам Липранди, «при князе оставались только он — Липранди с планом позиции в руках и гр. Толстой с огромной пенковой трубкой. Князь был в сюртуке нараспашку, под которым был шпензер, т. е. мундир без фалд. В правой руке он держал на коротеньком чубуке трубку, в левой — маленькую, зрительную трубу. День был прекрасный, осенний. Князь шел под гору за полками, переправившимися через мост. Вдруг мы услышали удар ядра и в то же время увидели князя, упавшего в яму, из которой выбирали глину около дороги». Толстой и Липранди бросились за ним. «Он лежал на спине. Трехфунтовое ядро ударило его в локоть правой руки и пронзило его стан. Он был бездыханен». Толстой и другие положили его на доску и понесли. «Толстой решительно сказал, что не будет смывать кровь, которой он запачкался, подымая тело, пока она сама не исчезнет, и взял себе шпензер князя».