Пробув губернатором Іван Олексійович, однак, усього тринадцять місяців. Знову звільнили через поляків.
Проінструктований міністром внутрішніх справ Валуєвим, Потапов, «аби пришвидшити обрусіння поляків, які живуть у Північно-Західному краї і надмір розбундючилися своєю винятковістю», видав таємний наказ про поступове закриття в краї всіх польських шкіл, а Шестаков, обурений свавіллям Валуева, цей наказ розголосив, опублікувавши одразу в кількох газетах у вигляді платної об'яви викривальну статтю, підписану якимсь «Товариством незгідних».
«Давно відома, — говорилося в ній, — суперечна етнографічній науці й реальному стану думка пана Валуєва, яка насильно насаджується в наших вищих колах, начебто не було і не може бути ніяких українців як нації, а тому-то не повинно бути й окремої української мови. Є, мовляв, названа Малоросією мала частина Росії, що вкоренила поганий діалект чорнолюду, заводити окрему писемність на якому означає потурати емоціям некерованої юрби, що уявила себе нацією, і, таким чином, на шкоду державним інтересам, буцімто признати ону за таку. Отже, за Валуєвим «укорінену» мову малоросів належить «викоренити», заборонивши молоді навчатися оною.
Многовідповідального міністра над поліцією і губернаторами, вченого економіста, знатця європейських мов, цензора всія Русі й автора жалісливих романів анітрохи не бентежить, що «юрба» ця налічує десятки мільйонів хоча й зріднених з російським народом по слов'янській крові, однак самобутніх людей, які ще не так давно були вільною, козацькою республікою, нічим від Росії не залежною, і яка, хоч і стала під скіпетр царя Олексія, то за обопільною доброю згодою і, певна річ, без умови на асиміляцію…
Тепер пан Валуєв звернув свій державний погляд на поляків Північно-Західного краю. За його велінням, як ходять чутки, генерал Потапов уже видав наказ про поступове закриття в краї усіх польських шкіл. До чого це призведе, гадати поки що не будемо, але застерегти пана Валуєва, що він справді на шкоду державним інтересам бавиться з вогнем, нам видається конче потрібним…»
Хто приховувався за вигаданим «Товариством незгідних», незабаром стало відомо, і, якби на місці Шестакова була постать дрібніша, суду не минути б. Але ж губернатора судити незручно, тим більше як підбурювача до бунту.
Непокірного губернатора поставили перед вибором: або він, пославшись на слушний привід, негайно залишає межі Росії і цар милостиво лишає йому звання відставною адмірала, або їде на заслання в родове сільце Смілово і його позбавляють усіх звань й права на службу та пенсію.
Друзі умовили Івана Олексійовича вибрати перше.
І ось через одинадцять років, коли знову знадобилася його світла голова, про нього згадали й навіть вирішили вибачитися, боячись, мабуть, що той зачаїв образу й опікуватись російським флотом більше не захоче.
У відповідь, одначе, він надіслав з Італії телеграфну депешу:
«Кривд, завданих мені окремими особами, не пам'ятаю. Страждав тільки через те, що був позбавлений змоги служити Батьківщині…»
Коли він поневірявся на чужині, американці, знаючи про бідування вигнанця, обіцяли йому золоті гори, аби тільки згодився будувати їм кораблі, англійці спокушали титулом лорда, французи пропонували посаду командуючого французьким середземноморським флотом, італійці — портфель морського міністра… Відповідь усім була однакова:
— Я— російський дворянин, а росіяни товаром себе на продаж не мислять.
І у вигнанні, він не переставав служити Батьківщині. Досконально вивчивши зарубіжне суднобудування, новітнє корабельне озброєння й будову військово-морських портів та баз, Іван Олексійович повернувся до Росії з готовими проектами багатьох бойових кораблів і невдовзі подав урядовій комісії грандіозну програму модернізації російського флоту, загальною вартістю в 216 мільйонів карбованців, що в ті часи видавалося сумою майже фантастичною. Проте все запропоноване Шестаковим без будь-яких застережень було прийнято: 19 панцерників першого класу, 4 — другого класу, 25 крейсерів і кількасот дрібних суден — канонерок, мінних транспортів, міноносців тощо. Усього, на думку Шестакова, щоб російський військово-морський флот переважив своєю силою будь-який флот світу, під бойовий андріївський прапор повинно було стати 1110 вимпелів, удвічі більше, ніж мала Росія в найкращі періоди вітрильної доби.