Политические события, развернувшиеся в Европе в 1805–1806 годах, не позволили осуществиться замыслам политика. В правящих кругах России все настойчивее звучали голоса, требующие его отставки с поста министра иностранных дел и отзыва Семена Воронцова из Лондона. В сложившихся условиях Чарторыйскому уже нечего было терять, и он подал императору «Записку» (датированную 9 декабря 1806 года) с предложением предоставить Польше автономию и провозгласить ее королевством, мотивируя это опасностью захвата его родины Наполеоном; наследственным королем предлагалось провозгласить русского императора Александра I. Себе автор «Записки» отводил скромную роль «советника». Ответ был резко отрицательным.
Вместо изоляции Пруссии, которую предлагал Адам Адамович, русский император заключил союз с прусским королем Фридрихом Великим. Но окончательно порвать со своим давним другом не решился: накануне возможной войны с Наполеоном России было необходимо заручиться сочувствием Польши. Он посетил Пулавы – родовое имение Чарторыйских, но вслед за этим навестил и Фридриха. Их переговоры определили рамки сотрудничества России и Пруссии. На предстоящее свидание с Наполеоном в Тильзите Александр пригласил в числе других сановников и Чарторыйского, но его советы потонули в хоре голосов других сановников.
После подписания Тильзитского мира 7 июля 1807 года и образования Герцогства Варшавского Чарторыйский покинул пост министра иностранных дел. Он назвал это соглашение гибельным; осудили его и другие «молодые друзья» Александра: В. П. Кочубей просил об отставке, Строганов и Новосильцев стали распространять в Петербурге антитильзитские памфлеты, им вторил и Чарторыйский. Это событие стало ошибкой не только для русского императора. По мнению историка Наполеоновских войн Ф. Меринга, просчитался и Наполеон, думавший, что договор с Россией поможет ему одолеть главного врага – Англию: «Тильзитский мир, казалось, возводил французского императора на вершину могущества, но на самом деле был величайшим грехопадением в его жизни».
Отстранение министра иностранных дел с его поста не означало полного разочарования Александра I в своем многолетнем соратнике. С 1802 по 1822 год Чарторыйский являлся попечителем Виленского учебного округа, где находился знаменитый университет, один из старейших в Европе. Компетентность польского князя в вопросах просвещения не раз была отмечена царем. С 1802 года он числился товарищем министра народного просвещения, занимаясь преимущественно университетской политикой. Он составил Устав для Виленского университета, а позже стал одним из авторов Устава 1804 года для всех университетов Российской империи, который впервые предоставлял этим учебным заведениям автономию.
Виленский университет стал одним из источников вольномыслия в России и Польше. В нем, по приглашению Чарторыйского, сотрудничал граф Стройновский, в свое время получивший золотую медаль от Вольного экономического общества за проект освобождения крестьян и перевода их на найм в помещичьих усадьбах. Здесь преподавал поэт Адам Мицкевич: его поэма «Дзяды», содержавшая активный призыв к защите национальных интересов Польши, имела широкое распространение. К тому же времени относятся действия вольнолюбивых обществ филоматов и филоретов, которые близко сотрудничали с тайными организациями русских дворянских революционеров. В Вильно имелись связи и с Польским патриотическим обществом.
Адам Чарторыйский напрямую связывал успехи просвещения с политической сферой деятельности государства. Его отец, Адам Казимир Чарторыйский, в свое время (1773–1794) инициировал создание Эбукационной комиссии по просвещению польского народа: по существу, это первая попытка создания в Европе министерства просвещения. Программа просвещения входила составной частью в миротворческий проект Чарторыйского, который мыслил будущее Европы как демократический союз национальных государств, основанных на широком развитии просвещения.
С 1811 года намечается новое сближение Чарторыйского с Александром I. В самый канун войны Наполеона с Россией неминуемо встал вопрос о Польше. Адам Адамович сам ищет способы обратить на это обстоятельство внимание русского императора. В письме к Марии Федоровне М. М. Алопеус, один из ведущих русских дипломатов, передает просьбу Чарторыйского, связанную с его новым дипломатическим замыслом относительно Польши. Императрица выступает посредницей в передаче письма от 6 января 1811 года Александру I. Его автор советует присоединить к Польше русские пограничные области, «чтобы границей была Двина, Березина и Днепр». Между Чарторыйским и императором возникает переписка, в которой выясняются новые детали воссоздания Речи Посполитой.