3 ноября 1867 г. в Киото состоялось секретное совещание оппозиции, где был принят конкретный план свержения сёгуна вооруженным путем. Ёсинобу об этом доложили. И 9 ноября 1867 г. последовало официальное заявление сёгуна о возвращении верховной власти императору. Ёсинобу было обещано предоставить важный пост в новом правительстве, но выполнено оно не было. Отречение сёгуна от власти произошло в замке Нидзё в Киото. Этот замок был построен при первом сёгуне и олицетворял собой могущество дома Токугава. Он же стал немым свидетелем краха этого могущества. Вот что было сказано в заявлении Ёсинобу: «Я ради блага японского государства беру на себя ответственность предать забвению бакуфу». 3 декабря 1867 г. был опубликован рескрипт «осэй фукко» — о восстановлении императорской власти.
Однако при сложившихся обстоятельствах это не означало, что Ёсинобу лишился поддержки всех тех сил, которые до того стояли за ним. У Ёсинобу существовало несколько вариантов выхода из сложившегося положения. Замысел был таков: создать коалиционную власть из всех княжеств, формально эту власть возглавил бы император, а все вопросы государственной политики решались бы на совете даймё, где главную роль играл бы Ёсинобу. Но у бакуфу был другой план — вся власть должна принадлежать бакуфу. Однако антисёгунские силы действовали так решительно, что уже не было никакой возможности для претворения в жизнь планов Ёсинобу. Но и он сам действовал нерешительно и не проявил твердости в ответственный момент, за что сегуна впоследствии осуждали его сторонники.
Оставаться в Киото становилось опасно, в Фусими началась война между Сацума, Тёсю и бакуфу, но силы были неравные, и бакуфу потерпело поражение. Ёсинобу из Киото перебрался в Осака, где в Осакском замке встречался с английским посланником Г. Парксом и Л. Рошем. 16 декабря его посетили посланники всех государств, с которыми у Японии были заключены договора. Политическая ситуация в стране была настолько неопределенной, что в Ёсинобу еще видели главу бакуфу. Но и в Осака оставаться становилось опасно, и он 3 января ночью переезжает в Эдоский замок, где его несколько раз тайно посетил Л. Рош.
В феврале 10 тыс. солдат княжеств Сацума и Тёсю осадили Эдоский замок, военное положение все более и более складывалось не в пользу Ёсинобу, и он внял разумному совету — капитулировать, проявив при этом сдержанность и осмотрительность. Он покидает Эдоский замок и перебирается в Уэно, на территорию монастыря Канъэйдзи. Накануне он предостерег своих вассалов от необдуманных действий.
В кругах нового правительства велись разговоры о его дальнейшей судьбе. Представители княжества Сацума призывали к тому, чтобы «начисто его уничтожить». Разумеется, это был лишь показной жест, а фактически это было требование безоговорочной капитуляции. Л. Рош до конца поддерживал Ёсинобу и в качестве посредника выступал на переговорах, где решалась его судьба, но его усилия успехов не имели, и в мае 1868 г. он вернулся во Францию. Перед отъездом Л. Рош был принят императором Мэйдзи.
Положительную роль в судьбе Ёсинобу сыграл английский посланник Г. Паркс (1828–1885). Он был тем иностранцем, который оказывал наибольшее влияние на новое правительство. Г. Паркс настаивал, чтобы к Ёсинобу проявили снисходительность и великодушие. По его мнению, нельзя было не учитывать и международное общественное мнение.
Ёсинобу «сослали» в родовое княжество Мито, где он жил скромно, занимаясь поэзией. Ему были оставлены земли в нескольких провинциях, дававшие 700 тыс. коку риса. Позже по его просьбе ему разрешили перебраться в Сумпу (теперь г. Сидзуока), где климат был лучше. Там он прожил 30 лет, ведя уединенный образ жизни. Он бродил по окрестностям с фотоаппаратом: оказалось, что он прекрасный фотограф. Благодаря сохранившимся фотографиям можно увидеть прежний облик этих мест. Его работы сохранились в различных музеях Японии. Личные вещи Ёсинобу периода его жизни в Сумпу хранятся в музее, расположенном на территории мемориального комплекса Кунодзан-Тосёгумия, посвященного Иэясу.
До конца своих дней Ёсинобу не забывал, что он — будзин, военный человек. Поэтому он упражнялся в воинских искусствах, которыми владел с детства, особенно в стрельбе из лука.
В 1897 г. умерла жена Ёсинобу, и он переехал в Токио. И здесь происходит резкий поворот в его судьбе. В 1898 г. его приглашают в императорский дворец, где он удостаивается аудиенции у императора и императрицы. Говорили, что во время этой встречи на глазах Ёсинобу блестели слезы. После этого визита началось как бы воскрешение Ёсинобу в политической жизни страны. Ему были пожалованы соответствующие ранги, он получил титул князя (в 1884 г. новое правительство ввело 5 аристократических титулов по европейскому образцу), а в 1902 г. стал членом палаты пэров в парламенте.