В декабре 1995 года Рохлин был избран депутатом Государственной думы второго созыва. В сентябре 1997 года он создал ''Движение в поддержку армии, оборонной промышленности и военной науки''. В оргкомитет движения вошли люди определенной политической ориентации: бывший глава КГБ СССР Владимир Крючков, бывший министр обороны Игорь Родионов и бывший командующий ВДВ Владислав Ачалов.
С января 1996 года по май 1998 года Рохлин являлся председателем комитета Госдумы по обороне. Отстранен от этой должности в связи с его нахождением в резкой оппозиции президенту Ельцину.
В июне 1998 года Рохлин побывал в расположении 8-го гвардейского корпуса, которым он сравнительно недавно командовал, где заручился поддержкой его офицеров в случае попытки военного переворота в стране. За несколько дней до перехода генерала Рохлина на нелегальное положение для руководства мятежом, в ночь со 2-го на 3 июля 1998 года, он был убит на своей даче при загадочных обстоятельствах. Из-за убийства Рохлина запланированный мятеж сорвался, 8-й гвардейский корпус был расформирован, а значительная часть офицеров уволена с военной службы.
В числе активных помощников-заговорщиков Рохлина был бывший руководитель СБП Ельцина генерал-лейтенант Александр Коржаков, через много лет подтвердивший свое участие в заговоре. В частности, именно Коржаков дал заказ одному из тульских заводов на изготовление 200 тяжелых прицепов, на которых планировалось быстро доставить военную технику 8-го гвардейского корпуса из Волгограда в Москву. Вот что рассказывал об этом Коржаков в одном из интервью 2016 года:
"В заговоре с нами были разные люди. Были те, кто с [Русланом] Хасбулатовым был [в 1993 году]. У них совершенно другие цели были: вернуть СССР, коммунизм. Я был против этого. Мне не нужен был снова СССР. Нахватался... Моя задача была помочь Рохлину, чтобы его бойцы преодолели расстояние от места дислокации, от Волгограда до Кремля. Чтобы преодолеть это расстояние, нужно было прицепы прикрепить к танкам и бронетранспортерам. Мне было как депутату от Тулы поручено это сделать. На 240 тысяч долларов я заказал прицепы. Они до сих пор лежат. Все проржавели. Потому что заказчик не пришел. Некому было прийти. Меня до сих пор ждут на Скуратовском заводе в Туле. По его чертежам заказал заготовки, чтобы весь корпус Рохлина сюда в Москву перебросить из Волгограда. Я в заговоре был. Я этого не стесняюсь. Когда [Анатолий] Чубайс был у власти регентом, нечего было делать Кремль взять. Это тьфу! Одного корпуса было вот так достаточно. И никто бы не подчинился Ельцину после 1993-го и 1996 года".
В ночь со 2-го на 3 июля 1998 года Рохлин был убит, а 25-го числа того же месяца и года во главе ФСБ РФ был поставлен мало кому известный Владимир Путин.
Весьма интересны в связи с этим воспоминания человека, входившего в близкий круг президента Ельцина, бывшего первого вице-премьер-министра, министра печати и информации Михаила Полторанина, прозвучавшие во время презентации 10 ноября 2010 года в Москве в здании книжного магазина ''Библиоглобус'' его книги ''Власть в тротиловом эквиваленте. Хроника царя Бориса''. Полторанин намекал на то, что убийство Рохлина организовывал Путин:
"Я не мог сказать прямо, что Путин организовал убийство Рохлина. Сразу подадут в суд и потребуют доказательств. А прямых доказательств, как вы понимаете, у меня нет. Однако вся совокупность достоверно установленных событий и фактов вокруг этого убийства показывает, что это отнюдь не моя “догадка” или вольное “предположение”. Решение об убийстве, я знаю точно, принимали на даче в своем узком кругу четыре человека – Ельцин, [Александр] Волошин, [Валентин] Юмашев и [Татьяна] Дьяченко. Хотели сначала поручить [Евгению] Савостьянову, руководителю московского ФСБ, но затем остановились на чекисте “с холодными рыбьими глазами”, способному на все.
И вряд ли случайно, что фактически сразу же после убийства Рохлина главу тогдашнего ФСБ [Николая] Ковалева ночью подняли с постели и в спешном порядке, всего в течение 20 минут, заставили в соответствии с указом президента передать свои полномочия вновь назначенному В. Путину. И это касалось мощнейшей спецслужбы в мире! За какие заслуги? И случайно ли все это?"
В номере журнала ''Русская мысль'' от 22 апреля 2009 года была опубликована статья журналиста Олега Кашина под названием ''Лагерный иврит'', в которой ее автор пересказывает то, что было ему рассказано Полтораниным о его встречах с генералом Рохлиным: