Нефф тогда занялся изучением последних лет жизни Бейкера. В начале 1866 г. Президент Джонсон обнаружил, что чрезмерно любопытный разведчик установил тайное наблюдение за хозяином Белого дома, явно с целью собрать компрометирующие материалы для передачи их за соответствующую мзду его политическим противникам. В феврале Бейкер был выгнан в отставку, после чего неоднократно выступал свидетелем в комиссиях Конгресса, подготовлявших процесс импичмента против Джонсона. Бывший глава контрразведки обвинял и Стентона, хотя тот находился на ножах с Джонсоном. Бейкер уверял, что военный министр вырвал компрометирующие его страницы из дневника Бута, захваченного при поимке заговорщика.
Покинув Вашингтон, Бейкер поселился в Филадельфии, где и скончался 8 июля 1868 г. В городском архиве Филадельфии Неффу удалось разыскать завещание Бейкера, датированное 30 апреля 1866 г. Далее отыскалось свидетельство о смерти Бейкера от менингита, газеты сообщали, что он скончался от брюшного тифа (эта разница в диагнозе была уже известна давно). Душеприказчиками Лафаейта Бейкера были назначены лейтенант Лютер Бейкер, отказавшийся от своей доли наследства, и некий Джозеф Стидфол, сообщивший, что им не найдено никакого имущества, принадлежавшего покойному. Уже это могло навести на подозрения. Продолжая поиски, Нефф проверил бумаги четверых свидетелей, заверивших завещание Бейкера. В архивном фонде одного из них нашлось дополнение к завещанию Бейкера, передававшее все его книги, дневники и другие документы нефинансового характера Лауре Дювал из Вашингтона. На этом дополнении была сделана отметка, что данная статья завещания была отвергнута 6 января 1879 г. Значит, должно было быть заседание суда, принявшего такое решение. Оказалось, что ему предшествовало заседание суда, состоявшееся несколькими годами ранее — 15 октября 1872 г. На этом заседании показаниями ряда свидетелей было установлено, что на генерала Бейкера незадолго до смерти было совершено несколько покушений: в него стреляли, пытались поразить кинжалом, что сам Бейкер находился в здравом рассудке и не был склонен изобретать несуществующие опасности. Присутствовавший на заседании представитель военного министерства Смолвуд пытался поставить под сомнение эти показания. Врач, лечивший Бейкера, отнюдь не был твердо уверен в поставленном диагнозе, что отставной разведчик умер от менингита, и не исключал отравление мышьяком, при этом отмечая, что все домочадцы Бейкера вне всяких подозрений. Один из свидетелей, Уильям Картер, бывший подчиненный генерала, посетивший его за несколько дней до смерти, сообщил, что Бейкер, по его словам, писал воспоминания. Картер заглянул в книгу, в которой шифром были сделаны наброски мемуаров — это был какой-то военный журнал. С разрешения Бейкера Картер взял почитать этот журнал домой. Журнал так и остался у Картера, который тщетно пытался разгадать шифр. Выявленное имущество генерала было распределено между лицами, упомянутыми в завещании, и наследниками одного из них. В перечне книг Бейкера значились комплекты упомянутого военного журнала за 1860–1864 годы. Отсутствовал лишь том за первую половину 1864 г., в котором, если верить шифрованному посланию, Бейкер раскрывал заговор. Этот том остался у Картера и. через столетие попал в букинистический магазин, где был куплен Неффом. Все сходилось, набор доказательств полный, пожалуй, даже слишком полный…
Правда, протокол заседания суда содержит немало загадок, вроде упоминания, что личное состояние Бейкера достигало 250 тысяч долларов, очень крупной суммы в то время. В самой шифровке Бейкера имеются явные ошибки. Упомянутый инцидент с приказом Линкольна о созыве законодательного собрания Вирджинии произошел 6, а не 12 апреля 1865 г. Приказ был отменен самим Линкольном по настоянию Стентона и других радикальных республиканцев, стремившихся не допустить даже косвенного признания легальным законодательное собрание мятежного штата. К тому же 13 апреля Бейкера не было в Вашингтоне и он не мог слышать гневных высказываний, якобы сделанных Стентоном, в связи с изданием этого приказа. Но это вовсе не решает вопрос о подлинности или подложности шифрованного послания Бейкера, поскольку такие ошибки памяти могли вполне быть у самого генерала, делавшего записи через три года после описываемого происшествия. Недоумение может вызвать отраженное в протоколе активное стремление представителя военного министерства завладеть частью бумаг, оставшихся от Бейкера, но и этому можно найти достаточно убедительные причины. После Джонсона пост Президента последовательно занимали генералы Грант и Хейс. Ни им, ни всему министерству никак не могло улыбаться доказательство участия военной верхушки в заговоре против Линкольна, если такой «северный заговор» действительно имел место. Но возможны и иные предположения, что бумаги Бейкера содержали какие-то другие секреты, разглашение которых считалось нежелательным, что Бейкера отравили враги, в которых у «американского Фуше» не было недостатка.