3 октября 1941 г. Вирека вызвали в суд для дачи показаний о нацистской пропаганде. 8 октября он был арестован и получил обвинительное заключение. Не признав вину, он внес залог и в тот же день вышел на свободу — как оказалось, не надолго. Слушание дела началось 16 февраля 1942 г., после нападения Японии на Пёрл-Харбор и вступления США в войну с Германией. Несмотря на выступления сенаторов и конгрессменов в его защиту, исход был предрешен. Признанный виновным, Вирек 13 марта был приговорен к тюремному заключению на срок от восьми месяцев до двух лет по каждому из трех пунктов обвинения — максимальное предусмотренное законом наказание.
В 57 лет Джордж Сильвестр, привыкший к богатой комфортабельной жизни и светскому обществу, впервые очутился в тюрьме, среди мошенников, насильников и убийц, с которыми ему пришлось провести пять лет «в условиях полного социального равенства». Об этом «невольный пансионер дяди Сэма», рассказал в записках, красноречиво названных «Превращая людей в скотов» (Men Into Beasts; 1952), и в романе «Ничто человеческое» (Аll Things Human; 1949), заглавие которого отсылало к фразе Теренция: «Я человек, и ничто человеческое мне не чуждо».
Вслед за репутацией и положением в обществе Вирек лишился семьи и денег. Желая искупить грехи осужденного мужа, Маргарет распродала их имущество, раздала вырученное благотворительным организациям и поселилась в католическом монастыре. Сыновья, закончившие до войны Гарвардский университет, не разделяли взглядов отца и, тем более, не симпатизировали его деятельности. В 1941 г. Питер выпустил антинацистскую книгу «Метаполитика. От романтиков до Гитлера», которая зафиксировала их идейный разрыв, и подарил ее отцу с «определенно смешанными чувствами, но с неизменной любовью». В 1942 г. оба сына ушли добровольцами в армию. Джордж Сильвестр-младший погиб в Италии в 1944 г. в боях с нацистами. Питер прожил почти девяносто лет: стал известным поэтом и политическим мыслителем, дважды получил Пулитцеровскую премию, был знаком с Анной Ахматовой, Михаилом Зенкевичем и Константином Симоновым и помог «трудоустроить» в Америке Иосифа Бродского.
Ссылаясь на предвзятость со стороны обвинения, адвокаты добились пересмотра вердикта. 1 марта 1943 г. Верховный суд отменил приговор из-за допущенных при разбирательстве ошибок, и 5 марта Вирек вышел на свободу. Однако генеральная прокуратура уже приготовила новое обвинение против него, сделав акцент на тайной лоббистской и пропагандистской деятельности в пользу Германии и на умышленном сокрытии ее подлинного характера. Через три недели Вирек снова был арестован и выпущен под залог до суда, начавшегося 21 июня. 31 июля его приговорили к заключению на срок от одного до пяти лет (при возможном максимуме в 12 лет) с отбыванием в тюрьме Атланты для опасных преступников — вроде сидевшего там четвертью века ранее Юджина Дебса, лидера социалистов и друга Вирека. 27 марта 1944 г. Верховный суд отказал в пересмотре дела, но Джорджа Сильвестра ждало еще одно появление на публике.
С 1942 г. министерство юстиции готовило показательный процесс по делу группы одиозных и крикливых, но маловлиятельных противников режима из числа ультранационалистически, пронацистски и антисемитски настроенных публицистов и агитаторов, которых обвинили в «подрывной деятельности». Из 28 подсудимых только двое: Вирек и политический аналитик Лоуренс Деннис — до войны имели заметное положение в обществе. Остальные производили не столько зловещее, сколько трагикомическое впечатление, но преданные гласности факты знакомства и контактов с ними сенаторов и конгрессменов из числа изоляционистов должны были нанести противникам Рузвельта смертельный удар на приближавшихся выборах. Обвинение оказалось уязвимым, поэтому начавшийся 17 апреля 1944 г. процесс развалился за полгода. Разбирательство было прекращено без вынесения вердикта, но достигло главной цели, дискредитировав изоляционистов. Вирека отправили «досиживать».
В мае 1947 г. 62-летний Джордж Сильвестр вышел на свободу, сумев сохранить неплохое здоровье, бодрость духа и чувство юмора. Написав в тюрьме роман и много стихотворений, он надеялся вернуться в литературу. «Ничто человеческое» удалось напечатать в США два года спустя под псевдонимом «Стюарт Бентон»; годом позже роман появился под именем автора в британском издательстве «Duckworth», публиковавшем Вирека до войны. Оба издания прошли незамеченными. Больший успех выпал на долю тюремных мемуаров, выпущенных в мягкой обложке в 1952 и 1956 гг. общим тиражом полмиллиона экземпляров. Интерес вызвали не бегло изложенные судебные злоключения автора, но сцены гомосексуального быта тюрем и издевательств над заключенными, которые автор описал честно и ярко, но без нагнетания ужаса и позы мученика и совсем без «политики».