Приезд Диккенса при всей важности этого события лишь на время вырвал По из тисков депрессии. Всю весну 1842 года состояние Вирджинии оставалось опасным. что отражалось на его настроении и поведении. В апреле его дела с Грэхэмом, по сути, зашли в тупик. Без сомнения, ладить с По в ту пору было очень трудно. Однажды Чарльз Петерсон, второй редактор «Грэхэмс мэгэзин», человек энергичный и способный, который временами очень остро ощущал свое подчиненное положение в редакции, о чем-то с ним заспорил. Находившийся здесь же Грэхэм вынужден был вмешаться. Последовало бурное объяснение, ускорившее давно назревавшую развязку. Хотя Грэхэм и постарался впоследствии, защищая По от свирепых нападок Грисвольда, смягчить всю эту историю, случившееся, как свидетельствует один из друзей издателя, принудило его к решению отказать По от места. То же самое сообщает и уже известный нам Джон Сартейн, которому Грэхэм сказал: «Кому-то из двоих, либо Петерсону, либо По, придется уйти — работать вместе они не могут».
Грэхэму очень не хотелось расставаться с По. Он хорошо понимал причины неприятностей, происходящих с его редактором, и искренне ему сочувствовал. Несмотря на то что По был глубоко разочарован и обижен на Грэхэма, который так и не выполнил обещания помочь ему основать собственный журнал, между двумя этими людьми не произошло личной ссоры, подобной размолвке По с Бэртоном. Одним апрельским днем, придя в редакцию после довольно длительного отсутствия, По обнаружил, что его кресло занято Руфусом Грисвольдом. Оценив ситуацию с первого взгляда, он круто повернулся и вышел из комнаты, чтобы никогда больше там не появляться. В письме, написанном несколько месяцев спустя, сам По так рассказывает о своем уходе от Грэхэма:
«Моя работа в „Грэхэмс мэгэзин“ прекратилась майским номером журнала, который был готов к первому апреля — с этого момента руководство взял на себя г-н Грисвольд… Ни с г-ном Грэхэмом, ни с г-ном Грисвольдом у меня не было никакой ссоры, хотя я и не питаю особого уважения ни к тому, ни к другому… Я предпринимаю настойчивые усилия, которые, впрочем, пока держу в тайне, чтобы возобновить подготовку к изданию журнала „Пенн мэгэзин“, и совершенно уверен, что смогу выпустить первый номер 1 января 1843 года… Первоначально я имел намерение выпустить его 1 января 1842 года. Отказаться от этого плана меня побудили лишь заверения г-на Грэхэма. Он сказал, что, если я поступлю к нему на жалованье в качестве редактора, оставив на время собственные проекты, то по истечении шести месяцев или самое большее одного года он сам присоединится к моему начинанию. Поскольку г-н Грэхэм располагал капиталом, а у меня денег не было, я почел самым разумным согласиться на его предложение. Дальнейшее показало его человеком ненадежным, а меня самого — крайне неосмотрительным. По сути дела, все это время я боролся против самого себя. Всякий мой шаг, подсказанный интересами „Грэхэмс мэгэзин“ и направленный на то, чтобы сделать журнал более прибыльным предприятием, одновременно делал его владельца все менее склонным сдержать данное мне слово. Когда был заключен наш с ним договор (устный), у него было 6 тысяч подписчиков, а к моменту моего ухода — 40 тысяч. Немудрено, что он поддался соблазну бросить меня в трудную минуту…»
Потеря важной должности в журнале, для успеха которого он сделал так много, не была воспринята По столь невозмутимо, как может показаться из его писем. Начать с того, что уход от Грэхэма опять вверг его в бедность. Новое огорчение еще больше усилило его отчаяние, вызванное болезнью Вирджинии, и он впервые в жизни тяжело запил. Над событиями тех дней для нас вновь приподнимет занавес Мэри Девро, в которую По был влюблен в Балтиморе, успевшая уже выйти замуж и перебраться в Джерси.
Оставив дом и больную Вирджинию, По пустился в разгул и вскоре оказался в Нью-Йорке, где разыскал мужа Мэри, у которого узнал ее адрес. Тут же забыв его, он немало удивил пассажиров парома, курсировавшего между Нью-Йорком и Джерси, тем, что всю дорогу бродил по палубе, спрашивая у каждого встречного адрес Мэри Девро. Паром прибыл в Джерси и возвратился обратно по-прежнему с По на борту, который, не сходя на берег, вновь совершил путешествие в Джерси и еще раз вернулся, так и не ступив на сушу. Затем последовал еще один рейс, а за ним и другой. По уже начали принимать за умалишенного, когда ему наконец встретился какой-то матрос, знавший, где живет бывшая мисс Девро. Добрый малый оказался лицом к лицу с человеком без шляпы, одетым во все черное, который, пытаясь остановить на нем взгляд блуждающих глаз, с перекошенным ртом доказывал, что добудет адрес, даже если ему «придется отправиться за ним в преисподнюю». Не в силах выдержать натиска повелительного виргинца, бедняга поспешно все рассказал. Позже, когда муж Мэри возвращался со службы домой на том же пароме, ему сообщили, что «какой-то сумасшедший разыскивает его жену». Тем временем По уже нашел Мэри.
«Мистер По не застал нас с сестрой дома, и, когда мы вернулись, дверь нам открыл он сам. Мы поняли, что у него запой и что он не был дома уже несколько дней. „Так, значит, вы вышли замуж за этого проклятого…! — сказал он мне. — Любите ли вы его на самом деле? По любви ли вы за него вышли?“ Я ответила: „До этого никому нет дела, это касается только моего мужа и меня“. — „Вы его не любите, — сказал он тогда. — Ведь вы любите меня! Вы же знаете сами“.
Далее нам сообщают, что По остался к чаю, выпив, правда, только одну чашку. Но и она, кажется, произвела поразительное действие, ибо во время разговора за столом он сильно разволновался и, схватив стоявшее перед ним блюдо с редисом, принялся с такой яростью кромсать овощи столовым ножом, «что кусочки так и полетели во все стороны, и это всех очень позабавило». После «чая» По потребовал музыки, настаивая, чтобы Мэри исполнила его любимую песню, которую пела ему еще в Балтиморе, — «Приди на грудь ко мне, и улетят тревоги». Затем он исчез неизвестно куда.
Через несколько дней, оставив Вирджинию на попечение соседей, в город приехала миссис, Клемм, совершенно потерявшая голову от страха за «дорогого Эдди», чей путь ей, к счастью, удалось проследить от Филадельфии до дверей дома Мэри в Джерси. Вирджиния, сказала она, сходит с ума от беспокойства.
К этому времени, надо думать, никто уже не находил происходящее забавным. Отряд сочувствующих добровольцев из местных жителей отправился вместе с миссис Клемм и Мэри на поиски По, который был вскоре обнаружен в роще на окраине города — искусанный москитами и страшно исхудавший, ибо прошедшие несколько дней он прожил на чашке чая, выпитой в гостях у Мэри. «Он бродил в зарослях, точно безумец, — вспоминает она. — Миссис Клемм увезла его обратно в Филадельфию». За всем этим должно было последовать болезненное раскаяние и несколько дней в постели. В одной комнате — задыхающаяся от кашля Вирджиния, в другой — мечущийся в бреду Эдгар. Выдержать все это было под силу лишь миссис Клемм.
Дом на Спринг-Гарден-стрит, в который они переехали совсем недавно, поначалу был неплохо обставлен, однако в следующие два года комнаты мало-помалу пустели, ибо миссис Клемм пришлось постепенно заложить почти нею мебель. Пианино Вирджинии, теперь умолкнувшее, стояло в маленькой гостиной на первом этаже, рядом с широким, прекрасной работы диваном из красного дерева. Белые занавески на окнах, удобные стулья, цветы в горшочках, щебечущие в клетке птицы, помещенные в рамки и развешанные по стенам журнальные гравюры придавали жилищу уют и очарование, которые отмечали все, кто там бывал. Для По дом был единственным местом, где он находил убежище от враждебного мира, Арнгеймской обителью его грез. Несколько лет спустя он написал письмо, в котором опровергает обвинения, высказанные в его адрес небольшим журнальчиком «Уикли юниверс»; оно интересно тем, что позволяет подробнее узнать, каких привычек По придерживался в частной жизни:
«Дело обстоит таким образом: в привычках своих я решительно воздержан и не пренебрегаю ни одним из естественных правил, соблюдение которых необходимо для поддержания здоровья, то есть встаю рано, ем в меру, не пью ничего, кроме воды, регулярно и подолгу занимаюсь физическими упражнениями на открытом воздухе. Однако это моя частная жизнь — жизнь, отданная наукам и литературе и, разумеется, скрытая от постороннего взгляда. Стремление к обществу овладевает мной лишь тогда, когда я возбужден вином. Тогда и только тогда я имел обыкновение отправляться к друзьям, которые, редко видя меня в ином состоянии, а точнее сказать, не видя никогда, считают само собой разумеющимся, что я нахожусь в нем всегда. Те, кто действительно знает меня, знают, что это не так…»