Джон Браун был реалистом в военных вопросах, и хотя сдаваться было не в его характере, он вскоре понял, что окружен превосходящими силами и что никакое восстание рабов его не спасет. К полудню огонь загнал его в пожарную часть арсенала, крепкое кирпичное здание с дубовыми двойными дверями, и он уже предпринял попытку договориться, предложив отпустить пленных в обмен на право переправить своих людей через Потомак в Мэриленд, откуда, как он надеялся, они смогут добраться до Пенсильвании. Два человека, которых он отправил под белым флагом, были взяты в плен - ополченцы и волонтеры были не в настроении уважать белый флаг, - но вскоре он отправил еще троих, что привело к ужасным последствиям: несмотря на белый флаг, один из них был застрелен и ранен, а сын Брауна Уотсон был смертельно ранен пулей в кишки и затащен обратно в пожарную каланчу.
Браун отправил своих людей на работу, чтобы выбить отверстия для стрельбы и превратить пожарную часть в импровизированный форт, а большие центральные двери закрепил веревками так, чтобы оставить щель в несколько дюймов для стрельбы. Его дух был непоколебим, а вера в свою миссию - тверда, как никогда. Даже пленные, среди которых был полковник Вашингтон, восхищались стариком, как бы сильно они ни сожалели о том, что он делает. К середине дня падали люди с обеих сторон: мэр Харперс-Ферри был застрелен; сын Брауна Оливер, стрелявший через щель в дверях, был смертельно ранен; еще двое людей Брауна были застрелены, когда пытались переплыть реку; А одного из людей, которых Браун отправил под флагом перемирия, толпа оттащила от гостиницы, где его держали, к Потомакскому мосту и казнила - его тело упало в реку и доплыло до мелкого бассейна, где люди использовали его в качестве "привлекательной мишени" до конца дня. Его можно было видеть еще день или два "лежащим на дне реки, с ужасным лицом, все еще демонстрирующим его страшную предсмертную агонию".
Губернатор Вирджинии Генри А. Уайз попытался восстановить порядок в Харперс-Ферри, назначив командиром полковника ополчения Роберта У. Бейлора, и к ночи Бейлор решил предложить лидеру мятежников еще один шанс сдаться. Он послал к пожарной каланче пожилого человека с белым платком, привязанным к зонтику, но этот мужественный гражданин не смог убедить Брауна согласиться на безоговорочную капитуляцию, и хотя были предприняты еще две попытки, Браун не сдался - он не сдастся, если ему не позволят уйти с теми из его людей, кто остался в живых, и телами убитых. Полковник Бэйлор не мог принять такие условия, и Браун должен был это понимать.
Последнюю попытку убедить Брауна сдаться предпринял капитан Синн из ополчения Фредерика, который позвонил в пожарную каланчу и был приглашен Брауном внутрь. Синн застал его в мече Фридриха Великого, с карабином "Шарпс", с большим ножом "боуи" на поясе и полным жалоб на то, что его людей "перестреляли как собак", когда они несли флаги перемирия. Синн довольно грубо ответил, что люди, взявшие в руки оружие против собственного правительства, "должны ожидать, что их перестреляют, как собак". Браун не стал возмущаться, а просто ответил, что "он взвесил ответственность и не должен от нее уклоняться". Он настаивал на том, что его последователи "не убивали безоружных людей", но Синн указал на то, что мэр был безоружен, когда его убили. Браун сказал, что если это так, то он "глубоко сожалеет об этом". Эти два человека, хотя и были противниками, явно уважали друг друга. Синн перешел улицу к отелю и вернулся с хирургом, чтобы осмотреть раны сына Брауна Уотсона; хирург сразу увидел, что молодой человек умирает и что ничего больше нельзя сделать, кроме как устроить его как можно удобнее.
После ухода капитана Синна и хирурга люди Брауна и его пленники устроились на ночь, как могли, в полной темноте и холоде его крошечного "форта". Браун, имея за плечами опыт войны в Канзасе, велел своим людям зарядить все винтовки и сложить их у бойниц, чтобы не пришлось перезаряжать при нападении; затем они с полковником Вашингтоном сели за стол и дружески поболтали, и Браун заверил Вашингтона, что вернет меч президента Вашингтона неповрежденным, поскольку это, похоже, было главной заботой Вашингтона. Время от времени Оливер Браун стонал и умолял избавить его от мучений, на что отец отвечал ему сначала: "О, ты это переживешь", а затем более резко: "Если ты должен умереть, умри как мужчина".