По прибытии в Порт-Блэр доктор Уокер обнаружил, что не было предпринято каких-либо мер по размещению сопровождающих лиц и его самого, а также по организации питания. Поэтому он попросил капитанов двух судов, «Семирамиса» и «Матлаха», которые в тот период там находились, оказать необходимую помощь. «Семирамис» отправился в Моулмейн закупать провиант для нового поселения.
Сразу же на островах Чатам и Росс начались работы по расчистке джунглей. Доктор Уокер писал, что «джунгли там очень густые. Деревья увиты гигантскими лианами, что делает их еще более непроходимыми, и они доступны лишь местным жителям, знающим каждую тропинку. Джунгли стоят стеной. Часто срубленные деревья невозможно свалить на землю, а выкорчеванный кустарник не так просто вынести из зарослей, поскольку он оплетен лианами».
Однако работа по расчистке джунглей продолжалась успешно. К счастью для Уокера, сезон дождей еще не наступил, и аборигены не показывались. Уокер был полон надежд, но так продолжалось недолго.
Неприятности стали доставлять не аборигены, а каторжане, которые устраивали побеги. (К концу 1858 года количество заключенных достигло уже 773 человек.) Первым побег совершил каторжанин Нарайян, приговоренный к пожизненной ссылке за подстрекательство к бунту. За ним послали погоню, поймали и вынесли ему смертный приговор, который тут же был приведен в исполнение. Последовал ряд одиночных, а затем и групповых (одна из групп насчитывала даже до 21 человека) побегов. Большинство бежавших было поймано и казнено. Один из них покончил жизнь самоубийством, другой вернулся назад совершенно больным, проведя в джунглях 12 дней. Он бежал с группой каторжан. Бежавший рассказал, что они неожиданно столкнулись с аборигенами, в результате большинство его товарищей были зверски убиты. С пытавшимися бежать из тюрьмы Уокер расправлялся жестоко. Некоторые английские чиновники считали, что даже слишком.
Данные о положении дел с каторжанами, по состоянию на 16 июня 1858 года (через три месяца после вступления Уокера в должность), свидетельствуют сами за себя:
Всего каторжан — 773
Умерших в лазарете — 61
Совершивших побег и непойманных (вероятно, умерли от голода «или убиты аборигенами) — 140
Покончивших жизнь самоубийством — 1
Повешенных за попытку совершить побег — 87
Тем не менее побеги продолжались, и к тем, кого удавалось поймать, относились без всякой жалости — в большинстве случаев их ожидало жестокое наказание.
1 апреля 1859 года Уокер узнал, что осужденные пенджабцы (около 200 человек) организовали заговор с целью захвата власти. Они планировали убить Уокера, индийского надзирателя и перебить морскую стражу. Однако среди заговорщиков нашелся предатель. Он рассказал Уокеру о заговоре. Выступление каторжан началось, как и планировалось, в полдень. Один осужденный, по имени Сарвар Шах, направил дуло ружья на Уокера, а другой, Маттра Дас, вырвал его из рук Шаха. Но и у Маттра Даса ружье выхватил Насар Мухаммед и бросился с ним на Уокера. Последнему удалось бежать — его спасли два десятника. После этих событий Уокер стал применять к заключенным еще более жесткие меры.
Уокер всячески избегал встреч с андаманцами. Даже для сбора пальмовых листьев, так необходимых для крыш хижин, он обычно отправлял суда в Бирму. Однако ему все-таки пришлось отрядить бриг «Матлах» за пальмовыми листьями на соседние острова. Тут-то и произошло первое столкновение Уокера с аборигенами. Один из его офицеров был убит. В отместку команда «Матлаха» разрушила 40 хижин андаманцев. Так началась необъявленная война между андаманцами и английской администрацией, которая ни на миг не затухала. Правда, аборигены меньше нападали на тех, кто носил знаки заключенных, например железные кольца вокруг лодыжек, но не щадили десятников, у которых отличительными знаками являлись красный тюрбан, бляха и цветной пояс.
В двух стычках с андаманцами было много убитых. В одной участвовал лейтенант Темплер, а другая стала известна под названием «битва за Абердин». 5 августа 1858 года со шхуны «Шарлотта», находившейся тогда в гавани, был принят сигнал о том, что «замечено несколько аборигенов». По распоряжению Уокера лейтенант Темплер вместе с Роу, старшим помощником с «Сесостриса», старшиной и восемью матросами отправились «следить за передвижениями противника».
По поводу этого инцидента Уокер писал, что в каноэ, вблизи мангровых зарослей, заметили одного аборигена. Он явно старался побыстрее уплыть. За ним послали погоню. На берегу заметили еще две лодки. При приближении к берегу на группу обрушился град стрел. Матросы ответили залпом с лодки. В результате абориген был убит.
Затем лейтенант Темплер, оставив в лодке четырех человек под командованием Роу, вместе с пятью матросами бросился к каноэ на берегу и после небольшой перестрелки захватил его. После этого он ворвался в деревню и завладел двумя другими каноэ, находившимися на другой стороне мангровых зарослей. Матросы разрушили несколько хижин и только после этого вернулись назад с тремя каноэ и телом убитого аборигена. Оставшиеся на берегу местные жители кричали им вслед. Ни один человек из группы не пострадал, но лейтенант Темплер считал, что несколько аборигенов было ранено, поскольку он видел, как упали пять или шесть человек. В своем рапорте лейтенант Темплер выразил желание разрушить эту деревню и получил на это согласие Уокера.
«Битва за Абердин» произошла 14 мая 1859 года, но благодаря тому, что один из осужденных, Дадхнат Тевари, живший после побега у андаманцев свыше года, заранее предупредил англичан о готовящемся нападении, нанесенный ущерб оказался незначительным. Дадхнат Тевари был сипаем в туземном пехотном полку и приговорен за участие в восстании 1857 года к пожизненной ссылке и труду в кандалах в Пенджабе. Его доставили в Порт-Блэр 6 апреля 1858 года. Спустя 17 дней он бежал вместе с другими осужденными (всего 90 человек) на плотах. Руководил ими некий Ага, заверивший, что в течение 10 дней доставит их в столицу Бирмы. Позднее к ним присоединились другие заключенные. Итак, их стало 130 человек. Когда они пробирались через джунгли, то натолкнулись на отряд аборигенов. Началась массовая резня. В.конечном счете лишь одному Дадхнату, притворившемуся мертвым, удалась уцелеть. Когда обмин раскрылся, он жестами умолил аборигенов не убивать его.
Его оставили в живых, и он прожил среди андаманцев год и 24 дня. Все это время он соблюдал их обычаи. Согласно его рассказу, он кочевал вместе с ними, поэтому сумел увидеть около четверти территории Большого Андамана. Ходили слухи, что Дадхнат был женат на двух андаманках. Это явно не соответствует действительности, так как андаманцы строго придерживаются моногамии. На самом деле его женой стала андаманка по имени Липайа. Позднее несколько андаманцев подтвердили этот факт. Поскольку он оказал англичанам важную услугу, генерал-губернатор помиловал его — Дадхната освободили и отправили в Калькутту.
Этой «битве» предшествовало появление в апреле вблизи поселения отдельных мелких групп андаманцев (никогда не превышавших 20 человек), но никакого столкновения не произошло, за исключением одного случая— 28 апреля с судна «Шарлотта» на берег сошли моряки, решившие отдохнуть на северном мысу у Порт-Блэра. На них было совершено нападение, и один матрос-европеец получил ранение.
М. В. Портмен писал, что аборигены атаковали Абердин и мыс Атланта. Благодаря своевременному предупреждению, полученному от двух бежавших заключенных, кочевавших с аборигенами, англичане приняли меры к отражению нападения, и разграбление инструментов в значительной степени удалось предотвратить. В Абердин высадили морскую охрану; «Шарлотта» бросила якорь между островом Росс и мысом Атланта; лейтенант Уорден причалил с группой моряков, занял вершину горы Абердин и разместил в своем тылу заключенных с целью их защиты. В это время (команда «Шарлотты» остановила аборигенов, продвигавшихся вдоль берега. Лейтенанта Уордена атаковали из джунглей, в результате численного перевеса аборигены вынудили его отступить к лодкам. Отсюда он организовал защиту заключенных, сгрудившихся на пирсе, стреляя через их головы. Орудия с «Шарлотты» также открыли огонь по аборигенам, захватившим примерно на полчаса лагерь заключенных, который они начали грабить. Лейтенант Хеллард с командой из морской пехоты, охраной Уокера и с группой заключенных пробился на вершину горы и потеснил аборигенов. Ни один из заключенных не был ранен, но, как полагают, несколько аборигенов получили ранения.