Не следовало оставлять «Охотск» на зимовку в заливе Счастья. Предупреждали его Орлов и командир брига, что это опасно. Не зря Завойко требовал вернуть транспорт в Петропавловск. Внезапная буря с сильным ледоходом по заливу выбросила «Охотск» на берег так далеко, что там он навсегда и остался. На счету было каждое транспортное средство. Потеря «Охотска» нанесла удар по снабжению восточного побережья.
Невельской появился в заливе Счастья через год. Его ждали там три дома, выстроенные по чертежам и под руководством Орлова, и бренные останки «Охотска» на берегу. Позже по чертежам Дмитрия Ивановича, которому пришлось выступать и архитектором, и строителем, построили три флигеля, казарму, часовню, баню, ледник. В своих записках, перечисляя постройки, как собственные достижения, Геннадий Иванович не поленился сообщить даже о «скотном дворе» для единственной коровы, принадлежавшей ему самому.
Прибытие начальника Амурской экспедиции сопровождалось трагическими событиями. Экипаж барка «Шелихов», перевозивший личный состав и семьи участников экспедиции, в том числе и Невельского с женой, а также запасы продовольствия, наскочил на камень и моментально стал тонуть. Благодаря реакции командира, направившего судно на мель, удалось спасти людей и, позднее, часть груза. Транспорт «Байкал», сопровождавший «Шелихов», сам сел на мель в критический момент и оказать помощь тонущему судну не мог. Спасение прибыло от Орлова с берега. Из Петровского прислали две лодки, на которых перевезли людей. Сам барк спасти не удалось. Это был второй удар по снабжению восточного побережья и Камчатки. Невельские поселились в домике, где провела зиму семья Орлова. В письмах жена Невельского отозвалась о Харитинии Михайловне, что «хотя она и не светская дама, но превосходная личность, очень услужливая и очень добрая». Совместная жизнь в этой коммунальной квартире с крошечными детьми и удобствами на улице продолжалась, пока для начальника экспедиции не построили свой дом. Российским людям не требуется объяснять, что такое жизнь в крошечном домике двух семей с грудными детьми.
Лейтенант Бошняк, один из наиболее выдающихся деятелей Амурской экспедиции, написал о жене штурмана: «Как первой женщине, поселившейся на Амуре, госпоже Орловой принадлежит также честь подвига, украшающего немногих женщин. С переселением на Амур из Якутска положение её изменилось, сравнительно, в несколько раз худшую долю, и конечно имена госпожи Невельской и госпожи Орловой, по всей справедливости, должны занять место в истории Амурской экспедиции».
Можно и должно восхищаться мужеством жён офицеров, служивших в Амурской экспедиции. Но если Завойко, прибыв на Камчатку в качестве губернатора, первым делом занялся вопросами жилья, временно разместив матросские семьи по всем чиновничьим домам, в том числе и у себя в губернаторском доме, то участь семей матросов и казаков, служивших под начальством Невельского, трудно даже вообразить. Тридцать четыре мужчины, холостых и женатых, одиннадцать женщин и девять детей поселили в сарае, площадью около ста квадратных метров. Пол из накатника, одна дверь, ни сеней, ни коридорчика, ни отхожих мест. Обогревали помещение две печки, сложенные по образцу голландских, но без дверец и вьюшек. Они нещадно дымили. На этих же двух печках готовили обед и ужин. Как вспоминал один из участников Амурской экспедиции: «…Когда ни зайдёшь зимою в казарму, в особенности вечером, в ней стоял туман такой густой, что не совсем хорошо было видно. Сырость была так велика, что накатник на полу и стены были сырые. Рамы совсем обледенелые, издающие из себя пар. Если к этому прибавить вонь от нерпичьего жира, который у всех горел вместо свечей, то можете себе представить, каково приходилось этим несчастным людям больше половины суровой зимы при этой обстановке и при недостатке в продовольствии…»
Впрочем, семейная жизнь у Дмитрия Ивановича Орлова с прибытием Невельского практически закончилась. Вместо того чтобы заняться созданием более или менее терпимых условий для жизни людей, Невельской своих подчинённых постоянно направлял в командировки по осмотру новых земель. Делалось это без должной подготовки, «с самыми скудными средствами», по признанию самого Невельского. Расчёт строился исключительно на бессмертные «авось, небось, да как-нибудь».
В лютые морозы уходили офицеры в неведомые края, имея лишь компас, нарты, сухари, чай, нательный крест и «ободрение» от Невельского, что если есть сухарь и кружка воды, то работать можно. Сразу вспоминается пафосное «Надо!» из не столь далёких времен. В этом отношении советская власть ничего нового не открыла, у строителя узкоколейки Павла Корчагина было немало предшественников.