Белая пехота ворвалась в город. Я. Покус говорит о движении белых двумя колоннами: одна повела наступление с восточной стороны города Ольги, другая – обходным движением с юга. Раздавались отдельные выстрелы. Сопротивление оказывали корейцы, частью засевшие в своей казарме, частью рассыпавшиеся по улицам. Русские красноармейцы сопротивлялись слабо; они стали сдаваться, их белые брали в плен, корейцев же белые не брали, и после схватки в районе их казармы было подобрано 63 корейских трупа. Не прошло и двадцати минут с завязки боя в городе, как весь он оказался уже в руках белых… Команда одного из красных судов пыталась было потопить один пароход, но этого ей не удалось. Три других парохода белым достались в полной исправности. Опрокинутые в городе красные бежали так стремительно, что кавалеристы не успели даже заседлать часть своих коней, и неоседланные кони бегали по полю. Белые бойцы ловили их, так «батарейцы» захватили восемь коней.
Прислуга 47-мм берегового орудия красных, будучи разбуженной шумом боя в городе, успела изготовиться к бою и открыла огонь по «Магниту». Огонь сначала был очень удачен: в «Магнит» было несколько попаданий, на нем было два-три раненых и один убитый. Огнем «Батареи» и «Магнита» орудие красных все же скоро было приведено в молчание, прислуга его разбежалась. Высаженный с корабля десант захватил орудие, но ввиду невозможности погрузить его на корабль оно позднее было приведено в негодность и сброшено в море.
Сопки и лес почти вплотную подходят к городу. Белая цепь, расстроившаяся при преследовании противника и ловле коней, остановилась и дальнейшего преследования бегущего врага не вела. Вскоре пришло приказание белым бойцам отойти в город. За чертой города было выставлено охранение. По улицам (их всего в то время в городе Ольге было только пять) пущены патрули. Промокшие и утомленные люди стали сушиться и отдыхать. Специалисты приводили в порядок брошенные красными суда. Наряды от частей грузили на них трофеи. Радиостанция была оставлена красными также в полной исправности, а потому во Владивосток немедленно было дано радио, и В.Г. Болдырев в своем дневнике под 15 ноября занес: «Сегодня пронесся слух о занятии Ольги белоповстанцами». Это имя было употреблено в первый раз. В казначействе красные бросили весь находившийся там запас золота. Белые бойцы, участники этой операции, определенно говорят о том, что бой ни в коем случае не длился более получаса и в дальнейшем, в течение всего дня, в Ольге и ее окрестностях не было слышно никакой стрельбы, а потому сведение, полученное Я. Покусом о «четырнадцатичасовом бое, в результате которого белые окончательно овладели побережьем бухты и расположенным близ нее селением», должно признать совершенно не соответствующим действительности.
В бухте Святой Ольги оказались стоящими: «Диомид», «Монгугай» и катер «Амур». «Лейтенант Дыдымов» был в плавании с красными комиссарами по побережью Татарского пролива, а катер «Д.Ф. Диомид» – на мели в одной из бухт южнее Ольги. Комиссары, часть красных командиров и команд кораблей во время переполоха убежали, оставшимся было приказано привести в негодность корабли, но это исполнено не было.
К вечеру того 14 ноября бывшая красная флотилия была уже готова к выходу в море. Все захваченные трофеи были погружены на суда. В сумерки белые части спокойно прошли на пристань, погрузились на корабли, и белая флотилия оставила Ольгу, захваченную только двенадцать часов тому назад. Должно отметить и подчеркнуть то, что белое командование поступило чрезвычайно некрасиво: по занятии белыми города Ольги на вопросы жителей о том, не уйдут ли белые, последние определенно говорили, что останутся в городе и будут занимать его. Даже тогда, когда они, то есть белые, шли на пристань, на вопросы горожан белые бойцы отвечали, что они идут преследовать красных. Вряд ли эта «военная» хитрость оказала большое влияние на то, что красные партизаны не чинили препятствий уходящим белым, но, во всяком случае, ряд местных жителей, отнесшихся сочувственно к приходу белых, были спровоцированы белым командованием и оставлены на расправу красным, которые без боя вновь заняли опустевшую Ольгу.
Из Ольги корабли «Магнит» и «Патрокл» с захваченными кораблями направились во Владивосток. «Батарея» была оставлена адмиралом Старком у входа в залив Святой Ольги, а сам адмирал на «Илье Муромце» пошел на север в погоню за «Лейтенантом Дыдымовым». «Батарея» была оставлена в заливе Святой Ольги до возвращения «Ильи Муромца» на тот случай, если б адмирал Старк разошелся бы с «Лейтенантом Дыдымовым» и последний попытался бы укрыться в бухте Тихая Пристань.