В те месяцы адмирал занимался составлением разного рода смет, наблюдал за ремонтом казарм, закупкой фуража, решал другие хозяйственные вопросы. В его ведении находились и вопросы закупки оружия у японцев. Но когда он прибыл с этим списком к генералу Накашиме, возглавлявшему японскую военную миссию в Харбине, тот сообщил Колчаку, что много оружия Япония предоставить не может, а также потребовал за оружие некую компенсацию, намекая на более тесное сотрудничество. «Я вовсе не прошу этого оружия как милости, - ответил возмущённый Колчак, - если у вас есть оружие, то продайте мне; дорога платит за него, потому что я всё равно должен создавать охрану дороги; оно нужно, и дорога вынуждена будет это оружие приобретать». Визит кончился ничем, и это в значительной степени настроило генерала Хорвата против адмирала.
Александр Васильевич вновь обратился к деятельности по укреплению своих вооружённых сил, выведя их из Харбина, попытавшись укрепить контакт с командованием различных мелких отрядов, и начал организовывать флотилию на реке Сунгари. Все эти действия не могли не вызывать недовольства китайцев.
В конце апреля - начале мая в Пекине состоялось совещание членов правления Русско-Азиатского банка и Общества КВЖД. На нём под видом нового правления дороги было образовано русское эмигрантское правительство Хорвата (вскоре генерал открыто провозгласит себя Временным Верховным Правителем России, не имея, впрочем, в своём распоряжении серьёзных сил). Колчак возглавил его «военное ведомство». На совещании адмирал выступил с докладом, в котором говорил о плане вступления с оружием в руках на территорию России, оккупированную большевиками. Эту операцию предполагалось произвести с двух направлений - со стороны Забайкалья и со стороны Приморья, и, по расчётам Колчака, для осуществления этого плана ему необходимо было 17 тысяч штыков и сабель. С таким проектом соглашались и иностранные союзники - Англия, Франция и Япония. Но реализовать его в полной мере не удалось.
Позиция, занятая настроенным на самостоятельные действия Атаманом Семёновым, заставила адмирала сделать вывод о невозможности создать серьёзную военную силу на КВЖД и о том, что единственное место, откуда можно начинать развёртывание, - это Владивосток. Но против этого выступали японцы, которые готовились к интервенции и для которых создание в Приморье русских вооружённых сил было крайне нежелательно. Они настаивали на передаче всех вооружённых сил в распоряжение действовавшего в Забайкалья Семёнова.
В итоге деятельностью Колчака оказались недовольны все: японцы, Атаман Семёнов, да и Хорват, поддерживавший их политику. Кроме того, японские агенты вели подрывную работу в войсках, подчинённых Колчаку, - переманивали солдат и офицеров в отряды Семёнова и Калмыкова, мешали нормальной работе. Нередко речь шла и об угрозе личной безопасности адмирала.
В результате всего этого Колчак, при активном содействии Хорвата, стремившегося избавиться от неугодного ему человека, решил поехать в Токио, дабы решить вопросы о дальнейших совместных действиях с начальником японского Генерального Штаба. Передав командование войсками генералу Б. Р. Хрещатицкому, в начале июля 1918 года Колчак уехал в Японию.
Там Александр Васильевич встретился с помощником начальника Генерального Штаба генералом Танакой. Вместо конкретного ответа на вопрос, можно ли в дальнейшем рассчитывать на помощь Японии в борьбе с большевиками, Танака предложил Колчаку остаться в Японии, поправить здоровье. Поняв, что возвращаться в Харбин бесполезно, тем более, что Хорват уже подписал приказ о его увольнении, Колчак предложение принял.
В Японию вместе с Колчаком отправилась и Анна Васильевна Тимирева. Ранее она приезжала к Колчаку в Харбин, решила было вернуться к мужу во Владивосток, но, не выдержав долгой разлуки с любимым человеком, приняла решение последовать за ним.