Важнейшим же из деяний святителя Петра стало переселение его на закате жизни в Москву, а также перенесение туда митрополичьей резиденции в 1326 году.
Когда совершал свои пастырские «командировки», митрополит всея Руси все чаще наведывался, как говорит житие его, «в славный город Москву, который в то время находился во владении великого благоверного князя Иоанна Даниловича», и все надолыне в нем задерживался. Был ему по сердцу молодой правитель, внук Александра Невского, как говорится в том же житии, «украшенный всякими добродетелями, милостивый к нищим и духовенству, любивший храмы и прилежавший к священным книгам». Московский князь и архипастырь часто беседовали, Иван Калита убеждал митрополита обосноваться в Москве на все время, и Петр в итоге так и сделал.
После того, как он переехал, митрополит уверил великого князя в том, что в Кремле необходимо возвести храм во имя Успения Пресвятой Богородицы, сродни Успенскому собору во Владимире. В «Рассказах из истории Русской Церкви» графа М. В. Толстого приводятся пророческие слова, сказанные митрополитом Петром Ивану Даниловичу Калите: «Если послушаешь меня, сын мой, то и сам прославишься с родом твоим паче иных князей, и град твой будет славен пред всеми градами русскими, и святители поживут в нем, и взыдут руки его на плещи врагов его, и прославится Бог в нем». Именно так и случилось.
Строительство храма шло споро, святитель сам наблюдал, чтобы после заложения церкви работы не останавливались ни на день. Однако прожить в Москве ему было отпущено совсем недолго, кончину же свою митрополит Петр предвидел. В «Степенной книге царского родословия», составленной между 1560 и 1563 годами, об этом говорится следующее: «Некогда случилось христолюбивому великому князю Ивану Даниловичу по какой-то причине проезжать верхом близ реки Неглинной, где находится ныне монастырь, именуемый Высоким, в нем же есть и церковь во имя чудотворца Петра[23]. Внезапно увидел великий князь на том месте высокую и огромную гору, верх же той горы был весь покрыт снегом. Он же узрел видение это, и удивился ему, и показал рукой вельможам, бывшим с ним, и все недоумевали о необычайной горе. И вдруг видят они: снег, лежавший на вершине горы, вскоре стал невидим. После этого долго всматривались они, и огромная и высокая гора также сделалась невидимой. Обо всем этом рассказано было великим князем святителю Божию Петру». Толкование митрополита было такое: «Высокая гора — ты, князь, а снег — я, смиренный, который скоро должен отойти из сей жизни в жизнь вечную».