Сын его, Матвей, после смерти отца наследовал ему с соизволения московского великого князя, но едва Иван Васильевич умер в 1505 году, как новый великий князь Василий Иванович низложил Матвея и заменил его своим наместником, которым был назначен князь Василий Андреевич Ковер.
В последующие годы судьба Перми Великой менялась и в худую, и в добрую сторону, смотря по тому, каков был московский наместник — худой или добрый, — но никогда пермские люди не пытались избавиться от московского покровительства, сохраняя верность русским государям.
Это было тем более естественно, что с течением времени завоеванный край наполнялся московскими и новгородскими выходцами, искавшими себе привольных мест для житья. При этом пермяне и зыряне, смешиваясь с новоселами, усваивали их язык, нравы и обычаи, так что через двести с небольшим лет пермяцкие города Чердын, Покча и Изкар сделались русскими поселениями, глядевшими на себя как на частицу нераздельного Московского государства.