В 850 году из девятнадцати высших должностных лиц государства четверо высших министров были Фудзивара, в 872 году (год смерти Ёсифуса) из восемнадцати — семь, сто лет спустя в 972 году из девятнадцати — одиннадцать, а в 1028 году (год смерти Фудзивара Митинага) из двадцати пяти — двадцать два), а оставшиеся три — из Минамото, но все они были связаны с Митинага через жен.
В 1017 году Митинага передал регентство своему старшему сыну Ёримити (992–1028). Ёримити не был так счастлив на детей, как его отец. Его приемная дочь, как и дочь его брата Норимити (996–1075), стали женами Горэйдзэй, но наследников не родили. После восшествия на престол Горэйдзэй в 1045 году наследником был назначен будущий император Госандзё (1034–1073, пр. 1068–1072), мать которого была не из рода Фудзивара, а являлась принцессой императорского дома.
В 1068 году кампаку стал Норимити, а на престол взошел Госандзё. Его правление было недолгим (всего четыре года), но означало конец господства северной ветви Фудзивара. Не связанный прямым кровным родством с кампаку, Госандзё проводил независимую от кампаку политику, к тому же не было и экс-императора, способного влиять на Госандзё. Его политика оказалась прямо направленной на ослабление власти северных Фудзивара, уже в годы правления Горэйдзэй, когда стало ясно, что наследника, прямо связанного с северным домом, нет, северные Фудзивара стали терять свои позиции, и в 1067 году среди кугё (высшая знать) было уже десять Минамото. Среди ближайших советников Госандзё не было северных Фудзивара, он покинул трон в 1072 году, считается, что в первую очередь по болезни, но вероятно, и с далеко идущими политическими планами обеспечить отстранение северных Фудзивара от власти.
С восшествием на престол императора Сиракава (1053–1129, пр. 1072–1086), сына Госандзё, в истории Хэйан начинается период инсэй — период правления ушедших с престола императоров. Несмотря на отсутствие реальной власти в руках сэссё-кампаку, эти должности не были отменены, и на них попрежнему назначались представители северной ветви Фудзивара, это были (после Ёримити: Фудзивара-но Норимити (996–1075, брат Ёримити), Фудзивара-но Мородзанэ (1042–1101), сын Ёримити), он был кампаку в 1075–1086 годаx, затем сэссё в 1086–1090 годах при вступление на престол сына Сиракава Хорикава (1079–1107, пр. 1086–1107, мать Хорикава была приемной дочерью Мородзанэ, затем вновь кампаку до 1094 года; затем кампаку стал сын Мородзанэ Моромити (1062–1099); затем его сын Тададзанэ (1078–1162), он был кампаку в 1105–1107 годаx, сэссё 1107–1113 (при императоре Тоба (1103–1156, пр. 1107–1123)), который взошел на престол четырехлетним, затем снова кампаку до 1121 года; сын Тададзанэ Тадамити был дважды назначаем сэссё и трижды кампаку за период с 1121 по 1158 год; на смену Тадамити пришел его сын Мотодзанэ (1143–1166); затем второй сын Тадамити Мотофуса (1144–1230); затем сын Мотодзанэ Мотомити (1160–1233); затем брат Мотодзанэ и Мотофуса Канэдзанэ; затем опять Мотомити. Таким образом, в этот период должности сэссё—кампаку входили в структуру государственной власти, но это уже не означало, что человек, занимающий иx, обязательно доминирует при дворе (так, впрочем, иногда случалось и в период, когда северные Фудзивара были на вершине власти, самый могущественный из всех Фудзивара — Митинага — занимал пост кампаку меньше двух лет из тридцати лет сво его владычества.
Главными политическими фигурами периода инсэй были экс-императоры Сиракава, Тоба и Госиракава (1127–1192, пр. 1155–1158). В этот период на престоле было много императоров, посаженных на престол в детском возрасте: Хорикава (сын Сиракава) взошел на престол в возрасте семи лет, Тоба (сын Хорикава) в возрасте четырех лет, Сутоку (1119–1164, пр. 1123–1141, сын Тоба) в возрасте четырех лет, Коноэ (1139–1155, пр. 1141–1155, сын Тоба) в возрасте двух лет, Госиракава, третий сын Тоба — исключение в этом ряду, он взошел на престол в возрасте двадцати восьми лет, Нидзё(1143–1165, пр. 1158–1165, сын Госиракава) в возрасте пятнадцати лет, Рокудзё (1164–1176, пр. 1165–1168, сын Нидзё) — годовалым младенцем, Такакура (1161–1181, пр. 1168–1180, сын Госиракава) — семилетним, Антоку (1178–1185, пр. 1180–1183, сын Тококура) — двухлетним, Готоба — треxлетним. Мы не станем останавливаться на этом периоде более подробно, поскольку никаких отзвуков таких феноменов, как восхождение на престол малолетних императоров в "Торикаэбая моногатари" нет.