В 850 году из девятнадцати высших должностных лиц государства четверо высших министров были Фудзивара, в 872 году (год смерти Ёсифуса) из восемнадцати — семь, сто лет спустя в 972 году из девятнадцати — одиннадцать, а в 1028 году (год смерти Фудзивара Митинага) из двадцати пяти — двадцать два), а оставшиеся три — из Минамото, но все они были связаны с Митинага через жен.
В 1017 году Митинага передал регентство своему старшему сыну Ёримити (992–1028). Ёримити не был так счастлив на детей, как его отец. Его приемная дочь, как и дочь его брата Норимити (996–1075), стали женами Горэйдзэй, но наследников не родили. После восшествия на престол Горэйдзэй в 1045 году наследником был назначен будущий император Госандзё (1034–1073, пр. 1068–1072), мать которого была не из рода Фудзивара, а являлась принцессой императорского дома.
В 1068 году кампаку стал Норимити, а на престол взошел Госандзё. Его правление было недолгим (всего четыре года), но означало конец господства северной ветви Фудзивара. Не связанный прямым кровным родством с кампаку, Госандзё проводил независимую от кампаку политику, к тому же не было и экс-императора, способного влиять на Госандзё. Его политика оказалась прямо направленной на ослабление власти северных Фудзивара, уже в годы правления Горэйдзэй, когда стало ясно, что наследника, прямо связанного с северным домом, нет, северные Фудзивара стали терять свои позиции, и в 1067 году среди кугё (высшая знать) было уже десять Минамото. Среди ближайших советников Госандзё не было северных Фудзивара, он покинул трон в 1072 году, считается, что в первую очередь по болезни, но вероятно, и с далеко идущими политическими планами обеспечить отстранение северных Фудзивара от власти.
С восшествием на престол императора Сиракава (1053–1129, пр. 1072–1086), сына Госандзё, в истории Хэйан начинается период инсэй — период правления ушедших с престола императоров. Несмотря на отсутствие реальной власти в руках сэссё-кампаку, эти должности не были отменены, и на них попрежнему назначались представители северной ветви Фудзивара, это были (после Ёримити: Фудзивара-но Норимити (996–1075, брат Ёримити), Фудзивара-но Мородзанэ (1042–1101), сын Ёримити), он был кампаку в 1075–1086 годаx, затем сэссё в 1086–1090 годах при вступление на престол сына Сиракава Хорикава (1079–1107, пр. 1086–1107, мать Хорикава была приемной дочерью Мородзанэ, затем вновь кампаку до 1094 года; затем кампаку стал сын Мородзанэ Моромити (1062–1099); затем его сын Тададзанэ (1078–1162), он был кампаку в 1105–1107 годаx, сэссё 1107–1113 (при императоре Тоба (1103–1156, пр. 1107–1123)), который взошел на престол четырехлетним, затем снова кампаку до 1121 года; сын Тададзанэ Тадамити был дважды назначаем сэссё и трижды кампаку за период с 1121 по 1158 год; на смену Тадамити пришел его сын Мотодзанэ (1143–1166); затем второй сын Тадамити Мотофуса (1144–1230); затем сын Мотодзанэ Мотомити (1160–1233); затем брат Мотодзанэ и Мотофуса Канэдзанэ; затем опять Мотомити. Таким образом, в этот период должности сэссё — кампаку входили в структуру государственной власти, но это уже не означало, что человек, занимающий иx, обязательно доминирует при дворе (так, впрочем, иногда случалось и в период, когда северные Фудзивара были на вершине власти, самый могущественный из всех Фудзивара — Митинага — занимал пост кампаку меньше двух лет из тридцати лет сво его владычества.