Всего у Андрея было четверо сыновей. Старших, Изяслава и Мстислава, он рассматривал как прямых продолжателей своего дела, своих ближайших наследников. (Двое других были значительно младше. Третий сын, Юрий, появился на свет в годы владимирского княжения отца; когда Андрей умер, он оставался ещё ребёнком. Четвёртый же сын Андрея, Глеб, в летописях вообще не упоминается. Мы знаем о нём лишь то, что умер он раньше отца, но в каком возрасте, неизвестно. Впоследствии его мощи прославились чудотворением; было составлено его Житие, и ныне князь Глеб Владимирский почитается как святой.)
Андрей очень рано стал привлекать своего первенца Изяслава к участию в военных предприятиях, стремясь, чтобы тот не только набрался военного опыта, но и, что называется, показал себя. Так, зимой 1159/60 года Андрей отправил его «со всим полком своим» к городу Вщижу на реке Десне, на помощь своему зятю Святославу Владимировичу (из рода черниговских князей Давыдовичей). До кровопролития тогда не дошло: известие о том, что сын Андрея «с силою многою ростовскою» движется к городу, заставило враждующих князей пойти на мировую. Вероятно, юный Изяслав лишь номинально возглавлял суздальское войско; у Андрея имелись опытные, проверенные воеводы, которым он вполне доверял и которые на деле могли руководить и войском, и юным княжичем. Но главное было не в этом: сын Андрея Боголюбского сумел заявить о себе как о полноправном князе, наделённом всеми атрибутами княжеской власти. Участвовал он и в самом масштабном военном предприятии отца за первый период его княжения — победоносном походе на волжских болгар в 1164 году. Однако спустя немного времени, 28 октября того же 1164 года (или, по-другому, следующего, 1165-го), княжич умер, и старшим стал второй сын Боголюбского Мстислав. Теперь отец должен был заботиться о его интересах и всемерно поддерживать его авторитет, особенно среди его дядьёв, то есть своих братьев.
Как и Юрий Долгорукий, Андрей не собирался дробить княжество на уделы. Но тем труднее ему было удовлетворить амбиции братьев. Наиболее амбициозный и деятельный из них, Глеб, княжил в Южном Переяславле, и это вполне устраивало Андрея. Другой Юрьевич, Борис, также бывший соратником Андрея по многочисленным военным походам отца, как мы помним, бежал из Киева в Суздальскую землю. По всей вероятности, Андрей предоставил ему для жительства Кидекшу — город-замок, основанный Юрием Долгоруким на реке Нерли, близ впадения в неё речки Каменки, недалеко от Суздаля, — но предоставил не в качестве особого удела, а в качестве княжеской резиденции. Здесь Борис и умер 12 мая 1159 года и был похоронен с почестями в присутствии Андрея и других братьев; здесь же будут со временем погребены и его супруга и дочь.
Ещё один — и, по-видимому, единоутробный — брат Андрея, Ярослав, по каким-то причинам в войнах отца участия не принимал и княжений на юге не удостаивался. Андрей, в отличие от отца, Ярослава приветил и по крайней мере однажды взял с собой на войну — в поход на Волжскую Болгарию в 1164 году. На самостоятельные роли Ярослав не претендовал и довольствовался тем, что жил возле брата. Он умер 12 апреля 1166 (или, по-другому, 1167-го) года и был похоронен во Владимирском соборе; «и плакася по нём брат Андрей», — свидетельствует летописец. Другой же Юрьевич, Святослав, занимал особое положение в княжеской семье. «Се же князь избраник Божий бе, — писал о нём суздальский летописец, — от рожества и до свершенья мужьства бысть ему болесть зла... не да бо ему Бог княжити на земли». Тем не менее несчастный прожил долгую жизнь; он умер в начале 1174 года, за полгода до самого Андрея, и был похоронен как князь, со всеми полагающимися почестями, в церкви Рождества Пресвятой Богородицы в Суздале.
Наибольшие же опасения Андрею должны были внушать его единокровные братья, родившиеся во втором браке отца. Правда, самые младшие из них, Михалко и Всеволод, были ещё совсем детьми. Однако Андрей никогда не забывал о том, что именно им отец передал Суздальскую землю незадолго до своей смерти. Андрей должен был с опаской размышлять о том времени, когда княжичи войдут в возраст: кто знает — не захотят ли они силой отнять принадлежащее им по отцовскому завещанию у него самого или у его сыновей? Ещё раньше, в период своего первого княжения в Киеве, Юрий Долгорукий передал Суздальскую землю сыну Васильку, и об этом, конечно, тоже не забыли — ни сам Василько, ни его мать, ни те люди в их окружении, которые распоряжались тогда княжеством. Имелись княжеские амбиции и у другого Андреева брата, Мстислава, бывшего ещё недавно новгородским князем, и у подраставших племянников Андрея, сыновей его рано умершего старшего брата Ростислава, — Мстислава и Ярополка.