К моменту рождения Иэясу перед Мацудайра стояли две смертельные угрозы. Дом Имагава из провинции Суруга упорно подминал под себя земли и воинов в провинции, что заставило Мацудайра перейти от наступления к обороне. Кроме того, Мацудайра угрожал своими экспансионистскими планами Ода Нобухидэ, даймё из западной провинции Овари, начавший в 1530-х и 1540-х годах совершать регулярные набеги на провинцию Микава. Эти вызовы неизменно стояли перед Иэясу, пока он взрослел.
Мацудайра выбрали меньшее из двух зол и присоединились к Имагава, чтобы вместе отразить нападение Ода. Однако защита со стороны военного губернатора сюго была не бесплатной. Отец Иэясу Хиротада (1526–1549) был женат на женщине по имени Одай (1528–1602) из клана Мидзуно. Женитьба Хиротада на Одай имела, как было принято в ту пору, политическое значение и должна была скрепить связь между Мацудайра и Ода, с которыми Мидзуно находились в хороших отношениях. Однако смена лидерства в Мидзуно, сделавшая клан еще более ориентированным на союз с Ода, заставила Мацудайра пересмотреть свои связи с Мидзуно, дабы они не угрожали связи Мацудайра с Имагава. Когда в 1544 году Хиротада открыто порвал с Мидзуно, он отправил Одай — мать Иэясу — в родительский дом. В результате этой семейной политики Иэясу был разделен с родной матерью, когда ему едва исполнился один год.
И это было еще не все для Иэясу, который в то времени носил имя Такэтиё. В качестве платы за свою существенную помощь в битве с Ода военный губернатор Имагава Ёсимото в 1547 году потребовал, чтобы Мацудайра Хиротада отправил своего старшего сына Такэтиё в ставку Имагава в Сунпу, провинция Суруга (ныне — город Сидзуока, префектура Сидзуока) в качестве заложника. Четырехлетнего ребенка по дороге в Сунпу захватила одна из партий клана Тода и доставила его не к Имагава Ёсимото в провинцию Суруга, а к Ода Нобухидэ в провинцию Овари. Следующие два года Такэтиё провел в Ацута, провинция Овари, в качестве заложника семьи Ода. Весной 1549 года в Ацута пришла весть, что отец Такэтиё Хиротада неожиданно умер возрасте 23 лет. Как и его отец, Хиротада погиб от руки недовольного вассала. Со смертью молодого лидера клан Мацудайра охватил хаос: вассалы разошлись кто куда, земли были захвачены, а замки заняты Имагава. Позднее, в том же году, войска Имагава сумели овладеть замком Андзё, цитаделью Ода в западной части Микава. Захватив замок, они взяли в плен старшего сына Ода Нобухидэ, Нобухиро, который в течение более шести месяцев защищал замок от Имагава. Тогда Ода и Имагава согласились обменять Такэтиё на Нобухиро. Такэтиё было позволено вернуться на короткое время в родной замок Окадзаки (город Окадзаки, префектура Аити), однако это не изменило его статуса заложника. Через десять дней его отправили в Сунпу, где Имагава будет держать его в качестве пленника до 1560 года, когда Нобунага уничтожит войска Имагава в сражении при Окэхадзама.
Очень немного известно нам об одиннадцатилетнем пребывании Такэтиё в Сунпу. В 1555 году в возрасте двенадцати лет он, отметив выход из детского возраста, принял имя Мотонобу. Еще через два года он женился на несчастной госпоже Цукияма (1542?-1579), дочери Сэкигути Удзихиро (ум. 1562 году), вассала Имагава высокого ранга. Одновременно он опять сменил имя, выбрав на этот раз Мотоясу (окончательное имя Иэясу было принято им в 1563 году). В 1558 году, в возрасте пятнадцати лет, он впервые принял участие в сражении, когда Ёсимото приказал ему напасть на одного из землевладельцев Микава, вставшего на сторону Ода. Иэясу сыграл заметную роль в хорошо известном, хотя и неудачном наступлении Имагава Ёсимото на Киото весной 1560 года. В армии Ёсимото Иэясу действовал в качестве так называемого «красного воина» (акамуся), возглавляя наступление на Овари[87]. Однако Нобунага внезапно напал на полевую ставку Ёсимото и убил его вместе с помощниками. Лишившись главнокомандующего, войско Имагава рассыпалось и беспорядочно отступало. Сражение при Окэхадзама стало поворотным пунктом в карьере не только для Нобунага, пришедшего в восторг при виде отрубленной головы Ёсимото, но и для Иэясу, освобожденного, наконец, из плена и от подчинения Имагава. Символично, что сразу же после обретения свободы Иэясу вернулся в замок своих предков Окадзаки.