Федералистская партия, располагавшая к этому времени своими организациями только в Новой Англии, все более слабела. Мэдисон легко выиграл выборы у ее кандидата Чарльза Пинкни. В коллегии выборщиков он получил 122 голоса, Пинкни — 47; 6 голосов были поданы за Джорджа Клинтона.
Единственной уступкой, на которую пошел становившийся все более жестким политиком Мэдисон, было согласие оставить на посту вице-президента Клинтона, который и при Джефферсоне не вмешивался в наиболее острые политические дела. Клинтон мирно прослужил в первой администрации Мэдисона, а во второй был заменен Элбриджем Генри из штата Массачусетс, который также предпочитал выполнять отдельные распоряжения президента, не проявляя собственных амбиций.
Из всех правительственных назначений особенно удачным оказался Альберт Галлатин, который был теперь назначен государственным секретарем. Против него, правда, раздавались голоса в Сенате, в основном потому, что он не был коренным американцем, а являлся иммигрантом из Швейцарии. Но заслуги Галлатина перед американской революцией говорили сами за себя. Переселившийся в США в возрасте чуть более 20 лет, он активно поддержал республику, был депутатом Ассамблеи штата Пенсильвания, Палаты представителей и Сената, стал соратником Джефферсона в руководстве Демократическо-республиканской партии. Являясь секретарем казначейства в правительстве Джефферсона, он неоднократно выполнял дипломатические поручения, а теперь возглавил внешнеполитическое ведомство и стал ближайшим советником нового президента.
Мэдисон был первым президентом, который унаследовал Белый дом у представителя своей же партии. Это облегчило формирование кабинета и руководство страной в условиях первой серьезной войны, в которую вступили США после Войны за независимость. Внешне мало представительному, низенькому и худенькому президенту пришлось несколько лет реально выполнять функции Верховного главнокомандующего, предусмотренные Конституцией.
К тому времени, когда Мэдисон приступил в марте 1809 г. к исполнению президентских полномочий, отношения между США и Великобританией резко ухудшились. Серьезный конфликт возник в связи с судьбами моряков обеих стран. Во время войн Великобритании с наполеоновской Францией было немало случаев дезертирства английских моряков, которые искали убежища в США. Требования об их выдаче игнорировались, морякам предоставлялось убежище. Тогда англичане стали захватывать американские торговые корабли и, более того, принуждали их матросов записываться в британский военный флот.
Мэдисон и Галлатин пытались урегулировать вопрос миром. Шел обмен нотами, велись переговоры с британским послом Дэвидом Эрскином, который давал неопределенные обещания. Но даже они не понравились главе Форин-офис Джорджу Каннингу, который отозвал Эрскина и назначил на его место Джеймса Джексона, известного своими антиамериканскими настроениями.
Наиболее горячие головы в Конгрессе выступали за объявление войны Великобритании, но президент сопротивлялся, обращая внимание на большие расходы и неизбежное повышение налогов, которые вызовет новая война, не говоря уже о человеческих потерях (как всегда, для правителей это не было главным). Но отношения ухудшались неуклонно. Новый британский посол не был признан президентом, и ему даже было запрещено появляться в Госдепартаменте. В результате он покинул Вашингтон, но оставался на территории США, перебравшись в Бостон, остававшийся одним из последних оплотов федералистов, сторонников союза с Великобританией.
В начале 1810 г. Мэдисон обратился к Конгрессу с просьбой о выделении дополнительных средств на пополнение армии и ВМФ, причем мотивировал это опасностью войны против Великобритании. На протяжении 1810–1811 гг. пресса призывала ко «второй войне за независимость», на дополнительных выборах в Конгресс побеждали, как правило, «военные ястребы» (именно тогда этот термин стал использоваться для обозначения тех, кто особенно рьяно призывал к войне). Воинственные настроения оказали влияние на президента, который поддался тревоге и решился объявить войну.