Постепенно разногласия в среде ведущих политических деятелей американского государства усиливались. Все более четко оформлялись две группировки. Одна, руководимая Джефферсоном и представлявшая главным образом интересы Юга, выступала за продвижение США на запад, а во внешней политике за ориентацию на Францию. Вторая во главе с Гамильтоном в основном была связана с финансовыми домами Севера и требовала сохранения тесных отношений с Великобританией.
Хотя Мэдисон в борьбе за принятие федеральной конституции и особенно Билля о правах сблизился с Гамильтоном, по основным политическим позициям и по личным симпатиям он оставался связанным с Джефферсоном и другими вирджинскими политиками. Будучи избранным в Конгресс от своего штата, Мэдисон стал одним из главных оппонентов Гамильтона, в частности по вопросу о создании федерального банка, учреждение которого он и другие сторонники Джефферсона считали покушением на права штатов. В основном восторжествовали предложения Гамильтона, которые поддержали президент Вашингтон и его преемник Адамс. Джефферсон же при поддержке и помощи Мэдисона, Монро и других деятелей приступил к формированию политической партии, получившей название Демократическо-республиканской (позже ее стали называть Республиканской или, точнее, первой Республиканской, чтобы отличать от другой партии под таким же названием, возникшей много лет спустя).
На президентских выборах 1796 г. Мэдисон активно поддерживал кандидатуру Джефферсона. Правда, перед выборами последний предложил баллотироваться в президенты самому Мэдисону, но тот отказался от этой чести, понимая, что именно Джефферсон является лидером политической группировки, и считая, что сам он еще не созрел до занятия высшего поста (это мнение было высказано в ряде его писем). После поражения Джефферсона и избрания президентом Адамса неудача постигла и Мэдисона. Он не был избран в Конгресс и в 1797 г. отправился в свое имение Монпелье, где вел хозяйство и в то же время участвовал в местной политике, способствуя формированию структур своей партии в Вирджинии. Когда же в 1800 г. Джефферсон был избран на президентский пост, Мэдисон возвратился в большую политику, заняв пост государственного секретаря.
В сентябре 1794 г. 43-летний Мэдисон женился на 26-летней вдове Доротее (Долли) Тодд, с которой был знаком и ранее. Незадолго перед этим Долли перенесла трагедию — от эпидемии желтой лихорадки умерли ее муж, занимавшийся торговлей, и новорожденный сын. Джеймс усыновил ребенка Долли, которая в следующие десятилетия активно помогала своему второму мужу во всех его делах. Более того, именно поведение Доротеи Мэдисон ввело в обиход общественного мнения США понятие «первой леди» еще до того, как ее муж стал президентом. Дело в том, что жена Джефферсона умерла задолго до его президентства, и он попросил своего друга, чтобы его супруга в случае необходимости выполняла в Белом доме роль хозяйки, в частности во время официальных приемов.
Хотя у Мэдисона не было опыта во внешней политике, именно он возглавил это направление в кабинете Джефферсона, который руководствовался прежде всего стремлением сохранить международные дела в собственных руках. Но Мэдисон не был бы Мэдисоном, если бы не попытался занять собственную позицию. Тогда как президент был целиком на стороне Франции в ее начавшейся войне с коалицией монархов во главе с Великобританией, госсекретарь выступил за строгий нейтралитет. Эта политика имела отрицательные последствия для самих США. Под нажимом госсекретаря Джефферсон согласился на введение эмбарго по отношению ко всем воюющим странам. Хотя фактически торговля продолжалась, она стала нелегальной, что взвинтило цены и вызвало недовольство на северо-востоке страны, где федералисты, представлявшие интересы развивавшегося промышленного и торгового капитала, сохраняли влияние, хотя оно все более сокращалось.
Немалые трудности возникли во время подготовки к выборам 1808 г. Уходивший в отставку Джефферсон видел своим наследником именно Мэдисона. Но против него ополчились не только федералисты, но часть собственной партии. В основном речь шла о конкурентной борьбе за выгодные должности, поиске тех, кто сможет оказывать покровительство своим приверженцам и давать им возможность получать высокие доходы. В принципиальности Мэдисона эти группы, особенно активные в Пенсильвании, Нью-Йорке и Вирджинии, видели немалое препятствие своим коммерческим и прочим интересам. Действительные мотивы этих групп обычно прикрывались заявлениями о вредоносности сильного центрального правительства, о суверенности штатов и об интересах американской демократии. Возникли различные группировки и блоки, препятствовавшие выдвижению Мэдисона. Они получили полупрезрительное ироническое название tertium quids (по латыни «кто-то третий»). Противники Мэдисона дошли даже до того, что высмеивали его внешний вид — низкий рост (163 сантиметра) и худобу (он весил менее 50 килограммов). Как может такой карлик управлять страной, претендующей на равенство с крупнейшими европейскими державами?! — восклицали противники. Однако по настоянию уходящего президента созванный в январе 1808 г. номинационный кокус (неформальное собрание) руководства Демократическо-республиканской партии поддержал кандидатуру Мэдисона.