Не принял Мэдисон и проекта Гамильтона о создании Национального банка, сулившего выгоду только северо-восточным финансистам. Круг противоречий между министром финансов и влиятельным виргинским политиком все более расширялся. В борьбе с нововведениями Гамильтона Мэдисон обращается к «узкому» толкованию конституции 1787 г., пытаясь показать, что федеральное правительство, потворствуя планам министра финансов, присваивает себе полномочия, не предусмотренные его создателями. Мэдисон пытается найти и находит поддержку у других государственных деятелей. С 1790 г. его стали все чаще видеть в компании его земляка и соседа (их поместья находились в 30 милях друг от друга), признанного лидера антигамильтоновской группировки Т, Джефферсона.
С выходом Джефферсона в отставку с поста государственного секретаря в последний день 1793 г. Мэдисон стал единоличным лидером антигамильтоновской оппозиции. Используемые им методы борьбы с министром финансов сделались еще более изощренными. Предложив конгрессу в 1794 г. билль об увеличении пошлин на крупнотоннажные суда стран, с которыми США не имели торговых договоров (удар был направлен против Англии), Мэдисон использовал аргументы, предназначенные для внесения раскола в ряды северо-восточной буржуазии. Пора покончить с господством английских кораблей и купцов во внешней торговле США, говорил он. Отстранение от участия во внешней торговле США крупнотоннажных английских судов, тут же сокрушался Мэдисон, на время сократит экспорт хлопка южными штатами. Но они, патетически заканчивал свое обращение виргинский политик, готовы пойти на эти жертвы ради «северных братьев».
Гамильтон не устранялся от словесной дуэли с Мэдисоном, но надеялся больше на закулисные методы борьбы. В 1794 г. обработанный им эмиссар американского правительства в Англии верховный судья Джей привез оттуда торговый договор с бывшей метрополией. Этот удар истощил силы Мэдисона и вслед за Джефферсоном он капитулировал перед министром финансов.
На этот раз Мэдисон возвращался в Монпелье не один, как бывало прежде. В 1794 г. он женился на Долли Пейн, вдове пенсильванского адвоката. Долли была на 17 лет моложе своего второго супруга, но как выяснилось позже, смогла быть ему блестящей советчицей во всех, в том числе и политических, вопросах. Брак был удачен, и Мэдисон, умиротворенный долгожданным семейным счастьем, надолго обосновался в родовом имении. (Джефферсон в эти годы высказал опасение, как бы семейная идиллия вовсе не отлучила его партнера от политики.)
Однако спокойная жизнь Мэдисона в имении кончилась по получении им в 1798 г. сообщения о том, что федералисты провели в конгрессе сразу несколько законов, направленных против сторонников союза с Францией. Мэдисон, которого еще в бытность его членом палаты представителей противники клеймили как «подкупленного агента Франции с 1778 г.», отреагировал без промедления. Он и Джефферсон подготовили — первый для виргинской ассамблеи, а второй для кентуккской — резолюции, в которых федералистские акты объявлялись вне закона, как попирающие билль о правах. Так Мэдисон вновь активно включился в политическую жизнь. А через два года, когда республиканцы добились первой победы на президентских выборах, Мэдисон по заранее достигнутой договоренности с новым главой правительства США Джефферсоном, занял кресло руководителя государственного департамента.
Противоречия по вопросу внешнеполитической ориентации между федералистами и сменившими их у власти в 1801 г. республиканцами уже на протяжении многих лет возводились во главу угла в пропагандистских выступлениях лидеров двух партий. В конце концов в обиходе федералистов и республиканцев стали различать как английскую и французскую партии. Предшественнику Т. Джефферсона на президентском посту федералисту Дж. Адамсу, казалось, доставляло особое удовлетворение разжигать в стране антифранцузскую истерию. В 1797 г. федералисты разнесли по всей стране историю о том, как надсмеялся над высокопоставленными американцами французский министр иностранных дел. (Князь Талейран через своих чиновников грубо намекнул, что американцы будут бесплодно обивать пороги его учреждения до тех пор, пока он не получит взятку для себя лично, а для Франции необходимую сумму займа.) В следующем году федералистское правительство объявило о прекращении торговли с Францией, отказалось от договора 1778 г.