Разочарованный медлительностью в принятии фундаментальных решений, Мэдисон в 1783 г. покинул Конгресс и возвратился в свой штат. В том же году он был вновь избран в Палату делегатов и ежегодно переизбирался еще три раза. Здесь он особенно энергично добивался принятия закона о свободе вероисповедания и отделении церкви от государства. Несмотря на ожесточенное сопротивление приверженцев англиканской церкви, которая оставалась в Вирджинии, как и в других штатах, господствующей, Мэдисон, благодаря своему ораторскому таланту и логике, в конце концов добился принятия соответствующего закона в декабре 1785 г.
Вместе с тем Джеймс со все большей тревогой наблюдал, что централизованное государство, которое он считал необходимым создать, так и не возникло. В 1787 г. он изложил свои мысли в рукописи «Пороки политической системы Соединенных Штатов», в которой доказывал ошибочность статей Конфедерации и необходимость выработки новой Конституции. Он был в числе главных инициаторов созыва национального представительства, призванного выработать принципиально новый основной закон.
В результате в Филадельфии был созван Конституционный конвент, который выработал конституцию централизованного государства, значительная часть текста которой была написана Мэдисоном. Именно по его инициативе в текст были внесены такие важные положения, как избрание президента представителями избирателей (выборщиками), а не его назначение Конгрессом, на чем настаивали ряд делегатов, а также введение президентского вето на принятые законы, которое могло преодолеваться, но только квалифицированным большинством (свыше половины депутатов) в Палате представителей и двумя третями членов Сената.
Теперь предстояла ратификация основного закона штатами. Соглашаясь в основном на создание централизованного государства, легислатуры штатов в ряде случаев требовали гарантий обеспечения своих прав (это в наибольшей мере касалось таких крохотных штатов, как, например, Род-Айленд, Коннектикут и Дэлавер) и, главное, обеспечения законных прав графств, городских и сельских общин и отдельных граждан. Считая такие претензии обоснованными, Мэдисон счел необходимым поддержать их в прессе. Он решил изложить идеи, остававшиеся актуальными, в цикле статей.
Его мысли аргументировались в статьях, помещенных в издававшихся Гамильтоном нью-йоркских газетах, а затем в сборнике «Записки федералиста», появившемся в 1788 г. Из 85 работ, включенных в сборник, 29 принадлежали Мэдисону. В них разрабатывались основные вопросы политической теории, которые вошли в классический фонд социальной философии и тщательно изучаются исследователями по наши дни. Мэдисон отстаивал необходимость балансирования между твердой централизованной государственной властью, обеспечивающей надежный порядок и законное управление страной, и предоставлением широких прав отдельным гражданам, их объединениям и местным административным органам. Он признавал, что революционному народу часто, как это было в Соединенных Штатах, не хватает сдержанности, самоограничения, зато сохраняется склонность к созданию упорствующих фракций. Предоставив населению широкие демократические права, центральное правительство должно было, по его мнению, предпринять «строгую проверку достоинств» общин и граждан. В то же время в статьях содержались обоснования основных демократических свобод американцев, которые затем, при ратификации Конституции, вошли в первые десять поправок к ней, известные под названием Билля о правах. Именно Мэдисон сформулировал такие важные положения этого билля, как свобода собраний и прессы, недопустимость произвольных арестов, обязательность суда присяжных.
В работах почитателей Мэдисона и некоторых исторических исследованиях его называют отцом современной американской Конституции. В этом можно увидеть преувеличение, так как она создавалась на основе предложений и компромиссов ряда законодателей, а затем представителей штатов, но тот факт, что Джеймс Мэдисон был одним из ее создателей, неоспорим. Специалисты подсчитали, что из семи статей конституции Мэдисону принадлежала по крайней мере 2-я, касающаяся полномочий президента страны.