Сам же конвент приступил без промедления к составлению собственной конституции. Вопросам организации государственной власти в отдельных штатах уделялось в Северной Америке в начале революции первостепенное значение, ибо большинство патриотов, не желая заменять свергнутую деспотическую централизованную власть метрополии своей собственной, полагали, что в стране утвердится полный суверенитет и независимость штатов друг от друга. Виргинский конвент образовал комиссию по подготовке конституции и декларации прав из 30 человек. Включение в нее Мэдисона было большой честью для делегата из Орэнджа. Но определяющего влияния на работу комиссии он не оказал.
Объяснялось это отнюдь не меньшей ученостью Мэдисона в сравнении с другими делегатами и не его молодостью. В правовых и иных познаниях, пополняемых ежедневно на протяжении нескольких лет учебы в Принстоне и затворничества в Монпелье, Мэдисон превосходил большинство членов комиссии, а что касается возраста, то на ведущих местах в конвенте оказались лица и помоложе его — секретарю конвента Г. Тейзвелу было 23 года, а первому генеральному прокурору штата Э. Рандольфу — 22. Но ни они, ни более зрелые делегаты не могли состязаться в популярности с одним из 30 членов комиссии, признанным властителем умов патриотического движения Джорджем Мэйсоном, который в отсутствие среди участников конвента Р. Г. Ли и Т. Джефферсона почитался чуть ли не как оракул всевозможных истин. Ему и поручили составить как декларацию прав, так и конституцию.
Трудно сказать, как отнесся Мэдисон в 1776 г. к виргинской конституции, составленной по проекту Мэйсона. Девять лет спустя он резко осудил ее с умеренных позиций. Его не устраивала трактовка Мэйсоном принципа «разделения властей», направленная на возвеличивание роли законодательного собрания, передачу ему традиционных прерогатив исполнительной власти и умаление значения последней. Ему не нравилось ограничение власти губернатора исполнительным советом, сведение к минимуму различий между сенатом и палатой представителей, слишком многочисленный состав легислатуры и чересчур частое переизбрание всех органов власти. Не отвечающие политическим вкусам Мэдисона черты виргинской конституции в первые годы войны за независимость воплотились в той или иной мере в государственном устройстве большинства штатов. Страна переживала мощный демократический подъем, что отразилось даже в политической жизни плантаторской Виргинии.
Начало политической деятельности Мэдисона казалось многообещающим. Он был избран членом первого исполнительного совета штата, переизбран туда затем во второй раз. Но эта достаточно высокая, но все же не высшая политическая должность в штате могла стать на долгие годы потолком в карьере Мэдисона. После того как в Вильямсбург вернулись по истечении депутатских полномочий в Континентальном конгрессе Р. Г. Ли и Т. Джефферсон, они вместе с П. Генри и Дж. Мэйсоном стали поочередно сменять друг друга на губернаторском посту и в роли лидеров законодательного собрания. Пробиться в этот мощный политический квартет у Мэдисона не было никаких шансов, и он должен был расценить как благословение судьбы избрание его в 1779 г. представителем Виргинии в Континентальном конгрессе.
Мэдисон прибыл в Филадельфию, где заседал Континентальный конгресс, с твердым намерением защищать интересы родного штата. На протяжении первых лет пребывания его в конгрессе представления Мэдисона о географических границах родины определялись часто повторяемой молодым депутатом формулой: «Моя страна — Виргиния».
Члены конгресса, составившие представление о виргинских плантаторах по внешности аристократически величавых Вашингтона и Джефферсона, немало подивились при виде нового делегата южан. Невысокого роста, худой, припадающий на одну ногу, без единой кровинки в лице, изможденном недугом, — таким явился перед ними Мэдисон. Для тех, кто пытался поддерживать с ним связь вне стен конгресса, виргинец оказался «самым необщительным существом в мире». В самом конгрессе его могли наблюдать с большими перерывами (он часто и надолго уезжал домой из-за болезни). Не сразу, а шаг за шагом, словно по тонко размеченному плану, раскрывался Мэдисон как незаурядный политик.