Именно Мэдисон ввел в США зачатки социального обеспечения, инициировав принятый в 1816 г. закон о пенсиях вдовам и сиротам американцев, погибших в войне 1812–1814 гг., в размере половины их последнего жалованья.
Единственным законом, на который он наложил вето в самом конце своего президентства, был акт о расходовании федеральных средств на строительство дорог, мостов и каналов. По этому поводу в литературе можно встретить разные объяснения. Некоторые авторы считают, что этим решением Мэдисон лишь продемонстрировал, что у каждого президента могут быть случаи расхождения с законодательной властью. Но другие авторы, и мы согласны с ними, полагают, что президент продемонстрировал частнокапиталистический характер американской экономики, принципиальный отказ государства от вторжения в область предпринимательства, от государственного капитализма. Обосновывая свое вето, он писал, что предусмотренные в Конституции права Конгресса не допускают федеральных расходов в данной области, что Конституцией не следует злоупотреблять, чтобы не сделать законодателей всемогущими. При этом президент оговаривался, что он отнюдь не против строительства дорог и мостов, которые «тесно связывают между собой различные части нашей растущей федерации», но решения об этом должны принимать штаты по взаимному согласию.
Мэдисон стремился, чтобы при продвижении границы США на запад не затрагивались интересы индейских племен. На этот счет он высказывался неоднократно, вступив, в частности, в публичные дебаты с генерал-майором Эндрю Джексоном (будущим президентом США), который фактически отказался выполнять президентские распоряжения, разорял племена, которые ранее участвовали в войне на стороне Великобритании, и отнюдь не только их. На протяжении одного 1815 г. на территории по течению реки Огайо (в той ее части, где позже будет создан штат под этим названием) создали свои хозяйства около 400 тыс. переселенцев, что привело к полному вытеснению индейцев с этой территории. Будучи трезвым политиком и не желая терять поддержку белых граждан под конец своего правления, Мэдисон смирился с лишением индейцев прав и собственных земель. Более по этому вопросу он не высказывался.
Джеймс Мэдисон покинул Белый дом в марте 1817 г. в возрасте 66 лет, передав президентство своему последователю и другу Джеймсу Монро, избранием которого он был глубоко удовлетворен. Мэдисон с женой направился на пароходе вверх по Потомаку к своему имению Монпелье. По словам одного из сопровождавших его знакомых, он «был счастлив, как школьник, отправляющийся на каникулы».
Правда, жизнь после отставки оказалась нелегкой. Джеймс покидал Белый дом, имея значительно меньшие средства, чем когда стал президентом. К тому же его табачная плантация стала к этому времени убыточной как в результате падения цен на табак, так и из-за недостатков в ведении хозяйства, которое было поручено приемному сыну, оказавшемуся полностью некомпетентным. Лишь постепенно стареющему бывшему президенту удалось привести свое хозяйство в сравнительно стабильное состояние.
Это позволило ему заняться общественными делами. Он писал политические статьи и письма, появлявшиеся в различных газетах и журналах, которые платили ему высокие гонорары. Вместе с Джефферсоном он участвовал в создании Вирджинского университета и сменил Джефферсона на посту ректора, каковым был десять лет, с 1826 по 1836 г., вплоть до своей кончины.
В 1829 г., когда Мэдисону стукнуло уже 78 лет, он был избран в состав Конституционного конвента Вирджинии, созванного для внесения изменений в Конституцию. Решался вопрос о представительстве в Законодательном собрании штата. Согласно Конституции, в него избиралось равное число депутатов от каждого графства. Но в последние десятилетия значительно увеличилось население западных графств, и их местные власти настаивали на изменении порядка выборов. Мэдисон поддержал предложение о введении представительства на основе численности населения графств. Однако депутаты от восточной части Вирджинии, главным образом плантаторы-рабовладельцы, формально согласившись с этим, фактически сорвали реформу, добившись включения в число жителей (то есть лиц, определяющих представительство) своих рабов, не имевших права голоса. Мэдисон был разочарован тем, что его предложения были сорваны.