Все же президент, считаясь с мнением советников, принял меры по улучшению технического оснащения вооруженных сил. В 1802 г. было решено создать Армейский инженерный корпус (US Army Corps of Engineers), куда вошли специалисты, призванные обеспечить армию различными средствами ведения боевых действий. Но к этому моменту подобных военных специалистов просто не существовало, в связи с чем в следующем году Джефферсон инициировал создание Военной академии США, разместившейся в городке Вест-Пойнт (штат Нью-Йорк) с живописным видом на реку Гудзон. Это было первое военное учебное заведение в стране, и оно существует и по сей день. Здесь еще с 1778 г. находился форт, спроектированный Тадеушем Костюшко — будущим руководителем Польского восстания 1794 г. Вест-Пойнт стал подлинной кузницей не только кадров военных инженеров и техников, как предполагалось изначально, но и высшего командного состава Армии США. И все же именно выпускники Вест-Пойнта в первой половине XIX в. спроектировали бóльшую часть железных и других дорог, а также мостов страны.
При всей своей решимости содержать лишь небольшую регулярную армию президент был сторонником продвижения на запад как путем оттеснения индейцев, так и с помощью покупки новых территорий. В отношении индейцев проводилась политика кнута и пряника. Еще Вашингтон объявил, что на юге США проживают «пять цивилизованных племен» — чероки, семинолы, крики, чокто и чикасо, которые усвоили некоторые обычаи белых граждан и поддерживали нормальные отношения с соседями. Джефферсон продолжил курс на внедрение «цивилизации» в индейскую среду. С этой целью в индейские племена направлялись проповедники, а наиболее способных молодых индейцев принимали в штатах, разрешая им учиться в школах и колледжах. При этом другие, «нецивилизованные» племена по распоряжению Джефферсона насильно переселялись с юга на западные территории, а затем и оттуда вытеснялись в пустынные районы. Даже официально признанные «цивилизованными» крики и чероки несколько раз с оружием в руках выступали против продвижения белых поселенцев. В частности, они попытались воспрепятствовать образованию штата Теннесси. О создании этого 16-го штата было официально объявлено 1 июля 1796 г., но реализация решения затянулась, отчасти из-за сопротивления индейских племен. Джефферсон призывал к беспощадному подавлению сопротивления индейцев. Вытеснение индейцев, широко развернувшееся при нем, позже получило в фольклоре название «дороги слез».
Президентские выборы 1804 г., на которых была вновь выдвинута кандидатура Джефферсона, проводились по новому избирательному закону, призванному предотвратить конфликт, подобный тому, который произошел в 1800 г. Новая система привела к тому, что каждая партия выдвигала свою «пару» (президент — вице-президент).
Трагическое событие, произошедшее в разгар избирательной кампании, изменило планы Джефферсона в отношении вице-президента. Давно уже ушедший в отставку и отошедший от федералистов Александр Гамильтон сохранил крайне недружелюбное отношение к вице-президенту Берру, которого Джефферсон был намерен выдвинуть и на этот раз. Стремясь разрушить эту связку, Гамильтон в 1804 г. опубликовал несколько памфлетов против Берра, носивших оскорбительный характер. В ответ Берр вызвал Гамильтона, который был принципиальным противником поединков, на дуэль. Она состоялась 11 июля 1804 г. Гамильтон стрелял первым, причем намеренно выстрелил мимо. Аарон Берр тщательно прицелился и спустил курок: пуля попала Гамильтону в живот и поразила печень и позвоночник. Через сутки с небольшим Гамильтон скончался. В его кармане была обнаружена записка: «Мои религиозные и моральные принципы решительно против практики дуэлей. Вынужденное пролитие крови человеческого существа в частном поединке, запрещенном законом, причинит мне боль. Если Господу будет угодно предоставить мне такую возможность, я выстрелю в сторону первый раз и, думаю, даже во второй». Циничное убийство известного политика подорвало позиции Берра, имя которого стало притчей во языцех. Сохранение его в качестве кандидата в вице-президенты гарантировало Джефферсону провал, и Берр как политик закончился. В качестве напарника Томас выбрал губернатора штата Нью-Йорк Джорджа Клинтона. Многие полагают, что одной из главных причин того, что Джефферсон остановил на нем свой выбор, был его возраст — ему было уже 65 лет, и к следующим выборам он уже был бы слишком стар, чтобы претендовать на президентский пост. Дальновидный Джефферсон уже наметил себе в преемники своего друга Джеймса Мэдисона.