В дружбе с Москвой был заинтересован и Ливонский орден, опасавшийся польско-литовской экспансии. Тесные связи с Россией стал устанавливать император Священной Римской империи, недовольный браком Сигизмунда с дочерью венгерского магната Варварой.
Несомненно, великому князю литовскому и польскому королю Сигизмунду стало известно о готовящемся походе русского войска на Смоленск. Поэтому он стал настраивать крымских царевичей против великого князя и провоцировать их нападения на русские земли. В итоге весь 1512 г. пришлось оборонять южные города от степняков. Осенью пришла весть, что Сигизмунд взял под стражу сестру Василия Елену (вдову великого князя литовского Александра), и она вскоре умерла, по слухам была отравлена. Это сразу же послужило поводом для войны, которая назревала уже несколько лет.
14 ноября 1512 г. к Смоленску отправились передовые отряды, 19 декабря выступил и сам великий князь со старшими братьями и ведущими полководцами. В Москве остались младшие братья, Семен и Андрей.
Осада Смоленска продолжалась шесть недель, но результата не принесла. Город представлял собой первоклассную крепость. Удалось только разорить окрестности Минска, Орши, Киева и некоторых других городов. В марте следующего года началась оттепель, санный путь ухудшился, и пришлось вернуться домой. Но при этом Василий принял решение организовать новый поход уже летом.
В 1513 г. внешнеполитическая обстановка вновь была для Русского государстве благоприятной. В марте в Москву прибыло посольство из дружеской Дании, в мае шведы в Новгороде подтвердили мирный договор, заключенный на 60 лет. Император Максимилиан отправил к Василию III отряд пехоты, пушки и мастеров осадного дела. Даже будущий крымский хан Мухаммед-Гирей, узнав о мощном войске Василия III, стоявшем у южных границ, предложил быть «за один» на общего недруга польского короля.
Все это позволило великому князю двинуть к Смоленску свои основные полки. 11 сентября в поход выступил и он сам с братьями. Предположительно русское войско насчитывало 80 тысяч человек. Часть его направилась к Полоцку и Витебску.
На этот раз Василий простоял под Смоленском четыре недели. Город постоянно обстреливался из мощных орудий, одну башню даже удалось разрушить. Но и на этот раз он выстоял. Начавшиеся холода заставили русское войско вновь вернуться ни с чем.
Неудачи не остановили Василия, тем более, что в лице императора Максимилиана он обрел мощного союзника. В феврале 1514 г. между монархами был подписан договор о совместной борьбе против Сигизмунда и даже о разделе территории его страны (правда, он так и не был ратифицирован). В случае удачи к Москве отошли бы все бывшие владения Киевской Руси вместе с Киевом. Важной особенностью договора являлось то, что Василий именовался в нем царем (цесарем), т. е. равным по значимости самому императору Священной Римской империи. Это было прямым свидетельством возросшего могущества Русского государства и его главы. Взамен великий князь шел на уступки Ганзейскому союзу (союзу европейских торговых городов). В Новгороде открывался ганзейский торговый дом, имевший право беспошлинной торговли солью. Но и русским купцам становился доступным путь в Европу.
Третий Смоленский поход начался весной 1514 г. Сам Василий с братьями выступил в начале июня. На этот раз его войско было оснащено большим количеством тяжелых артиллерийских орудий. По некоторым данным, их было более 100. Осада началась с обстрела города из мощных пушек. Они нанесли гарнизону такой урон, что городское руководство решило вступить с Василием III в переговоры. Их возглавил с русской стороны М. Глинский, показавший себя ловким дипломатом. В итоге смоляне приняли решение капитулировать, поскольку скорой помощи от Сигизмунда ждать не приходилось.
Василий обошелся с побежденными горожанами исключительно мягко. Тем, кто не хотел ему служить, было позволено покинуть город со всем имуществом. Оставшимся было выдано жалованье, и сохранены их земельные владения. 1 августа в город торжественно въехал новый государь. Население дало ему клятву верности, однако, не все искренне.
Наместником был назначен князь В. В. Шуйский, верный сподвижник Василия. М. Глинский же остался ни с чем, хотя, по некоторым данным, Смоленск был обещан ему в вотчину за помощь в его взятии.
Чтобы развить успех, великий князь отправил сразу несколько полков вглубь литовской территории. Некоторые литовские князья сразу же начали переходить на русскую сторону. Так, подданными государя стали жители Мстиславля во главе с князем Михаилом, Кричева, Дубровны. Однако вскоре начались неудачи. Пришла весть, что обидевшийся М. Глинский задумал изменить и перейти на сторону Сигизмунда, между ведущими полководцами М. И. Булгаковым и И. А. Челядниным начались распри и соперничество.