Сближение Сигизмунда с Максимильяном еще более укрепилось, когда в следующем 1516 году умер Владислав, король чешско-венгерский, и оба они сообща заведовали опекой над малолетним его преемником Людовиком. Около того же времени скончалась польская королева Варвара Заполыя, не оставив королю наследников мужского пола. Сигизмунд задумал вступить в новый брак и, при посредстве того же Максимильяна, просил руки итальянской принцессы Боны из дома миланских герцогов Сфорца. На этот выбор повлияли красота и богатое приданое принцессы. Предложение его было принято. (Брак с нею состоялся в 1518 г.) Меж тем Василий Иванович, узнав о переходе своего высокого союзника на противную сторону, не скрывал неудовольствия, и приезжавшие в Москву Максимильяновы посланцы, хлопотавшие о примирении Москвы с Польшей, не имели никакого успеха. Тогда император для этой цели назначил большое посольство, во главе которого поставил барона Сигизмунда Герберштейна, не только хорошего дипломата, но и мужа весьма образованного, изучившего, между прочим, славянский (виндский) язык на своей родине в Крайне.
18 апреля 1517 года Герберштейн с своей свитою имел торжественный въезд в Москву, присоединивший по установленному здесь для таких случаев церемониалу. Посольство поместили в доме князя Ряполовского, куда доставляли все нужные для него припасы; но назначенные к нему приставы строго следили за всеми действиями посла и даже за его разговорами. Спустя три дня его с обычными церемониями проводили во дворец, где он представлялся великому князю и вручил свою верительную грамоту, а затем был приглашен к царскому обеду. Двое знатных бояр, один казначей, один дворецкий и три дьяка были назначены для ведения переговоров с послом. Участие в них бояр было более номинальное, а главным лицом явился тут великокняжий казначей грек Юрий Малый, муж весьма сведущий и опытный в делах — один из тех греков, которые приехали в Москву вслед за Софьей Палеолог и служили еще отцу Василия Ивану III. В первом же совещании с этими лицами Герберштейн, восхвалив могущество, родственные и дружеские связи своего государя римского цезаря Максимильяна с другими европейскими владетелями, объявил, что главную его заботу составляет утверждение общего мира в христианстве; так как неверные, т. е. турки и татары, пользуясь несогласием христианских правителей, все более и более распространяют свои завоевания, поэтому он очень желает прекратить пагубную для христианства брань между Москвой и Польшей. Великий князь чрез бояр ответил, что готов заключить мир, если польский король пришлет своих послов. Герберштейн предложил, чтобы послы обеих сторон съехались на границе или, так как пограничные места опустошены войною и города выжжены, устроить съезд в Риге. Но московская дипломатия прежде всего заботилась о сохранении достоинства своего государства: при Иване III и во время предыдущей войны Василия польско-литовские послы приезжали в Москву для заключения мира, а не наоборот, и бояре объявили это уж обычаем или такою стариною, от которой Москва но отступит. Герберштейн отправил своего племянника фон Турна к польскому королю с просьбою прислать в Москву своих послов.
В начале октября королевские послы — католик Ян Щит и православный пан Богуш Боговитинов, действительно прибыли к Москве. Но в то же время пришло известие, что литовский гетман князь Константин Острожский осадил псковский пригород Опочку. Король думал этим нападением подкрепить свои требования и произвести, так сказать, давление на московское правительство. Он ошибся в расчете: ничто не могло поколебать твердости этого правительства. Королевское посольство не было впущено в город и помещено в подмосковной слободе Дорогомилове; а Герберштейну объявлено, что литовские послы останутся там, пока воеводы великого князя «не переведаются» с Константином Острожским. Пришлось ждать три недели. Наконец, прискакали гонцы с известием, что московские воеводы Федор Оболенский, Лопата Телепнев и Иван Лятцкой литовское войско побили и Константин Острожский ушел от Опочки. Тогда литовские послы были введены в город и получили аудиенцию у великого князя. Переговоры возобновились, но были безуспешны. Сначала обе стороны предъявили невозможные условия: великий князь потребовал казни тех панов, которые учинили насилие его сестре Елене, возвращения ее казны и волостей, отдачи Киева, Полоцка, Витебска и других городов, составляющих отчину его прародителей; а король желал не только получить обратно Смоленск, но еще половину Новгорода, Псков, Тверь и всю Северскую землю. Разумеется, такие требования были несерьезны и предъявлялись только с целью делать как бы уступки. При посредничестве Герберштейна дальнейшие переговоры свелись к одному пункту — к Смоленску. Литва хотела непременно его воротить, а Москва ни за что не уступала. Несмотря на всю дипломатическую ловкость и наружное беспристрастие императорского посла, великий князь ясно видел, что он хлопочет в пользу противной стороны. Напрасно Герберштейн составил увещательную записку, где вздумал ссылаться на исторические примеры Филиппа Македонского, оказавшего умеренность после победы над афинянами, на царя Пирра, утратившего в один час все плоды прежних побед, на своего государя Максимильяна, великодушно возвратившего Верону венецианам, на самого Ивана III, который царство Казанское отдал назад татарам. Умные московские дипломаты, промолчав о древних царях македонском и эпирском, ответили от имени великого князя: «ино то брат наш Максимильян, избранный цезарь римский и наивысший король, ведает, которым обычаем венецеяном Верону отдал, а мы того в обычае не имеем, ни и мсти хотим, чтобы нам своя отчина отдавати». О царстве же Казанском объяснили, что государь Иван Васильевич не отдавал его татарам, а просто посадил там царя «из своих рук», т. е. зависимого от Москвы. Вообще в течение этих долгих переговоров московская дипломатия показала себя верною завету Ивана III и достойною своих греческих учителей. Ясно сознаваемая цель, вежливый язык, обстоятельные суждения и твердость в национальной политике — вот те качества, которые надолго усвоила себе эта дипломатия.