В 1506 году он вынужден был оставить университет и поступить на военную службу. В 1516 году началась его дипломатическая карьера, он был назначен послом императора Максимилиана к датскому королю. Московская дипломатическая миссия была третьей (после швейцарской). Когда в 1522 году к фамильному гербу Герберштейна было добавлено несколько новых изображений, среди них было и изображение великого князя московского. До самой смерти (1566) Герберштейн состоял на государственной службе и принадлежал к кругам, определявшим имперскую политику, выполнял дипломатические поручения во многих странах: Нидерландах, Италии, Испании, Франции, Венгрии, Польше, различных городах Германии.
Высокая образованность, большой жизненный опыт, общеевропейский кругозор сказались и на его труде, который написан не только на основании собственных наблюдений и личных бесед, по и русских письменных источников, которые он разыскивал очень тщательно и целенаправленно. Программа его поисков имела следующие объекты.
История страны. Его особенно интересовали летописи, притом оказалось, что ему нужен не древний пергаментный манускрипт, описывающий «преданья старины глубокой», а летописи, дававшие также и описание недавних событий, а не только первоначальную историю. Исследователями установлено, что им использован свод 1518 года и памятник, близкий к Никоновской летописи; не исключено и влияние других источников, устных сообщений. По-видимому, беседы на исторические темы с образованными русскими людьми лежат в основе имеющихся в «Записках» подробностей, не зафиксированных официальным летописанием, а также ряда оценок и интерпретаций событий. Самостоятельное изучение истории по летописям сопровождалось личными контактами. Явственно ощущается наличие нескольких пластов информации, источником которой иногда являлись лица, дававшие вполне официальную и ортодоксальную трактовку событий, а иногда представители оппозиционных кругов, притом различной политической ориентации, иногда враждебной.
Государственная территория, границы (особенно северо-восточные), пути сообщения (речные и сухопутные), города страны. Отметим, что он одним из первых относит Москву к числу европейских городов (заметим в скобках, что в литературе того времени Москва неоднократно сравнивалась с другими европейскими городами: «И. Фабри писал, что Москва вдвое больше Кёльна, а М. Меховский утверждал, что этот город вдвое больше тосканской Флоренции и Праги в Богемии». Разыскания Герберштейна в этой сфере оказались особенно результативны, т. к. ему удалось получить два ценных памятника, известных лишь по изложению в его книге. Во-первых, дорожник, описание северо-восточных окраин страны — указатель пути по Печоре, Югре, реки Оби, а также по северо-западным отрогам Уральских гор. Во-вторых, описание морского пути из устьев Сев. Двины в Норвегию вокруг Кольского полуострова — пути, уже достаточно освоенного русскими поморами-мореплавателями к концу ⅩⅤ в. Б. А. Рыбаков считает, что источником С. Герберштейна служил даже не дорожник, а лоция, так как здесь содержится практическое руководство для капитанов кораблей. Интерес С. Герберштейна к этим вопросам находит двоякое объяснение. Во-первых, это интерес человека эпохи великих географических открытий к новым землям, их ресурсам, населяющим их людям, неизвестным ранее путям. Северные и северо-восточные области интересовали учёных и географов того времени ещё и потому, что у античных авторов содержались на этот счёт самые разнообразные и фантастические утверждения. Во-вторых, это интерес политика-практика к границам, путям сообщения, ресурсам (и т. д.) соседнего государства.
Государственная власть, её верховный носитель — великий князь, объём его власти, характер, «весомость» его титула, соотношение его титула с титулатурой правителей тех стран, которые представлял сам Герберштейн. Для него особенно важно доказать, что титул русского «царя» не может быть приравниваем к титулу императора Священной Римской империи. Этим объясняется настойчивость, с которой он разыскивал чин наставления на великое княжение в 1498 г. Дмитрия Ивановича, внука Ивана Ⅲ. Герберштейну была известна «новинка» политической мысли того времени — легендарная генеалогия русских князей, возводящая их к императору Августу. Однако он упоминает о ней очень кратко, что может быть объяснено двояко. Возможно, что именно в таком сокращённом варианте она была известна ему самому. Однако это маловероятно, если учитывать высокую степень общей осведомлённости Герберштейна. Скорее другое. Эта легенда призвана была возвысить (на легендарной, разумеется, основе) московский великокняжеский дом, показать его древние (опять-таки легендарные) корни, поэтому она не соответствовала общей политической концепции его книги и не была детально изложена на страницах его труда.