Окончив в 1888 г. университет, молодой ученый решил специализироваться по кавказоведению; в этой области на факультете у него не оказалось сильных конкурентов. При этом с самого начала он не ограничивался грузинской филологией, занявшись и Арменией, позже он включил в сферу интересов и другие языки и культуры Кавказа. К тому времени его национальные симпатии сменились общекавказскими (уже в годы Гражданской войны правившие в Грузии меньшевики предложили Марру стать ректором нового Тбилисского университета, он отказался, поскольку создавался чисто грузинский университет, а он настаивал на межнациональном университете с грузинским, армянским и азербайджанским факультетами). И уже в ранние годы у него были любимые идеи, которые он отстаивал, даже если они противоречили научно установленным фактам. Одной из них была идея о великом историческом прошлом кавказских народов. Другой – усвоенный с детства тезис об особой близости грузин и армян, который хотелось подкрепить доказательством родства их языков. Но сравнительно-историческое языкознание к тому времени установило, что армянский язык входит в обширную индоевропейскую семью, с грузинским же языком ясности не было, но, во всяком случае, он никак не мог считаться индоевропейским. Уже это вызвало недовольство молодого ученого.
Но пока еще Марр в основном следовал канонам своей профессии. Выдвинулся он не как языковед, а как филолог, затем как археолог (хотя в это время он написал и лучшие свои лингвистические работы, в том числе грамматику родственного грузинскому лазского языка, и сейчас ценимую специалистами). В ранний период своей деятельности он совершил несколько путешествий на Кавказ, на Афон и Синай, где изучал библиотеки православных и армяно-григорианских монастырей, найдя там ценные древнегрузинские и древнеармянские рукописи, которые издал. Видный немецкий богослов А. Гарнак после этого писал, что Марр доказал принадлежность грузин к «великой греко-христианской семье народов древности». Все эти памятники были церковными, сам Марр в те годы был старостой грузинской церкви в Петербурге и принимал участие как эксперт в канонических спорах. Кто мог тогда представить, что он единственным из членов Императорской академии наук вступит в партию большевиков? А как археолог Николай Яковлевич достиг еще больших успехов. В основном он раскапывал армянские памятники, прежде всего, древнюю столицу Армении Ани. В связи с этим его имя до сих пор окружено почетом в Армении (намного больше, чем в его родной Грузии).
Но и в начале ХХ в. Марр был популярен. Вехи его биографии уже в дореволюционные годы – неуклонный путь вверх: с 1891 г. приват-доцент, с 1899 г. магистр, с 1900 г. экстраординарный профессор, с 1902 г. доктор и ординарный профессор, с 1909 г. адъюнкт Академии наук, с 1911 г. – декан восточного факультета, с 1912 г. академик. Он быстро вошел в когорту знаменитых русских востоковедов. Позже его ученик академик И. А. Орбели скажет: «Вы знаете, что за люди были на факультете… Но… поверьте, гений был только один – Марр».
Но чем больше, тем дальше проявлялись черты сложного характера Марра. В его некрологе работавший под его руководством на факультете академик В. М. Алексеев напишет: «Это грандиозный, бурный, беспредельный темперамент… Это был вечный гейзер, не деливший своих вод на струи и назначения, – вулкан, действовавший в едином огне и сотрясавший все вокруг… При столкновении с людьми… особенно с людьми более размеренной жизни и более размеренных убеждений, не мог не причинять себе и им обид и огорчений, тем более что в окружающей действительности он вряд ли мог встретить людей, понимавших его во всех статьях». Сам Алексеев испытал этот темперамент и на себе: в 1913 г. Марр, тогда декан, запретил ему читать курс по учению Лао-Цзы, поскольку там излагалась «атомистическая теория на футуристическом языке». А сам Николай Яковлевич писал: «Я привык слушать всех, кто давал мне советы (а их так много), чтобы тем резче часто сделать совершенно противоположное». Единственным человеком, имевшим на него влияние, был его учитель, крупный востоковед барон В. Р. Розен, который уговорил его не публиковать наиболее вызывающие положения до защиты докторской диссертации, но после его смерти в 1908 г. воздействовать на вулкан стало некому.
Ситуация усугублялась негласным кодексом поведения, существовавшим в среде востоковедов: не высказываться по тематике, выходящей за пределы их узкой специализации, и тем более по языкам, досконально не изученным. А поскольку в университете крупных кавказоведов, кроме Марра, не было, то критические выступления по его адресу были невозможны. Марр заботился о своем монополизме, точнее, о монополизме своей школы: к моменту революции у него уже было немало учеников, среди них такие крупные ученые как И. А. Орбели, И. А. Джавахишвили, А. Г. Шанидзе. А чужаков он старался изгнать из кавказоведения, так, он не дал возможности продолжать занятия армянским языком видному языковеду А. И. Томсону, опубликовавшему армянскую грамматику (именно Томсон спустя много лет пожалеет исписанную Марром бумагу). Не мог он до конца справиться лишь с конкурентами из Грузии и Армении, где, особенно в Грузии, всегда существовала ему оппозиция. Там могли разбираться в его построениях, тогда как петербургские коллеги исходили из презумпции научной достоверности и не догадывались, что и в ранний период ученый мог, если в толковании места в памятнике одно слово не укладывалось в его концепцию, зачеркнуть слово и делать вид, что его нет.