Стали на якийсь час литовськими васалами князі Новосильські, Таруські й Оболенські (ті самі, що були предками відомого декабриста та безсмертного пісенного «корнета»). Проте саме на сході Литва стикнулася з найсерйознішим суперником у справі «збирання руських земель». Спочатку поширення литовського впливу зіштовхнулося зі спротивом Рязанського князівства, яке посилилось під владою талановитого князя Олега (помер 1402 року) Так, Олег відбив у литовців Єлець і Козельськ (той самий, що колись заслужив у монголів Батия славу «злого города» за відчайдушний опір) і намагався відвоювати Брянськ, але зазнав невдачі, а після смерті Олега Рязань перетворилась на бойовище між Литвою і Москвою, навіть на якийсь час ставши литовським васалом. Більш небезпечним для Литви виявилось суперництво з Московським князівством, котре набрало сили за князювання Дмитрія Донського. Москва була не слабшим центром тяжіння для дрібних руських князівств за Литву, до того ж усі невдоволені політикою великих литовських князів могли знайти тут захист і допомогу. Постійні «від'їзди» невдоволених князів і бояр то «на Москву», то на «на Литву» були цілком звичайним явищем — цим займалися навіть члени правлячої в Литві династії Гедиміновичів, зокрема сини великого князя Ольгерда. З погляду старого феодального права князів на вільну зміну сюзерена, який не виконує обов'язків щодо васала, такі князі мали право «на від'їзд», хоча великі князі (і литовські, і московські), усвідомлюючи небезпеку, намагалися зашкодити таким діям своїх васалів. Інша справа, що так буває завжди: «той, хто утік до нас, — людина, яка зробила вільний вибір, а від нас — підлий зрадник». Коротше, «у нас» є доблесні розвідники, а «в них» — підлі шпигуни. Тих, хто цікавиться цим моментом, відсилаємо до знаменитого листування Івана Грозного з відомим «емігрантом» з Московського царства, князем Андрієм Курбським, де Курбський саме обстоює право на свободу вибору для князя, а Грозний — абсолютну владу царя над підданими, зокрема й князями.
Як писав Михайло Грушевський, Литва поступово почала програвати боротьбу за серця й душі, а також за земельні володіння дрібних руських князів Москві через свої менші ресурси і «несистематичність» просування на схід. Хоча якась концепція щодо цього просування у литовських правителів була — так, великий князь Ольгерд (Альгірдас, правив у 1345–1377 роках) якось заявив представникам Тевтонського ордену, що «вся Русь має належати до Литви». Це викликає сильну підозру, що литовські правителі сприймали себе не як учорашніх «варварів — язичників» (хоча той таки Ольгерд був іще напів'язичником, на чому неодноразово наголошувала московська пропаганда — хоча є дані і про його хрещення у православ'я,), а як законних спадкоємців князів Київської Русі, котрі «збирають руські землі». Щось подібне мав на увазі й великий князь Литовський Вітовт (Вітаутас, правив у 1392–1430 роках), коли обіцяв своєму союзникові, вигнаному з батьківщини хану Золотої Орди Тохтамишу посадити його знову на ханський престол, натомість сподіваючись із його допомогою «сісти по всій Руській землі» (проте, як відомо, цим планам завадила програна Вітовтом і Тохтамишем грандіозна битва на Ворсклі 1399 року, коли від рук татар темника Єдігея і хана Темір — Кутлука загинули десятки українських, білоруських та власне литовських представників княжої еліти).