Рига, однако, оказалась крепким орешком. Там генерал-губернатор и главнокомандующий шведской армией в Ливонии М. Делагарди практически держал всё войско. Для облегчения осады отряд А.Л.Ордын-Нащокина, друйского воеводы, должен был взять морские ворота крепости – укрепление Дюнамюнде, но шведский флот помешал этому предприятию, и Ригу пришлось штурмовать в лоб. После кровопролитных двухмесячных боёв под стенами крепости осаду пришлось снять. Cвою роль сыграло роль неблаговидное поведение немецких наёмников, которые в ответственный момент переметнулись на сторону шведов. Личное присутствие царя во время осады не помогло московскому войску, и в начале октября 1656 года оно было вынуждено снять осаду крепости и вообще удалиться из Ливонии.
К зиме наступательный дух русской армии стал выдыхаться, шведы подтянули подкрепление и нанесли ей несколько поражений. Так в июне 1657 года Псковский полк окольничего М.В.Шереметева проиграл бой под Валком, в ходе которого в шведский плен попал сам воевода. В июле 1657 года Алексей Михайлович писал в письме ловчему А.И.Матюшкину: «Брат! Буди тебе ведомо: у Матвея Шереметева был бой с немецкими11 людьми. И дворяне издрогали и побежали все, а Матвей остался в отводе и сорвал немецких людей. Да навстречю иные пришли роты, и Матвей напустил и на тех с неболшими людми, да лошадь повалилась, так его и взяли! А людей наших всяких чинов 51 человек убит да ранено 35 человек. И то благодарю Бога, что от трёх тысяч столько побито, а то все целы, потому что побежали; и сами плачют, что так грех учинился! …А с кем бой был, и тех немец всего было две тысячи; наших и болши было, да так грех пришёл. А о Матвее не тужи: будет здоров, вперёд ему к чести! Радуйся, что люди целы, а Матвей будет по-прежнему».
Матвей Шереметев, ровесник царя и лучший друг его родственника Матюшкина, к сожалению, «по-прежнему не будет»: в плену он скончался от ран.
В сентябре восьмитысячная армия шведов под командованием Делагарди вторглась в Гдовский уезд и осадила город Гдов. Малочисленный гарнизон города отчаянно защищался, отбив два штурма шведов, но силы были не равны, и крепость должна была вот-вот пасть. На выручку Гдову поспешил отряд горячего князя И.А.Хованского, известного по кличке «Тараруй». Это ему Тишайший по горячности сказал:
– Я тебя взыскал и выбрал на службу, а то тебя всяк называл бы дураком.
Делагарди решил не рисковать и, сняв осаду, дал приказ к отступлению. Отряд Хованского бросился преследовать шведов и 16 сентября 1657 года настиг их у речки Черми между Гдовом и Сыренском. В разыгравшемся сражении шведы потерпели сокрушительное поражение, потеряв много солдат и офицеров. Среди убитых оказались два шведских генерала – фон Ливен и Фитингхоф, получившие повышение как раз за бой под Валком; у шведов было захвачено 6 знамён, включая личный стяг графа Магнуса. От гнева Карла Х графа Делагарди спасло только родство с ним (граф был женат на сестре короля).
Преследуя шведов, Хованский сжёг Нарву, переправился на другой берег, взял Ивангород, совершил рейд вглубь Ингерманландии и глубокой осенью вернулся в Псков. Пока шведы тоже не были в состоянии одержать в Ливонии решительную победу, они отвлеклись на Польшу и Данию, поэтому последующие два года война с обеих сторон характеризовалась вяло текущими действиями, мелкими стычками и топтанием на месте.
Не добившись своих целей в Ливонии, Москва оказалась у разбитого корыта и в Польше. Планы Москвы присоединить Литовское княжество и избрать на польский трон Алексея Михайловича или его сына встретили там ожесточённое сопротивление, и начавшиеся в Вильно переговоры зашли в тупик. В Вильно появился небезызвестный Алегретти и стал энергично агитировать панов против Москвы. Поляки увидели, что их бывшие враги перессорились между собой, воспрянули духом и в 1660 году нанесли в Литве поражение двадцатитысячному войску князя Хованского.
Царь созвал бояр на «сидение», чтобы обсудить с ними неожиданное обострение событий в Польше. Бояре сгрудились в передней – ближние как можно ближе к дверям, ведущим в палату царя, остальные выстроились в нестройный ряд соответственно роду, чину и званию. Самый ближний, Илья Милославский, то и дело отворял дверь и заглядывал внутрь, чтобы не пропустить момент появления Тишайшего. Бояре не скрывали своего недоброжелательства к Милославскому, но не роптали. Поди попробуй потягаться с царским тестем! Князь Львов попробовал, да ему тут же указали, что местничать с царскими родственниками негоже.