Пока был жив Давыд Городенский, рыцари Прусского ордена с 1312 г. не отваживались нападать на Гродно. Смерть храброго каштеляна прервала полосу относительно спокойной жизни города. В начале осени 1328 г. громадное войско крестоносцев подошло к Гродно. Большая его часть скрытно разместилась на подступах, а 400 человек начали грабеж и разорение предградья. Сделав погромы, они отошли. Жители, укрывавшиеся за стенами замка, решили, что крестоносцы убрались, вышли из укрытия и занялись своим делом на полях. Воспользовавшись этим, рыцари двинулись всеми силами на город, захватили замок, ограбили и сожгли его.
Жизнь в Гродно возродилась к середине XIV в. В 1356 г. гродненцы уже участвовали в военном походе в составе сильного войска, которое разорило прусскую провинцию Алленштадт и осадило город Гутенштадт.
В начале лета 1362 г. главный маршал Прусского ордена Геннинг Шиндекопф с большим отрядом двинулся на Гродно. Рыцари уже собирались переправляться вброд через Неман, но неожиданно их атаковали горожане. Видимо, потери были настолько ощутимы, что противник отказался от попытки захватить город.
Не только пруссаки, но и рыцари Ливонского ордена искали удачи под стенами древнего поселения на Немане. В феврале-марте 1364 г. немецкий граф фон Ханау повел из Ливонии войско, где было 40 князей из разных стран Европы. Даже английские рыцари переправились через Ла-Манш, чтобы «под знаменем святого Георгия» — покровителя всех крестоносцев испытать судьбу под неприступным замком, известным всей рыцарской Европе. Однако замок выстоял вновь, и всю свою бессильную ярость хищные пришельцы обрушили на население окрестных сел. Даже рыцарский хронист вынужден был отметить, что войско пришельцев «бесчеловечно опустошило окрестности Гродно, уведя многих людей в неволю».
Разорительный поход был повторен в августе 1373 г. Однако в 1375 г. войско префекта Ратенбурга герцога Альберта фон Заксена встретило мощное сопротивление жителей Гродно. Причем главный отпор дали рыцарям «простолюдины». Многие грабители были убиты и ранены, часть, во главе с герцогом, попала в плен, а остальные обратились в бегство.
В 1377 и 1379 гг. прусские крестоносцы с участием 2000 австрийских и других европейских рыцарей еще дважды терзали земли Гродненщины.
Междоусобица Витовта и Ягайлы в 1390 г. привела под стены Гродно новую беду: замок, которым владел Витовт, 50 дней выдерживал осаду королевского войска. После многократных штурмов вначале пал Нижний замок. Витовт, располагаясь на левом берегу Немана, соорудил еще один замок — Новое Гродно. Отсюда он пытался оказывать помощь своему гарнизону в старом замке. Через реку была протянута толстая железная цепь, к которой привязали лодки, витины и, таким образом, устроили наплавной мост. По нему из замка вынесли больных и раненых и переправили новый отряд «жолнеров». Однако вскоре этот мост был разрушен: Ягайло приказал выше по течению срубить вековые деревья, связать их прямо с ветвями в громадный плот и пустить его по течению. Одним ударом с мостом было покончено. На 50-й день гродненский Верхний замок пал.
В следующем, 1391 г. с помощью союзных ему рыцарей Витовт вернул себе Гродно. Однако этот противоестественный союз Витовта с крестоносцами был недолгим. В 1392 г. Островское соглашение примирило Ягайлу с Витовтом, объединив их в борьбе с общим врагом — Прусским орденом. Ответом на это стал немедленный поход в начале 1393 г. большого рыцарского войска, усиленного иноземным пополнением. Гродненский замок после 3-дневных штурмов был сожжен, захвачен и разрушен. Спустя несколько лет он вновь восстал из руин. Однако в 1398 г. сильный ночной пожар, во время которого едва не погиб вместе с семьей сам Витовт, обратил замок в пепел. После этого решено было более деревянных укреплений не строить. На пепелище вырос новый, каменный замок, на долю которого также выпало немало испытаний. Уже в 1402 г. крестоносцы испытали его на прочность, и он выдержал все штурмы.