При раскопках не было обнаружено шведского слоя. Найдены лишь отдельные скандинавские вещи: монеты, курительные трубки, остатки солдатской обуви. Не имея письменных источников, трудно было бы подтвердить длительное пребывание шведов на острове.
Ремонтные работы в Нотебурге начались в 1619 году. К 1641 году стены и башни были починены. В последующие два года перед Флажной башней (Корельской; здесь и далее в скобках — шведское название башни) новые хозяева крепости возвели защитное сооружение для предотвращения размыва берега.
Около 1630 года нотебургский гарнизон насчитывал 150 человек. В крепости обосновались кроме военных и оккупационные гражданские власти, ведавшие Нотебургским леном (то есть уездом). В быте Нотебурга первой половины XVII века проявились типичные черты провинциальной шведской крепости. В Стокгольм исправно посылались ведомости ремонтных расходов, появление на острове одного немецкого каменщика и одного кузнеца было событием, а о доставке в крепость в 1627 году кирок и лопат обстоятельно сообщено правительству.
В 1611 году в устье Невы шведы возводят крепость Ниеншанц, «чтобы можно было, — как выразился Карл IX, — защищать всю Неву под эгидой шведской короны».
Нотебург и Ниеншанц (по-русски Канцы) превратились в важные торговые порты, через которые переправлялись из Руси на запад и север Европы лен, пенька, кожа, меха, холст, зерно, смола, готовые изделия и многие другие товары. По Неве ежегодно проходили десятки груженых судов. Шведское правительство, взимавшее за транзит товаров по Неве большие пошлины, цепко держало завоеванные позиции.
В июне — ноябре 1656 года Нотебург был осажден русскими войсками под командованием воеводы Петра Потемкина. В то же время правительство царя Алексея Михайловича выговаривало у шведов «в нашу сторону Орешек или другую пристань по Неве или при море». Однако ни дипломатия, ни русские орудия, громившие шведов с Монашеского острова, не принесли успеха. Осажденные в Нотебурге шведы стойко оборонялись, а комендант крепости майор Франс Граве на предложение о сдаче ответил: «Яблоко и грушу легче раскусить, чем такой орех». Русским войскам пришлось отступить.
Во второй половине XVII века в военных планах Швеции Нотебургу уделялось все большее внимание. Проекты усиления крепости следуют один за другим. Ее инспектируют видные военные специалисты, в том числе выдающийся шведский градостроитель, инженер и фортификатор Эрик Дальберг, с 1674 года укреплявший Ригу, Нарву и города Ингерманландии, как стала называться оккупированная шведами Ижорская земля. В 1695 году он писал королю, что русские в своем движении к Балтике «не встретят ничего, кроме Нотебурга, который благодаря своему расположению в прошлом был непобедимой крепостью, но вряд ли он сумеет теперь выдержать атаки, как в старые времена, так как крепость тесна, ее старые башни и стены обветшали». Покорив Нотебург, продолжал Дальберг, русские выйдут к Балтийскому морю и вскоре построят флот. Предсказания Дальберга оказались прозорливыми.
В связи с усовершенствованием артиллерии и распространением бастионной системы фортификации Нотебургская крепость стала казаться шведским военным устаревшей. Согласно одному из шведских планов крепости, составленному в 1659 году, предполагалось обнести ее бастионами и усилить стены и башни.
Фортификационные работы, однако, шли медленно. Пока исправляли одну часть крепости, разрушалась другая. Наглядно это положение иллюстрируется планом 1680 года, хранящимся в Королевском военном архиве в Стокгольме и имеющим надпись: «Дополнение о крепости Нотебург, а также о том, что недавно пришло в упадок». В экспликации к плану отмечено, что из десяти башен крепости шесть требовали ремонта, при этом всюду примечания: «потрескались», «наполовину развалились», «совершенно непригодны».
Относительно Королевской (Черной) башни упомянуто, что ее верхний этаж осел, а фундамент надо выстроить заново. Указано также, что ров вокруг замка и канал в центре крепости завалены.
В таком состоянии увидел Нотебург Э. Дальберг, в 1681 году инспектировавший крепости Ингерманландии. Любопытны выдержки из отчета Дальберга: «Это отличное место и ключ к Ладожскому озеру… запущено и заброшено. Большие и высокие стены… так как они стояли без кровли, по всей протяженности потрескались внутри и отделились одна от другой, так что стоят под наклоном. Красивые, великолепные сводчатые и мощные башни также частично сверху до самой земли так потрескались и полопались, что теперь это представляет большой ущерб. Но особенно одна из самых главных башен Королевская (Черная) потрескалась в различных местах сверху до самого фундамента, и ее своды настолько потрескались и осели, что ее нельзя спасти иначе, как разрушив всю башню и построив ее заново. Легко представить себе, ценой какого риска, так как тем самым придется открыть крепость (нападающим. — Авт.), затратить издержки и труд».