Появилось это сооружение в историческом центре города, при слиянии рек Березина и Бобруйка, на месте древнего замка. Военные снесли здесь все постройки, включая церкви, замок XIV века и дворец XVII века, здание ратуши, торговые ряды, мельницу.
Строительство вели в основном крепостные крестьяне из Минской, Черниговской и Могилёвской губерний, из каждой пригнали сюда до 500 подвод. Различные регионы империи поставляли стройматериалы. Например, выход через восточные ворота был сооружён из каменных плит, доставленных с Кавказа. На одной из этих плит весом около 2 тонн можно прочесть надпись: «…Кавказа… доставлено сие на землю белорусов… апрель, 27 дня 1811 г.». Материалы привозили также из Карелии, Украины, Урала. И это в условиях отсутствия железных дорог. Много мужиков погибло на этой «стройке века». Фактически цитадель поднималась на костях…
К началу войны 1812 года успели возвести на правом берегу Березины 5 бастионов, казармы, здание госпиталя, превратили в арсенал бывший иезуитский монастырь, насыпали валы, выкопали рвы. Крепость получила на вооружение 330 орудий различных калибров. Стены бастионов имели толщину от 7 до 10 кирпичей, и были непробиваемые для тогдашних пушек.
На территории крепости, общей площадью 120 гектаров, были ботанический сад, бульвар, общественный сквер. В городском саду часто играл военный оркестр, офицеры устраивали в Бобруйске званые вечера, куда приглашали знатных горожан.
Войска Великой армии Наполеона впервые появились в окрестностях Бобруйска в конце июля 1812 года. Однако блокаду Бобруйска они начали только с 4 сентября. В основном, крепость осаждали польские части, воевавшие на стороне французов. Их было до 12 тысяч человек при 12 пушках. При таком соотношении сил и артиллерии нечего было даже думать о штурме крепости. Тем более что русские к обороне подготовились основательно: боеприпасов должно было хватить на год, продовольствия — на 6 месяцев. Это для 7 тысяч солдат и офицеров, находившихся внутри крепостных стен. Поэтому уже 12 октября польский генерал Ян Домбровский приказал своим подчинённым уйти.
Блокада Бобруйска продолжалась всего 39 дней и обошлась без активных боевых действий сторон. Тем не менее, российские историки любят говорить и писать — вопреки фактам — о «четырёхмесячной героической обороне Бобруйской крепости», считая ее началом 27 июля, а окончанием — 28 ноября (в тот день из окрестностей Бобруйска ушли полевые заставы поляков, наблюдавшие за перемещениями российских войск).
В 1817 году император Александр I посетил крепость и приказал построить нагорное укрепление, чтобы в случае боевых действий не дать неприятелю воспользоваться господствующей высотой для размещения своей артиллерии. Новое сооружение назвали в честь прусского короля Фридриха Вильгельма. Это был мощный форт, состоявший из высоких валов и глубоких рвов, земляных и кирпичных огневых сооружений. Так, возле самой реки разместился пятиугольный земляной вал (люнет) с казематами внутри. В тыльной части укрепления соорудили каменную стену с двумя рядами бойниц и въездными воротами.
Однако по своему прямому назначению форт никогда не использовался — всю свою историю он служил тюрьмой. Уже в 1826 году в казематах форта «Фридрих Вильгельм» содержались политические арестанты. Первыми узниками стали члены тайных обществ филаретов и филоматов — студенты и преподаватели Виленской академии и Свислочской гимназии. После подавления восстания декабристов в Петербурге в Бобруйскую крепость отправили 16 осуждённых заговорщиков. Условия пребывания здесь были крайне тяжёлыми, поэтому не зря А.И. Герцен писал: «Пусть Сибирь, пусть что угодно, только не эта страшная тюрьма на Березине».
Отголоски правдивых историй и слухов о жестоком обращении с заключёнными в Бобруйске дошли до писателя Валентина Пикуля и вдохновили его на создание рассказа «Бобруйский мешок». В рассказе идёт речь о яйцевидной камере, где «всё и всюду было овальное, даже койка и столик изгибались, повторяя кривизну камеры». Существование такой камеры вызывает большие сомнения, тем не менее, это одна из самых популярных легенд о Бобруйской крепости. Если «каменный мешок» действительно существовал, то не иначе как в форте «Фридрих Вильгельм», который до наших дней не сохранился.