В 1550 году берестейским старостой стал Николай Радзивилл Черный. По его инициативе в Берестье были построены кальвинский собор и первая на белорусских землях типография. В 1566 году образовано Берестейское воеводство и утвержден герб. Город состоял из четырех частей – замка, «места» и двух предместий за реками Мухавцем и Угринкой.
После объединения Польши и Великого княжества Литовского и заключения Люблинской унии, Берестье вошло в состав нового государства – Речь Посполитая. С этого времени появляется новое название города – Брест Литовский.
Во второй половине XVI—начале XVII веков началось массовое строительство каменных домов. XVII век для Бреста Литовского стал временем военных потрясений из-за польско-русских и польско-шведских войн. В 1648 году город сожжен и разрушен войсками Богдана Хмельницкого, но замок не пострадал. По обвинению в связях с казаками казнен настоятель православного Свято-Симеоновского монастыря Афанасий Филиппович (Брестский), причисленный к лику святых в 1658 году.
Во время войны Речи Посполитой со Швецией Берестейский замок в 1657 году был сдан шведскому королю Карлу X Густаву, а город захвачен и разграблен. К этому времени относится первое графическое изображение города – гравюра «Осада Берестья шведами». В 1660 году город и его окрестности опустошены войсками русского воеводы Хованского. Войны и разорения привели в упадок торговлю города. В ходе Северной войны Речи Посполитой и России со Швецией город в 1706 году захвачен и опустошен шведскими войсками. Берестье беднеет, утрачивает свое значение. Благодаря пребыванию в городе властей повета и воеводства сохраняется его право на самоуправление.
Только к середине XVIII в. город начинает возрождаться. В 1770 году здесь открылась королевская суконная мануфактура, а через пять лет началось строительство Днепровско-Бугского канала.
В марте 1794 году во время национально-освободительного восстания в Польше, Беларуси, Литве под руководством Тадеуша Костюшко, власть в городе на некоторое время захватили повстанцы. После поражения восстания произошел третий раздел Речи Посполитой, в результате которого в 1795 году Брест Литовский с населением более 3 тысяч человек вошёл в состав Российской империи как уездный город, утратив былое административное значение и право на самоуправление. С сентября 1801 года город относится к Гродненской губернии и называется как Брест-Литовск.
В 1812 году во время войны с Францией город находится в районе военных действий, несколько раз его захватывают воинские части армии Наполеона.
Для укрепления западных рубежей Российской империи планировалось строительство 9 крепостей. В 1830 году Николай I на месте древнего города утвердил проект строительства крепости. С 1833 года начались массовые земляные работы, более 500 строений города были разрушены или приспособлены для военных целей.
Новый город Брест-Литовск с населением около 10 тысяч человек стал возводиться в 2 км к востоку от крепости.
В период межвоенной Польши город назывался Брест-над-Бугом.
Без лишнего пафоса и иных громких слов ответственно заявляю, Брест – город удивительных фонарей. Всему виной – улица Гоголя, именно на ней организовали аллею «кованных» причудливых фонарей, на которой разместилась целая уйма; здесь любое белорусское юридическое лицо за умеренную плату имеет шанс выставить своё творчество, а у них, оно, знаете ли, порой отменное. Все скульптурные композиции перечислять долго, да и не нужно, но про некоторые, особенно запавших в душу, расскажу. Я бы аллею разбил на три части. Первая – это жанровые скульптуры: «чистильщик обуви» – худощавый парнишка в кепке и со щётками в обеих руках предлагает сесть на лавочку с фонарями, засунуть ногу в металлический тапок – скоро начнётся чистка; странный «портной» в специальном костюме, сидящий на кривой лавочке, вместо головы – фонарь, делом он занимается, большую пуговицу пришивает; добродушный бородатый «дворник с собакой», возле фонаря метлой в савок собирает мусор; обаятельный Афоня – «сантехник» в спецодежде и в каске по пояс находится в канализационном люке, в руках у него разводной ключ, хочет вылезти и подкрутить трубу, на которой висит фонарь; прекрасный «натюрморт» – корзина с колбасой и надпись: «искусство быть вкусным», фонарь в виде настольной лампы; очаровательный «маленький принц», сидящий на верхней части полумесяца и тянувшегося к розе, на нижней части большая оса, соединяет части – фонарь; гостеприимная «печь» созывает всех голодных к себе, предлагая на столе дичь, рыбу и что-то там во флаге, явно с градусами, фонари все это освещали; «швейная машинка» предлагает любому желающему сесть на стул и продолжить начатое её дело – дошить брюки, а чтобы не портить глаза – сверху фонарь; усатый да весёлый городской «торговец» немного запрокинув голову назад, вместе с лежащим котом возле ног продает всем желающим горячие крендели возле фонаря, на который заранее деловито развесил сушеную рыбу, да бутылки с алкоголем.