Вопрос о перестройке Торговых рядов на Красной площади встал за тридцать лет до их торжественного освящения, в 1864 г. В 1869 г. был выработан устав общества городских Торговых рядов и подано в думу прошение об его утверждении за подписями купцов А. Поро-ховщикова и Н. Азанчевского. В прошении в числе прочих было предложение об устройстве посреди Ветошного проезда улицы, параллельной Красной площади. Однако соглашение между представителями общества и городской думой было достигнуто только в мае 1888 г. Сразу же после этого старые Торговые ряды, восстановленные по проекту О. И. Бове после пожара 1812 г., были закрыты, и на Красной площади были построены временные железные. Строительный комитет сформулировал требования к проекту здания, сводившиеся к следующему: пассажи должны удовлетворять всем требованиям современной торговли, и одновременно по своим архитектурным достоинствам они должны стать украшением города, памятником, достойным своего исключительного местоположения. С этой целью общество по постройке рядов объявило конкурс, создало представительное жюри, в состав которого входил и представитель Академии художеств. В результате объявленного 15 ноября 1888 г. конкурса к 15 февраля 1889 г. на имя жюри поступило 23 проекта из Петербурга, Москвы, Одессы, Берлина. Премии распределились следующим образом: первая — А. Н. Померанцеву, вторая — Р. И. Клейну, третья — А. Г. Веберу.
По проекту, удостоенному первой премии, началось строительство. Осенью 1889 г. были частично заложены фундаменты под новое здание, 21 мая 1890 г. заложен первый камень. В 1892 г. была окончена облицовка главного фасада, а 2 декабря 1893 г. состоялось торжественное открытие Верхних торговых рядов. За разработку и осуществление проекта этого здания Померанцев получил высшее академическое звание профессора архитектуры.
Здание Верхних торговых рядов вместе с сооружавшимся зданием Средних, недавно возведенным Историческим музеем и зданием Московской городской думы на Воскресенской площади (архитектор Д. Н. Чичагов) составило уникальный в своем роде ансамбль конца XIX века, выдержанный в «русском» стиле.
А. И. Померанцеву как автору проекта Верхних торговых рядов приходилось считаться не только с древними памятниками — собором Василия Блаженного и кремлевской стеной, но и законченным незадолго до того зданием Исторического музея. В отличие от музея Верхние торговые ряды выходили на Красную площадь продольным фасадом протяженностью 241,64 м. Анализ его композиции показывает, что архитектор учел все возможные связи своего сооружения с окружающими зданиями, особенности их взаимодействия и согласования в каждом отдельном случае. В этом ему помогло виртуозное владение приемами равномерной ритмической и симметрично-осевой композиции. Центральная трехэтажная часть здания находится на поперечной оси Красной площади, на которой расположены также Сенатская башня и купол Сената. Но если у Бове главная ось подчиняла себе остальные, то у Померанцева благодаря равномерности и развитости горизонтальных ритмов не столько фиксируется статичный центр, сколько выявляется подвижность композиции, возможность ее развития в одну и в другую сторону.
Эта внутренняя изменчивость и подвижность композиции Верхних торговых рядов определяет их уникальное качество. Здание по-разному выглядит с разных точек зрения в зависимости от того, с каким зданием оно согласуется и в каком окружении воспринимается. При взгляде в сторону Исторического музея обращает на себя внимание симфония башен, которая была много богаче полвека назад, в пору существования Иверских ворот и Казанского собора на углу Никольской улицы и Красной площади. Здесь как бы возрождается традиция древнерусского зодчества — непосредственное взаимодействие расположенных на расстоянии друг от друга башенных объемов. В первый период эклектики обращение к древнерусской градостроительной традиции трактуется буквально как возрождение силуэтности храмов, сооружаемых по преимуществу в «русском» стиле. Померанцев и Шервуд переосмысляют древний прием. Взаимодействие вертикалей и богатство пространственных связей достигается ими при сохранении принципов периметральной регулярной застройки.