В конце XIX века в «Эрмитаже» собиралась вся московская знать, организовывались шикарные банкеты. П. Д. Боборыкин в шутку заявил, что в Москве есть лишь три культурных центра: Московский университет, Малый театр и ресторан «Эрмитаж». Публика здесь бывала самая разная: профессура, дворяне, купцы, офицеры, представители богемы и всевозможные знаменитости. Завсегдатаев принимали с высокими почестями. Здесь, в зале «Эрмитажа», отмечал свадьбу знаменитый композитор П. И. Чайковский. Здесь давали банкет по случаю столетия со дня рождения А. С. Пушкина, чествовали И. С. Тургенева и Ф. М. Достоевского. В 1902 году в «Эрмитаже» труппа МХТ и Максим Горький отмечали премьеру спектакля «На дне».
Очень скоро «Эрмитаж» стал культовым местом дореволюционной Москвы. Место лукулловских завтраков-обедов и застольных бесед, эталоном шика и роскоши. Здесь просаживали огромные деньги молодые купчики и заграничные коммерсанты, промышленники и артисты. Ресторан был очень удобным еще и потому, что, помимо залов, имел отдельные кабинеты, в которых можно было поиграть в карты или скрытно погулять. Их снимали либо важные чиновники для решения приватных деловых вопросов, либо богатые провинциальные посетители, которые хотели расслабиться на полную катушку, не думая о правилах хорошего тона.
Согласно легенде, в одном из таких кабинетов богатые пьяные посетители съели знаменитую дрессированную «ученую» свинью. В хмельном угаре они на спор выкупили «артистку» из московского цирка, принесли в ресторан и устроили ее торжественное поедание. Громко, с широкой оглаской, чтобы всем показать свою «крутость». Однако случился конфуз: хрюшка оказалось простой, необразованной, ее продал им хитрый клоун Танти под видом своей талантливой «артистки».
Как раз к этому времени относятся знаменитые сцены со швырянием «Вдовы Клико» в зеркала, купанием хористок в шампанском и «хождением по мукам». Во время шумных загулов посетителей в «Эрмитаже» у местных городовых было негласное правило не вмешиваться в то, что происходит внутри, ведь очень часто героями дебошей в ресторане оказывались самые высокопоставленные и важные чины.
Особенно шумно было здесь в Татьянин День, 25 января, когда в ресторане гуляло московское студенчество, а также педагоги и профессора. Полы в ресторане к этому дню застилали соломой, дорогую посуду со столов убирали. Роскошную мебель заменяли на деревянные столы и лавки.
По словам очевидцев, сначала исчезало вино и закуска. Потом водка и пиво. Поднималась невообразимая кутерьма. «Было так весело, что „один студиоз от избытка чувств выкупался в резервуаре, где плавают стерляди…“». Воцарялась беспредельная свобода. И студенты, мешая горячительные напитки, демократично братались с профессорами и дружно кричали: «Долой самодержавие!». Полиции в этот день предписывалось соблюдать политический нейтралитет. Именно здесь появилась традиция в Татьянин день писать мелом на спине пьяного студента его домашний адрес, а затем усаживать его на извозчика.
Со временем ресторан расширился. Помимо шикарных бань и гостиницы здесь появились зимний и летний сад, дом с номерами свиданий. В начале прошлого века здание «Эрмитажа» перестроили по проекту архитектора Ивана Бони. После революции ресторан закрылся, в здании размещались различные учреждения. Во времена нэпа «Эрмитаж» попытались реанимировать, но это был уже не тот «музей еды». Блюда, хотя и именовались прежними названиями, но по вкусу и близко не напоминали оригинал. Как писал Гиляровский, знаменитые котлеты «Помпадур» готовили «на касторовом масле», а оливье – «из огрызков». Вскоре ресторан закрыли, а в его здании устроили «Дом крестьянина».
В начале XX века многие известные трактиры превратились в рестораны. Например, купец Тарарыкин перестроил трактир «Прага» в первоклассный ресторан. В самом начале своей истории, в 70-е годы XIX века, «Прага» был обычным трактиром, который посещали в основном извозчики с Арбатской площади. Они-то и переделали благозвучную «Прагу» в знакомую русскому уху и чуть фамильярную «Брагу».
Согласно легенде, в 1896 году купец Семен Тарарыкин выиграл это заведение у хозяев в бильярд. Предприимчивый купец прекрасно понимал, какой райский уголок ему достался: аристократический Арбат, Бульварное кольцо, Поварская улица. Именно поэтому здание было решено переделывать под аристократическую публику, превратив его в роскошный ресторан. Перестройкой дома занимался известный архитектор Лев Кекушев, который в то же самое время занимался строительством другого ресторана – при гостинице «Метрополь». Здание надстроили, расширили и даже устроили на крыше зимний сад.