Дом вскоре перешел к одному из ее сыновей, спасшемуся в горниле войны, Лаврентию Оберу. Он сдавал его под гостиницу, называвшуюся сначала «Север», а потом «Англия». В ней, как сообщал «Указатель зданий города Москвы» 1826 г., «нумера расположены спокойно, вины и стол хороши». В гостинице несколько раз останавливался в 1828–1832 гг. А. С. Пушкин. Тут он работал над такими шедеврами, как «Кавказ», «Монастырь на Казбеке», «К бюсту завоевателя», «Дорожные жалобы» и др. В этом доме 29 марта 1829 г. последний раз встретились два великих славянских поэта — Александр Пушкин и Адам Мицкевич. В память этого события 21 июля 1956 г. была установлена мемориальная доска скульптора М. И. Мильбергера с горельефами беседующих поэтов и строками из их стихотворений:
Владелец дома Л. Обер был хорошо знаком с Пушкиным. В своих воспоминаниях, опубликованных в 1880 г., он рассказал о встречах с ним у себя и в салоне княгини Зинаиды Волконской, неподалеку, в доме на углу Тверской и Козицкого переулка.
Дом стоит на земле усадьбы князя И. А. Вяземского (деда известного поэта Петра Вяземского), который продал ее за 25 тысяч рублей жене статс-секретаря Г. В. Козицкого Екатерине Ивановне, обладавшей несметным состоянием. Она происходила из семьи уральских владельцев горных заводов Твердышевых. Богатство их, по преданию, началось от 500 рублей, подаренных Петром I трем братьям, крестьянам Твердышевым, перевозившим его через Волгу. «Шли бы вы промышлять на Урал, — сказал им Петр, — посмотрели бы вы, что делает там у меня Демидов». Так или иначе, но документально известно, что Твердышевы в компании с их родственником Иваном Мясниковым строят на Урале несколько заводов и становятся богачами. В конце XVIII в. все их состояние переходит к четырем дочерям одного из них. Каждой достается по два завода и по 19 тысяч крепостных, не считая денежных капиталов.
Муж Екатерины Твердышевой Григорий Васильевич Козицкий учился в Киевской духовной академии, Лейпцигском университете, был одним из образованных людей своего времени, знатоком древних и новых языков. Козицкий, рекомендованный императрице Екатерине братьями Орловыми, был назначен статс-секретарем при принятии прошений, помогал ей в переводах и заведовал ее литературными делами. Он пользовался репутацией тонкого стилиста, много переводил и издавал, его основным трудом был прозаический перевод «Метаморфоз» Овидия, получивший высокую оценку современников. Он кончил жизнь самоубийством: по «причине меланхолии» закололся ножом, нанеся тридцать две раны. Отпевали его в соседней церкви Григория Богослова в 1775 г. Его дочери известны в истории русской культуры: старшая, Александра, в замужестве графиня Лаваль, славилась своим светским салоном в Петербурге, ее дочь Екатерина стала женой декабриста С. П. Трубецкого и последовала за ним в ссылку, младшая, Анна, вышла замуж за князя А. М. Белосельского-Белозерского.
Вдова приобрела участок с каменным домом 27 мая 1787 г. и тогда же заказала архитектору М. Ф. Казакову построить в габаритах старого каменного дома, возведенного еще в 1776 г., новый дворец, законченный после 1791 г. (план нового строения был датирован 25 января 1791 г.).
Дом был великолепен и внутри и снаружи. Интерьеры были так роскошны, что это обстоятельство послужило причиной отказа университетских властей от найма его для размещения студентов и профессоров после пожара 1812 г., когда собственный дом университета на Моховой стоял обгорелым и закопченным остовом. Как писал ректор университета И. А. Гейм о доме Козицкой, только нижний его этаж «по простой своей отделке был бы способен для помещения в нем университетских студентов и кандидатов», а второй этаж «отделан так богато и убран так великолепно, что никаким чиновникам, а того менее студентам, в оном жить никак не можно, чтоб не испортить штучных полов и штофных обоев, огромных дорогих трюмо и прочее…».
После Козицкой дом перешел к ее дочери, княгине А. Г. Белосельской-Белозерской. Ее падчерица княгиня Зинаида Волконская жила в этом доме — «известная в свое время красавица, женщина очаровательного ума, блестящих художественных дарований, друг Пушкина, Мицкевича, Гоголя, Шевырева, Веневитинова, она оставила след в истории нашего художественно-литературного развития», — пишет о ней князь С. М. Волконский.