Теперь Коммунистическая академия разместилась удобно, а выросшая к тому времени библиотека, которая находилась еще в старом здании, на улице Фрунзе, оказалась в крайне стесненном положении: многие книги просто не выдавались из-за того, что невозможно было подступиться к стеллажам. В 1926 году академия возбудила по докладу библиотеки ходатайство об ассигновании ей средств для постройки специального библиотечного здания.
Было составлено несколько проектов, из них приняли проект С. Е. Чернышева. Снесли все старые строения, составлявшие часть бывшей усадьбы С. М. Голицына, кроме, разумеется, главного дома и двух флигелей, и жильцов переселили. Но библиотечное здание так и не было построено.
Структура Коммунистической академии несколько раз менялась, и к 1928 - 1930 годам вместо прежних секций были созданы институты истории, философии, экономики, а также литературы, искусства и языка и несколько научных обществ. В эти годы на Волхонке в главном доме помещались: президиум Коммунистической академии, ее хозяйственный и финансовый отделы, институты: аграрный, философии, истории, мирового хозяйства и мировой политики (директором был известный ученый академик Е. С. Варга), Институт по изучению высшей нервной деятельности (Институт мозга), которым с момента основания в 1918 году руководил В. М. Бехтерев. Но в здании на Волхонке он проработал очень недолго - 28 декабря 1927 года скончался. В некрологе А. В. Луначарский писал: «Он меня поразил прежде всего своей степенной красотой… К Советской власти Бехтерев сразу отнесся с той же степенностью и спокойствием… Бехтерев был прозорливым и, приехавши ко мне, с первых же слов сказал: «Считая, что Россия надолго, а может быть, и навсегда получает новый облик, хочу в этой новой России обеспечить продолжение развития той области, которой я отдал свою жизнь». Область, которой Бехтерев отдал свою жизнь, - это как раз работа над мозгом».
Здесь же, на Волхонке, находились секции: естественных и точных наук, кооперативная, теории и практики международного женского движения, по изучению проблем войны, экономическая. С секциями соседствовали общества: историков-марксистов, врачей-материалистов; в здании Коммунистической академии проходили заседания Общества статистиков-марксистов и Общества биологов-материалистов, состоящих также при академии. Наконец, на Волхонке, 14, находились издательство Комакадемии, редакции журналов «Историк-марксист», «Вестник Коммунистической академии» (в редколлегии М. Н. Покровский, О. Ю. Шмидт и др.), «На аграрном фронте», «Мировое хозяйство и мировая политика». В левом флигеле было общежитие аспирантов академии.
В 1936 году Коммунистическая академия была упразднена. К этому времени активизировалась и получила широкое развитие работа Академии наук СССР и параллельное существование двух академий (Комакадемия включала 21 институт) было признано нецелесообразным. Институты Коммунистической академии перевели в систему Академии наук. Часть из них осталась в доме № 14 на Волхонке. Так, с 1936 по 1960 год здесь работал созданный на основе Института истории Коммунистической академии и Историко-архео-графического института АН СССР Институт истории АН СССР. За эти годы его деятельность связана с именами таких выдающихся ученых, как Е. В. Тарле, Б. Д. Греков, С. Б. Веселовский, В. П. Волгин, Ю. В. Готье, Е. А. Космин-ский, Н. М. Лукин, А. М. Панкратова, С. Д. Сказкин, М. Н. Тихомиров, В. М. Хвостов, С. В. Бахрушин, С. К. Богоявленский.
С 1937 по 1953 год бессменным директором Института истории был выдающийся деятель советской науки академик Борис Дмитриевич Греков. В эти годы его наиболее плодотворной научной деятельности Б. Д. Грековым написаны самые крупные работы, из которых «Киевская Русь» по сей день является капитальнейшим трудом. Одновременно в 1946 - 1951 годах Б. Д. Греков был директором созданного в 1946 году Института славяноведения АН СССР (с 1968 г. Институт славяноведения и балканистики), находившегося тоже в доме № 14 на Волхонке. И там же помещался Институт истории материальной культуры АН СССР, директором которого в 1944 - 1946 годах тоже был Б. Д. Греков; в 1947 году на этом посту его сменил член-корреспондент АН СССР А. Д. Удальцов.