Помимо собрания русского искусства Павла Михайловича Москве была подарена и коллекция его брата Сергея Михайловича Третьякова (1834–1892), незадолго перед тем скончавшегося. Он собирал главным образом произведения западноевропейских художников середины и второй половины XIX века. Впоследствии картины из собрания С. М. Третьякова были переданы в Государственный музей изобразительных искусств имени А. С. Пушкина и Государственный Эрмитаж.
По решению Московской городской думы, под юрисдикцию которой перешла Галерея, П. М. Третьяков был назначен ее пожизненным попечителем.
Как и прежде, он пользовался почти единоличным правом отбора произведений, приобретая картины как на средства, выделяемые думой, так и на свои собственные, передавая их уже в качестве дара в «Московскую городскую художественную галерею Павла и Сергея Михайловичей Третьяковых» (полное название Третьяковской галереи в то время).
П. М. Третьяков неизменно заботился и о расширении экспозиции, пристроив в 1890-е еще восемь просторных залов.
Умер Павел Михайлович Третьяков 16 декабря 1898. Вскоре, в 1899-1900-х, опустевший дом Третьяковых был перестроен и приспособлен для нужд Галереи, а в 1902-1904-х весь комплекс построек объединен по Лаврушинскому переулку общим фасадом в виде древнерусского терема, возведенным по проекту В. М. Васнецова и придавшим зданию Галереи узнаваемость благодаря архитектурному своеобразию, до сих пор выделяющему его среди достопримечательностей Москвы.
После смерти П. М. Третьякова управлять делами Галереи стал Совет попечителей, избираемый думой. В его состав входили в разные годы известные московские художники и коллекционеры — В. А. Серов, И. С. Остроухов, И. Е. Цветков, С. А. Щербатов, И. Э. Грабарь. На протяжении почти 15 лет (1899–1913) бессменным членом Совета была дочь Павла Михайловича — Александра Павловна Боткина (1867–1959).
Третьяков-коллекционер был в своем роде личностью феноменальной. Многие современники отмечали безукоризненный художественный вкус этого потомственного купца. «Я должен сознаться, — писал в 1873 художник И. Н. Крамской, — что это человек с каким-то, должно быть, дьявольским чутьем». Братья Третьяковы получили обычное для своего времени и социального статуса домашнее образование, делавшее акцент на практических примерах ведения семейного дела. Но благодаря самообразованию они приобрели широкие познания, особенно в гуманитарных областях: живописи, литературе, музыке. «Третьяков по натуре и знаниям был ученый», — напишет о нем в 1902 в своей «Истории русского искусства» художник и критик А. Н. Бенуа.
Глубокое понимание прекрасного, тонкое чутье в выборе произведений и, конечно же, благородство намерений наградили Третьякова статусом самого уважаемого и непререкаемого ценителя искусства. Авторитет мецената обеспечил ему «привилегии», которых не имел ни один другой коллекционер: Третьяков обладал правом отбирать новые работы художников еще непосредственно в мастерских или на выставках до их публичного открытия. Негромко произнесенные Третьяковым слова, обращенные к художнику, — «Прошу Вас картину считать за мной» — становились для последнего равнозначными общественному признанию.
Значимость деятельности Павла Михайловича Третьякова еще при его жизни была высоко оценена современниками: художниками, критиками и историками искусства: «Без его помощи русская живопись никогда не вышла бы на открытый и свободный путь, так как Третьяков был единственный (или почти единственный), кто поддержал все, что было нового, свежего и дельного в русском художестве», — писал А. Бенуа. Об этом же говорил и М. Нестеров в своих воспоминаниях: «Не появись в свое время П. М. Третьяков, не отдайся он всецело большой идее, не начни собирать воедино Русское Искусство, судьбы его были бы иные: быть может, мы не знали бы ни „Боярыни Морозовой“ ни „Крестного хода…“ ни всех тех больших и малых картин, кои сейчас украшают знаменитую Государственную Третьяковскую галерею».
Размах собирательской деятельности и широта кругозора П. М. Третьякова были поистине грандиозны. Начиная с 1856 его Галерея ежегодно пополнялась десятками, а то и сотнями работ. Будучи деловым человеком, Третьяков не останавливался даже перед очень значительными расходами, если приобретаемое им произведение являлось безусловным шедевром или восполняло какие-то лакуны в поступательном движении национальной художественной культуры. Третьяков прекрасно осознавал, что создаваемый им по существу первый в России музей должен не столько отражать его личные пристрастия, сколько представлять историческую перспективу развития русского искусства.