Колноберже было средним, скорее даже небольшим помещичьим имением площадью 835 десятин земли. Господский дом был выстроен в голландском стиле и использовался бывшими владельцами как охотничий домик. Он был небольшим по размерам, весь уместился бы в один флигель барского дома в Середникове. Слуги, сопровождавшие Столыпиных, говорили, что они словно перебираются из дворца в хижину. П.А. Столыпин и его брат вряд ли испытывали столь острое разочарование, как взрослые. Писатель Александр Солженицын в «Августе четырнадцатого» посвятил детству П.А. Столыпина следующие строки: «Главный узелок нашей жизни, все будущее ядро ее и смысл, у людей целеустремленных завязывается в самые ранние годы, часто бессознательно, но всегда определенно и верно. А затем – не только наша воля, но как будто и обстоятельства сами собой стекаются так, что подпитывают и развивают это ядро. У Петра Столыпина таким узлом завязалось рано, сколько помнил он, еще от детства в подмосковном Середникове: русский крестьянин на русской земле, как ему этой землею владеть и пользоваться, чтобы было добро и ему, и земле». Трудно поспорить с тем, что ранние годы многое значат для человека. С другой стороны, П.А. Столыпину было всего шесть лет, когда семья навсегда уехала из подмосковной усадьбы.
Следует признать, что для П.А. Столыпина родовым гнездом стало не подмосковное Середниково и не принадлежащие ему имения в Саратовской, Пензенской, Нижегородской губерниях, а литовское Колноберже. Он жил здесь с шести лет и потом приезжал почти каждое лето. Когда П.А. Столыпин стал главой правительства, жизнь в деревенской глуши изменилась. Рядом с домом размещалась охрана, сюда приезжали с докладами министры и другие высокопоставленные чиновники. В имение были проведены телеграфная и телефонная линия. Из Колноберже П.А. Столыпин отправился в свою последнюю поездку в Киев. Судьба имения оказалась куда печальнее, чем судьба усадьбы Середниково. В 1918 году националистическое правительство Литвы конфисковало Колноберже, очевидно, только по той причине, что оно принадлежало первому министру Российской империи. В имении размещалась колония для малолетних преступников. При советской власти там был детский дом, а сейчас имение находится в частных руках. От обстановки времен Столыпина ничего не сохранилось.
По соседству с Колноберже были владения польских помещиков, избежавших конфискации имений. Родители П.А. Столыпина не имели конфликтов с поляками, хотя еще до начала восстания в Польше генерал А.Д. Столыпин написал мелодраму «Софья», в которой все злодеи и негодяи были сплошь поляками. Цензор Иван Гончаров, автор «Обломова», запретил постановку этой пьесы за «чрезмерную патриотичность».
Петр Столыпин и его братья и сестра получили отличное домашнее образование. Александр Извольский, сверстник Столыпина, ставший министром иностранных дел в его кабинете, писал о домашнем образовании в дворянских семьях: «Как только я начинаю помнить себя, в доме моих родителей было постоянное пребывание самых разнообразных иностранных воспитателей: англичанок и француженок, английских и немецких учителей и гувернанток. Это являлось правилом для домов известного круга, и этим объясняется, что большое количество моих соотечественников, принадлежащих к этому классу, свободно говорит на иностранных языках. Французский язык был в употреблении не только при императорском дворе (в высшем обществе Петербурга и в кругах русской дипломатии вплоть до царствования императора Александра III вся дипломатическая корреспонденция велась на французском языке), но также и среди русского поместного дворянства. Я не вспоминаю даже, чтобы я писал когда-нибудь своим родным иначе, как по-французски». Характерно, что это был французский язык со старинными оборотами, который принесли в Россию эмигранты, бежавшие от Великой французской революции. Позже в гимназии Петр Столыпин имел «три» по русскому языку и «отлично» по французскому. Кроме французского он свободно объяснялся на немецком и английском.