Мать Чайковского Александра Андреевна была музыкально одаренной, играла на оркестрине (музыкальный инструмент типа клавесина), устраивала домашние вечера, на которых пела приятным грудным голосом под собственный аккомпанемент. Илья Петрович увлекался игрой на флейте, но быстро охладел.
Первый ребенок Ильи Петровича от второго брака – Николай, в будущем горный инженер, родился в 1838 году (1838–1911). В дальнейшем дети рождались через каждые полтора-два года: в 1840 году – Петр, будущий композитор, в 1842 году – дочь Александра (1842–1891), в замужестве Давыдова, в 1843 году Ипполит (1843–1927), в будущем генерал-майор от адмиралтейства, член правления Русского общества пароходства и торговли. Через 7 лет в 1850 году, когда Илье Петровичу было 55 лет, родились близнецы – Модест (1850–1916) и Анатолий (1850–1915). Двойня была разнояйцовой, и потому они не имели сходства ни внешнего, ни по характеру, но всю жизнь был дружны между собой.
Семья Чайковских жила в небольшом уютном городке Воткинске Вятской губернии. В воспитании детей большой строгости не было, но излишние шалости не допускались: мать была педантичной, любила порядок и аккуратность. Они с раннего детства находились на попечении нянюшек и гувернанток, а позже – учителей. Илья Петрович детей очень любил и даже баловал, задаривал их игрушками и сладостями, но развлекательными играми с ними мог заниматься только в свободное от работы время.
В 1844 году, когда Петру (в семье его называли Пьер) исполнилось 4 года, в доме появилась молодая гувернантка – 22-летняя Фанни Дюрбах (1822–1895). Она была любимицей в семье Чайковских, в которой ее приняли, как родную дочь. Она оказалась коммуникабельной, быстро освоилась с обстановкой и почти с первых дней пребывания приступила к своим обязанностям. Помимо гувернантки с детьми занимались и учителя.
Для детей в состав учебных предметов, помимо грамматики, арифметики, истории и географии, входили уроки танцев, музыки, немецкого и французского языков. Итальянский и английский языки Петр начал изучать уже в зрелом возрасте самостоятельно. Детей с раннего детства приучали относиться к любому делу ответственно и добросовестно. Позже Фанни Дюрбах писала: «Госпожа Чайковская была щепетильнее меня во всем, что касалось деликатности и совести… Она требовала от своих детей абсолютной прямоты». По описаниям Фанни, дети в свободные часы выходили на балкон второго этажа и любовались открывавшейся перед ними панорамой. С балкона был виден пруд, на котором «качались челны рыбаков», и дети слушали их грустные песни».
Вечером Фанни, по ее словам, «собирала своих птенцов вокруг себя», и они проводили время «в чтении и беседах». Свободные часы по ее настоянию они проводили «в телесных упражнениях: в веселых играх во дворе или в комнатах». Петр «был старательный и понятливый, впечатлительности его не было пределов, обидеть, задеть его мог каждый пустяк, это был стеклянный ребенок» (Фанни Дюрбах). Выговоры и замечания «глубоко западали у него в душу, и при малейшем усилении строгости расстраивали так, что становилось страшно» (Дюрбах).
Родители придавали значение религиозному воспитанию детей. Петр любил слушать церковное пение, часто присутствовал на богослужениях. Он ничем не выделялся из общей массы детей, с которыми бегал и резвился во дворе и в саду. Рано научился плавать. Любил прогулки по окрестностям Воткинска, на которые дети после занятий отправлялись в каретах или пешком в сопровождении гувернантки. Собирали цветы, наблюдали вечерний закат солнца, которым всегда восторгалась Фанни. «Я никогда не видела такого красивого захода солнца, как в России, когда небеса покрывались изумительно яркими красками», – вспоминала она позже.
Дети были в восторге от таких коротких прогулок. Сердце маленького Пети замирало в восхищении от красоты окружающего мира. Он отличался от других детей легкой ранимостью и, по словам Фанни, «обходиться с ним нужно было очень осторожно». Он был восприимчив к обидам, на которые реагировал слезами. Они были его защитной реакцией и одновременно протестом против неприятных для него замечаний.
Петр был мягкий и кроткий, имел чувствительное сердце и проникался жалостью к тем, кого оскорбляли. «Все слабое и несчастное имело в нем горячего защитника», – вспоминала Фанни. Узнав, что дворовые люди хотят утопить котенка, спас ему жизнь, о чем с сияющим лицом сообщил отцу, вбежав в комнату, где он «проводил совещание с деловыми людьми» (Фанни). Это была первая крупная победа его милосердия над человеческой жестокостью.