Идеалист с высокогуманными взглядами, Петр Петрович вступил во владение крестьянами. Эксплуататора из него не получилось, и очень скоро хозяйство Лойко пришло в полный упадок. Будучи знаком с правоведением, он был избран мировом судьей в городе Сватове, Харьковской губернии, и начал ездить по судебным делам во все южные городки и села. Произошло это в 1881 году, в самое тяжелое время, когда после убийства Александра Второго реакция подняла голову.
Оппозиционные настроения Петра Петровича приводили к тому, что все судебные дела он неизменно решал в пользу крестьян. Кончилось это печально. Однажды Петр Петрович сидел на речке и читал газету. Только собрался он искупаться, как вдруг подъехали жандармы, подхватили Петра Петровича под руки, посадили в арестантскую карету и увезли. И только газета осталась в траве шелестеть на ветру.
Вскоре Петра Петровича выслали за «неблагонадежность» в Холмогоры — на родину Ломоносова. К тому времени у него была уже большая семья — ничем не обеспеченных шестеро детей. Жена его — Виктория Тимофеевна — с помощью экономки Акулины Максимовны начала давать обеды и только этим кормила семью. Через полтора года все дети заболели свирепствовавшим тогда в Харькове брюшным тифом, трое из них находились при смерти.
Для «искоренения южнорусской крамолы» губернатором в Харькове был назначен пресловутый Лорис-Меликов. Вот к нему-то и отправилась Виктория Тимофеевна с просьбой освободить мужа, хотя бы для того, чтобы проститься с детьми. Лорис-Меликов разрешил возвратить Кончаловского из ссылки, но при этом добавил: «Я его возвращаю, хоть он такой вредный, что следовало бы его повесить!»
По возвращении в Харьков Петр Петрович еще долгое время оставался под полицейским надзором. Дети его, к счастью, остались живы.
Не было конца оптимизму Петра Петровича. В ссылке он изучил английский язык и сделал новые, полные переводы «Робинзона Крузо» и «Гулливера». Переводы были напечатаны, и с этого времени Петр Петрович, бросив все, с энтузиазмом занялся книгоиздательским делом. Вместе с французом, врачом Кервилли, он открыл в Харькове прекрасный книжный магазин, в котором можно было найти все новинки. Магазин стал очень популярным. Ведала делами магазина Виктория Тимофеевна. Семья Кончаловских материально встала на ноги. Но жандармерия усмотрела здесь вредное влияние революционной интеллигенции, и вскоре магазин был опечатан, доктор Кервилли выслан во Францию, а Виктория Тимофеевна арестована и заключена в харьковскую тюрьму.
Когда все это произошло, Милинйна (так прозвали дети Акулину Максимовну) привезла их в санях к тюрьме, на свидание с матерью. Они прошли гурьбой через тюремный двор, с ужасом глядя на заключенных в гремящих кандалах, которых проводили мимо, и попали в камеру к надзирателю. Два солдата ввели туда Викторию Тимофеевну, и все шестеро детей с громким плачем окружили ее и начали обнимать. Это была такая сильная драматическая сцена, что сам надзиратель не выдержал и стал громко сморкаться.
К счастью, через две недели Викторию Тимофеевну отпустили на волю, и она благополучно вернулась домой.
Виктория Тимофеевна родилась в польско-украинской мелкопоместной семье. В семье царили революционные настроения, вера в прогресс, в грядущую свободу, несущую народу счастье. Виктория Тимофеевна получила широкое образование, знала несколько языков. Встретивши Кончаловского в Петербурге, куда была послана родными заканчивать курсы, она нашла в нем воплощение своего идеала и вышла за него замуж. Вдвоем они создали в семье ту атмосферу, которая привлекала к ним интереснейших людей того времени.
Своим детям они прививали самые глубокие понятия о добре и справедливости. Вечные споры о литературе, искусстве, политике, беспощадная критика всего отсталого, реакционного, горячая защита прекрасного в речах отца очень рано пробудила в детях тяготение к высокому, умение отбирать лучшее, отделять главное от второстепенного, чтобы не засорять душу шелухой пошлости.
Чуть не с пеленок знали дети сказки Андерсена, Перро, затем романы Диккенса, Вальтера Скотта, а еще позднее — Жорж Санд, Лермонтова, басни Крылова и целые страницы из гоголевских «Вечеров на хуторе близ Диканьки». Рано познакомились с музыкой, живописью и скульптурой. Рано узнали они имя Чернышевского. Их трогала, заставляла трепетать полная героизма жизнь Желябова, Кибальчича, Перовской. А Веру Фигнер они видели у себя дома: Кончаловские неоднократно прятали ее от полиции. Однажды во время ночного обыска, когда весь дом был поднят на ноги и вся семья собрана в одну комнату, пока городовые обшаривали каждый уголок, один из них показал фотографию Веры Фигнер младшему в семье — пятилетнему Мите: «А ты, миленький, вот ту тетеньку знаешь? Ведь она приходит к тебе?!» Все застыли в ожидании, не смея поднять глаз на Митю. А он, строптивый по характеру, обозленный ночным вторжением городового, поглядел на него зеленоватыми глазами и вдруг крикнул: «Пошел вон, дурак!»