Так С. Грушевський опинився у Холмі. Він приїхав туди в 1865 році, щоб викладати в уніатській гімназії. У цей же час в місті відкрилися педагогічні курси, і Сергій Федорович став їх директором.
Через рік, 17 вересня 1866 року (29 вересня за новим стилем) в нього народився перший син – Михайло. Хлопчика похрестили у православній церкві Св. Іоанна Богослова (до речі, на сьогодні це єдина діюча церква у Хелмі). Хрещеними батьками маленького Михайлика стали Юлія Лебединцева з відомого київського роду Григоровичів-Барських та Федір Кокошкин, комісар у селянських справах у Красноставі, місті біля Холма.
«Сім’я, з котрої походила моя мати, була теж духовна, але іншого складу, ніж батькова, – писав Михайло Сергійович у своїх спогадах. – Вона була з західної Київщини, і глибока різниця між київським Подніпров’ям, козацько-гайдамацьким, що вело неустанну боротьбу з польським пануванням, і Київщиною західною, що пасивно і більш-менш покірно зносила се панування, відбивалась також на фізіономії обох сих родів.
Дід мій Захарій Іванович походив з дуже многолюдної родини, котрої гніздо, здається, було в Сквирськім повіті. […] Були се люди, очевидно, здібні й енергійні. Дід мій скінчив семінарію, коли се ще було великою рідкістю, визначався любов’ю до книги, особливо любив історію України; виявляв певний український патріотизм і неохоту до Великоросії, критично дививсь на правительство, але боявся всякої політики […] дуже сильно. Замолоду, як оповідала бабка, був дуже худий і зомлілий, терпів на болі голови і приливи крові, аж згодом увійшов у силу. Я пам’ятаю його величавим сильним старцем, гарним з себе, трохи орієнтальним в типі.
Навпаки, бабка моя мала характер легкий, трохи амбітний, завсіди привітний і погідний, людина була дуже розумна, тактовна й хазяйновита, невеличка собою, при тім, певно, колись дуже гарна, жвава й непосидюща настільки, наскільки був нерухливий і маєстатичний в своїм поводженні дід. Освіту мала вона «домашню», трохи з польським відтінком».
Мати М. С. Грушевського Глафіра Захаріївна дуже вплинула на його розвиток. Михайло зізнавався: «Я думаю, що я дуже багато одідичив від матері в своїй психіці – хоч завсіди почував себе ближче з більш одвертим і експансивним батьком. Певна психічна неурівноваженість в моїй вдачі, ся прикмета, що я в кожній хвилі, в кожній стадії мого життя мушу мати перед собою якусь мету, котрій мушу віддаватись ціло і без останку, доводячи свої сили до крайнього напруження, до самозабуття, і тільки тоді чую себе нормально, коли можу без перешкоди віддаватись досягненню сього завдання, се те, в чім я бачу психіку моєї матері, тільки загострену ще більше, ніж у неї. Потреба в якихось сильних відчуваннях, не стільки радісних, скільки болісних, – котрі моя психіка творить навіть з приводів маловажних, коли нема важних, – в сім я теж пізнаю психіку матері».
Дитинство Михайла було щасливим. Він почав себе пам’ятати доволі пізно: спомини його починаються, коли йому минуло чотири роки. «Оповідання батька зрештою представляли мене як “дотепну” і доволі спокійну дитину. Між іншим, він згадував, як я припрошував якусь няню до їдження словами: “Тьотю, кусь кась”, що означа: “кушай кашу”.»
Михайло не багато знав про перебування своїх батьків у Холмі: батько не дуже оповідав про це, мабуть, не дуже приємним було це життя. «Кругом окружала різноплеменна неприхильна до сих пришельців-обрусителів людність, – згадує Грушевський. – Зближались до них люди безхарактерні, кар’єристи «без гідності». Тону, близького місцевому народові, не вміли взяти. В колонії їх, видимо, йшли інтриги. В додатку тамошній клімат для батька показавсь нездоровим. У нього почалась хвороба горла, початки горляних сухот: голос пропав, він не міг не тільки викладати, але навіть говорити, і нарешті лікарі йому порадили, коли хоче зістатись при житті, покинути сей вогкий і болотистий край та шукати десь прожитку на полудні. Перевестись не вдавалось. По чотирьох роках тутешньої служби батько подав в одставку та рішив поки що вернутись до тестя. В дорозі моїх батьків спіткала велика неприємність. Весь домашній скарб, посланий осібно, пропав в дорозі. І так по чотирьох роках після весілля батько мій мусів з сім’єю просити пристанища у тестів, без служби, без здоров’я і без всякого господарства. Се був доволі сумний епізод в його житті, про котрий він якось ніколи не оповідав мені».