Место, где родился будущий писатель, считалось чуть ли не самым печальным в старой Москве. Еще в начале XIX века на этой московской окраине располагалось кладбище, где хоронили отвергнутых обществом людей – самоубийц и преступников. Бедное кладбище называли «убогим домом», а его хранителей – «божедомами». Неподалеку от погоста находился приют для умалишенных. В 1806 году здесь по проекту архитектора Жилярди было выстроено великолепное здание, которое отвели под больницу для бедных. Казенная квартира Достоевских, располагавшаяся во флигеле, была мрачноватой и не слишком просторной – три небольших комнаты и кухня с русской печью, так что семье, со временем разросшейся до девяти человек, приходилось тесниться. Полутемную детскую занимали старшие братья – Михаил и Федор, младших поместили прямо в спальне родителей, отделенной дощатой перегородкой от зала – единственной вместительной и светлой комнаты в доме. Но все же Достоевские не бедствовали. Отец семейства имел частную практику и заботился о благосостоянии своей семьи. В доме прислуживали няня, горничная; были кухарка, кучер и лакей; а когда в семье появлялся новорожденный, ему нанимали кормилицу.
По одному из предположений, Федор Достоевский произошел по отцовской линии из пинской шляхты, чье родовое имение Достоево в XVI–XVII веках находилось в Пинском уезде Великого княжества Литовского (ныне Ивановский район Брестской области, Белоруссия). Это имение 6 октября 1506 года за заслуги получил во владение Данила Иванович Ртищев. С этого времени Ртищев и его наследники стали именоваться Достоевскими. Достоево – первое родовое гнездо Достоевских. Потом будут Клечковцы, Янушполь и Войтовцы, где родится отец писателя Михаил Андреевич. Мать Мария Федоровна (в девичестве Нечаева) происходила из старомосковского купеческого рода. У нее была зажиточная московская родня. Особенно богата была ее сестра, тетка писателя, Александра Федоровна Куманина. «Покойная тетка, – вспоминал Ф. Достоевский, – имела огромное значение в нашей жизни с детства до 16 лет, многому она способствовала в нашем развитии». Уже после смерти Марии Федоровны бездетные Куманины взяли опекунство над детьми Достоевских. Они помогли воспитать сестер Федора Михайловича, всех их выдали замуж, обеспечив достойным приданым. Сам же Федор Достоевский в 1844 году получил от своих родственников Куманиных долю наследства, которая помогла ему оставить службу и заняться писательством.
В большой семье Достоевских кроме двух старших сыновей росло еще пятеро детей – Варвара (1822–1893), Андрей, Вера (1829–1896), Николай (1831–1883) и Александра (1835–1889). Федор был особенно дружен со своим старшим братом-погодком Михаилом, с ним его всю жизнь связывали близкие, теплые отношения. Детей в семье Достоевских никогда не баловали, держали в строгости, приучая к такой жизни, «в которой исполнение обязанностей и отсутствие прихотей стоит на первом плане». Их никуда не пускали одних, заставляли уходить в школу и возвращаться строго по часам, никогда не давали ни копейки карманных денег. Кроме того, дети росли исключительно в кругу семьи, не имея друзей и не зная, что делается за больничными стенами. Все это впоследствии печальным образом отразится на «взрослой» жизни Достоевского, характер которого и без того был непростым. Недоверчивый, очень требовательный к себе и другим, до крайности обидчивый, раздражительный и самолюбивый, он был малопригоден для товарищества и дружбы.
Отец семейства Михаил Андреевич терпеть не мог детских шалостей и предпочитал, чтобы его дети постоянно занимались каким-нибудь полезным делом – читали книги, изучали иностранные языки, готовили уроки. Он был образованным человеком и неплохим семьянином, но обладал вспыльчивым характером, был мнительным, болезненно подозрительным, самолюбивым и властным. Семья жила в довольно суровой обстановке, над которой «постоянно витал угрюмый дух отца».
Любовь Достоевская, дочь писателя, в своих воспоминаниях характеризовала деда как «очень своеобразного человека». «Пятнадцати лет от роду он вступил в смертельную вражду со своим отцом и братьями и ушел из родительского дома», – писала она. Родители готовили его к духовному званию, но, бросив Каменец-Подольскую семинарию, Михаил Достоевский отправился в Москву изучать медицину. С тех пор он никогда не говорил о своей семье и никогда не упоминал о своем происхождении. И только уже в 50-летнем возрасте, как полагает внучка, он стал испытывать угрызения совести, что бросил отчий дом.