По возвращении из Персии Олеарий женился на Екатерине Мюллер, дочери ревельского магистратского советника Иоганна Мюллера. От нее он имел двоих детей: сына Филиппа-Христиана Олеария (род. 14 апреля 1658 г.), получившего в 1689 г. в Эрфурте степень доктора медицины, и дочь Марию-Елисавету (род. в 1640 г.), вышедшую замуж за Бурхарда Нидерштадта, советника при герцоге голштинском; она была известна благочестием, ученостью и поэтическими способностями; умерла она в Шлезвиге в 1686 г., потеряв за год перед тем свою единственную дочь, бывшую замужем за голштинским вице-канцлером Андреем Улкениусом.
Во всем, что нам известно о жизни Олеария, он выступает перед нами как человек далеко недюжинный. Этот порою кропотливый кабинетный ученый, возивший постоянно с собою часть своей библиотеки, там, где требовалось действовать, выступал как человек энергичный, твердый, правдивый и предприимчивый.
Он не отличался той суровостью натуры, как многие деятели XVII в. Некоторого рода чувствительная сентиментальность отличала, например, ту нежную дружбу, которая его связывала с поэтом Павлом Флемингом и с умершим в молодых годах фон-Мандельсло. Этот многосторонний человек, который, по словам Павла Флеминга, во время посольства был «правой рукою» послов и многое вынес на своих плечах, был до того скромен, что в историй посольства даже не упоминает о своих заслугах. Его наблюдательность и восприимчивость в достаточной мере отражаются в его книге. Менее отражается в ней его чуткость к красотам природы: как справедливо указывает Фр. Ратцель в своей биографии Олеария, «филологические и антикварные интересы заставляют его закрывать картины природы густою сетью цитат». В этих цитатах проявляется изумительная разносторонняя эрудиция Олеария и критическое чутье его. В общем он очень умело из разных мнений выбирает наиболее близкое к истине, хотя иногда и отдает дань своему веку, слишком доверчиво относясь к рассказам о знамениях и т. п. Речь его как нельзя лучше отражает и век, и автора. То она кудрява и напыщенна и блещет ученостью, то отличается суровой прямотой, искренностью, сжатостью и краткостью. Подобно большинству ученых XVII в., и Олеарий писал стихи и даже написал их довольно много, но поэтом он не может быть назван.