В быту же вел жизнь скромного и тихого человека; любимыми развлечениями для него была опера и традиционные детективы (особенно Агаты Кристи); шпионские романы, за исключением разве что произведений Ле Карре, презирал — «таких шпионов ловили бы на третий день по дюжине». Соседи по большому дому, где у Харелов была скромная квартирка и рядом небольшой аккуратный садик, долго не знали о роде занятий Иссера и считали, что этот тихий и скромный чиновник находится под каблуком у своей шумной и энергичной Ривки.
Таким был человек, который превратил «Моссад» в одну из сильнейших разведок мира, а «Шин Бет» — в едва ли не самую эффективную контрразведку. Кроме того, он сумел достаточно серьезно изменить в пользу «своих» структур соотношение влияния различных ветвей разведывательного сообщества, прежде всего за счет военной разведки.
Недоверчивость и подозрительность Харела распространялась не только на «своих» и даже не только на израильтян, но и на партнерские организации. Англичан он вообще не очень любил (впрочем, кто из ветеранов «Хаганы» не разделял его чувства?) и считал и Форин Офис, и английскую разведку способными на любые происки. Что касается американцев, то Харел был уверен, что они по-настоящему не были заинтересованы в равноправном двустороннем сотрудничестве. «Знаю я этих янки, они хотели бы в одностороннем порядке получать информацию, которую раздобывает с таким трудом израильская разведка, и давать «взамен» лишь то, что считали нужным и выгодным для себя», но не для Израиля. Харел даже подозревал, что ЦРУ может организовать в стране заговор по типу того, что был осуществлен в 1953 году в Гватемале.
Но главный стержень его подозрительности был направлен против СССР. Он, сам выходец из России (кстати, в КГБ его называли по старой фамилии, Гальпериным), в молодости крайне левый, искренне сожалел, что не может «взять под колпак» «Шин Бет» всех эмигрантов с Востока (треть населения Израиля). Но старался следить со всей тщательностью по крайней мере за теми, кто проявлял какую-нибудь социальную или политическую активность, хотя предполагал, что многие и многие тысячи промышленных рабочих, мелких торговцев и жителей кибуцев усердно строчат донесения своим хозяевам в КГБ. Харел мог оценить достоинства своих противников и был уверен, что они имеют своих шпионов в Израиле. Иногда бдительность приносила плоды; так, например, Харелу удалось установить, что два заметных деятеля, члена левой партии «МА-ПАМ», являются советскими агентами.
Контрразведка установила, что эксперт партии «МА-ПАМ» по Ближнему Востоку Аарон Коэн регулярно встречается в Тель-Авиве с резидентом КГБ, который работал под прикрытием советского посольства и обладал дипломатическим статусом. В 1958 году Коэн был арестован. В суде обвиняемый признал встречи с советским дипломатом, но отрицал передачу ему секретной информации. Товарищи по партии «МАПАМ» встали на его защиту и обвинили Харела в фабрикации дела (такие обвинения звучали неоднократно и были в известной мере небезосновательны — Харел проявил себя выдающимся мастером интриги; надо отметить, что если он и устраивал инсинуации, то делал это безукоризненно). Коэн был признан виновным и осужден на пять лет лишения свободы; партайге-носсе подали апелляцию, по-видимому, небезосновательную — во всяком случае Верховный суд Израиля нашел возможным сократить этот срок наполовину.
Второй случай вошел в историю под названием «дела Беера». Контрразведка установила, что видный член партии «МАПАМ», подполковник Эзра Беер, который пользовался неограниченным доверием Бен-Гуриона и, по мнению Харела, находился в опасной близости к премьер-министру, работал на разведслужбу другой страны (до сих пор окончательно не выяснено, на какую именно, но предполагается работа на КГБ); во всяком случае, с точки зрения Израиля, он оказался предателем.