Особенно осторожно Адамс выражал свое мнение по вопросу о рабстве. У него самого рабов не было, и ранее он не раз высказывался против использования рабского труда. Однако, имея в виду, что Вашингтон был рабовладельцем, и довольно крупным, Адамс на вице-президентском посту даже отрицательно оценил возможность отмены рабства в родном штате Массачусетс после внесения такого предложения. В политических кругах, однако, считали, что Адамс — человек «себе на уме». Не только республиканцы, но и федералисты относились к нему с известной долей недоверия.
Когда Вашингтон отказался от выдвижения своей кандидатуры на третий срок, федералисты вначале предполагали выдвинуть Гамильтона. Оказалось, однако, что эта кандидатура была неприемлемой в силу положений Конституции (Гамильтон не был урожденным американцем, он родился на острове Невис в Вест-Индии). В этих условиях оказывалось, что Джон Адамс — наиболее заметная фигура, которую могли выдвинуть федералисты, чтобы не допустить к власти республиканца Джефферсона. Адамса рассматривали как «меньшее зло».
Во время президентской кампании в противовес Адамсу республиканцы-демократы, как стали называть себя сторонники Джефферсона, выдвинули своего лидера. Джефферсон вел активную агитацию, тогда как Адамс в борьбе почти не принимал участия, в основном проводя время в своем доме в пригороде Бостона. Более того, он осуждал ожесточенные нападки друг на друга, на которые не скупились кандидаты на разные должности. Он даже заявил как-то, что в случае избрания будет «драться с обеими партиями и с каждой личностью, прежде чем определю свое понимание вещей — иначе я буду проституировать своим языком или пером, или и тем, и другим».
Эти президентские выборы были первыми, в которых исход не был предопределен заранее. В различных штатах они проводились в разное время с 4 ноября по 7 декабря 1796 г. Победил Адамс, но незначительным большинством: он получил 71 голос выборщиков, тогда как его главный соперник Джефферсон — 68. В результате Джефферсон стал вице-президентом. Это был один из немногих случаев в американской истории, когда была предпринята персональная попытка смягчить межпартийную борьбу путем сотрудничества двух лиц на высших исполнительных постах. Президент и вице-президент приступили к исполнению своих обязанностей 4 марта 1797 г. Эта дата в дальнейшем стала традиционной для инаугурации нового президента.
Однако серьезных результатов в примирении фракций добиться не удалось. Преобладание в Конгрессе федералистов привело к тому, что Адамс сохранил в основном прежний состав кабинета. С вице-президентом у него установились более или менее терпимые отношения, за что федералисты нередко его осуждали. Джефферсон лукаво признавал: «Сторонники Гамильтона, которые его [президента] окружают, лишь немногим менее враждебно относятся к нему, нежели ко мне».
Политическая жизнь страны в последние годы XVIII в. была заполнена острой, подчас истерической борьбой соперничавших группировок, фактически превратившихся в партии. Республиканцы-демократы обвиняли федералистов в том, что те — скрытые монархисты и даже британские агенты, готовые восстановить колониальный статус. Федералисты называли республиканцев анархистами и даже якобинцами, стремившимися установить в США режим террора по примеру французских якобинцев.
В этих условиях Адамс повел себя не лучшим образом. Молчавший при Вашингтоне, теперь он стремился выговориться, подчас не к месту, еще более настраивая против себя не только противников, но и однопартийцев. По признанию многих современников, он проявил себя скорее политическим аналитиком, чем практиком. Через много лет, в 1812 г., он признавал в одном из писем, значительно, впрочем, преувеличивая: «Я постоянно жил во враждебной стране». На словах президент критически относился к своим действиям, он даже как-то заявил: «Я всегда намечаю хорошие решения и никогда не выполняю их».