Чтобы спасти город от полного запустения, в 1789 году Феодосии были предоставлены права порто-франко — беспошлинной торговли, а жителям города — многие преимущества. Это способствовало быстрому восстановлению города.
Семья Айвазовских жила бедно. Их домик стоял на окраине города, на одном из возвышенных отрогов горы Тепе-Оба, амфитеатром сбегающей к морю. С порога дома открывалась широкая панорама на город и порт. В ясные дни был хорошо виден Керченский полуостров и далеко уходящие на север крымские степи.
В те годы по остаткам крепостных стен легко читались границы средневековой Кафы, была ясно различима цитадель крепости, стоящая на прибрежном холме, опоясанном дополнительным кольцом стен и башен. В развалинах города ещё было много древних архитектурных памятников. На маленьком плато, находящемся за наружными крепостными стенами цитадели, к югу от неё, стояли развалины двенадцати греческих и армянских церквей. Неподалёку белели минареты трёх мечетей, а на центральной городской площади стояла большая облицованная мрамором мечеть и мраморные бани, богато украшенные резными орнаментированными плитами. Эту мечеть и бани построил в XVI веке выдающийся архитектор Коджа-Синан, присланный в Феодосию из Константинополя.
На площадях стояли древние фонтаны или колодцы. В старину, как и сейчас, панорама Феодосии не была внешне эффектной, зато ни в каком другом крымском городе так остро не ощущалось захватывающее чувство простора морской и степной безбрежности, высоты и глубины напоённого солнцем неба. Всё это в раннем детстве впитал в себя Айвазовский; чувство необъятности природы, мощи стихий органически вошло в его восприятие мира и стало впоследствии основной чертой его искусства.
В начале XIX века в Феодосийский порт постоянно приходили итальянские, греческие торговые шхуны и турецкие фелюги за крымской пшеницей и дорогими сортами солёной рыбы. В порту и на феодосийском рынке звучала чужестранная речь. Город быстро застраивался и приобретал интернациональные черты. Это отражалось на характере его построек и планировке города, поделённого на районы — слободки. Их было несколько — армянская, караимская, греческая, цыганская, татарская, немецкая и др. Порт и базар стали центром города, где формировалась его общественная и деловая жизнь.
К. Г. Айвазовский, знавший шесть иностранных языков, был назначен базарным старостой, и, таким образом, его семья была в курсе не только городской жизни, но и событий, происходивших в соседних странах. Когда в 1825 году в Греции вспыхнула освободительная война против турецкой деспотии, отголоски её быстро докатились до Феодосии, и не только в виде народной молвы. Сюда доходили из Греции иллюстрированные издания, в которых восхвалялись подвиги народных героев. Они оставили самые яркие впечатления у будущего художника. В глубокой старости И. К. Айвазовский рассказывал: «Первые картинки, виденные мною, когда во мне разгоралась искра пламенной любви к живописи, были литографии и гравюры, изображающие подвиги героев в исходе двадцатых годов, сражавшихся с турками за освобождение Греции; к первому моему ребяческому лепету примешивались имена народных героев — Баболины, Канариса, Миаули и других».
Борьба небольшого греческого народа с сильной в военном отношении Турцией, варварски подавлявшей всякую попытку к сопротивлению, вызывала глубокое сочувствие всего прогрессивного человечества.
В детской памяти Айвазовского глубокий след оставили рассказы о Наваринской битве, о подвиге брига «Меркурий», выигравшего бой с двумя большими турецкими кораблями.
Часто в Феодосийский порт заходили военные корабли Черноморского флота. И надо представить восторг одарённого юноши при виде удивительно красивых парусных судов, когда они стояли с убранными парусами на штилевом море, стройные, чем-то напоминающие диковинные музыкальные инструменты. С раннего детства он полюбил воздушную лёгкость их силуэтов, и они навсегда стали одним из необходимых элементов в композиции многих его картин.
Много ярких впечатлений выпало на детские и юношеские годы Айвазовского. Они формировали, обогащали его детское сознание и настолько глубоко врезались в память, что он часто возвращался к ним в своих творческих замыслах.
Несмотря на тяжёлое положение семьи, одарённый Ваня Айвазовский в 1831 году был определён в симферопольскую гимназию, а в 1833 году по представленным гимназическим рисункам зачислен в пейзажный класс Академии художеств, которым руководил профессор М. Н. Воробьёв. Одновременно он работал и в классе батальной живописи у А. И. Зауэрвейда и по распоряжению академии делал подсобные работы для известного французского мариниста Филиппа Танера, выполнявшего большой заказ Николая I.