Поднакопив деньжат, семейство Харитоненко, в котором родилось 10 детей, перебралось в Сумы, где с 1849 года Герасим уже значится купцом 3-й гильдии. Здесь в 1822 году у них родился восьмой ребенок – Иван. Именно он и стал основателем фамильного дела.
Однако поначалу Герасим Емельянович больше надежд возлагал на сына Матвея, который был на восемь лет старше Ивана. Проявлявший неплохие способности к коммерции юноша вслед за отцом получил возможность записаться в гильдию купцов, но вскоре умер. По архивным документам пока не удалось установить ни дату его кончины, ни причину, по которой он ушел из жизни в расцвете лет, и даже могила его на Петропавловском кладбище Сум не сохранилась.
После смерти Матвея место брата в семейном деле пришлось занять Ивану. Надо сказать, что он с детства вместе с братьями и сестрами помогал родителям по дому и в лавке. Учиться основательно ему не пришлось: все его образование ограничилось церковноприходской школой. Отсутствие специальных знаний Иван восполнял практическими навыками в области коммерции, схватывая на лету все новшества торгового дела. Сообразительный и предприимчивый от природы мальчик порой лучше родителей ориентировался в закупке ассортимента товаров и возможностях увеличения прибыли. Свой тернистый путь на поприще торговли он начал уже в конце 1840-х годов. Хорошей школой коммерческой подготовки стала для Ивана служба в бакалейной лавке курского купца Худокормова. После нескольких лет работы у него молодой Харитоненко стал конторщиком у торговца мануфактурой Гладкова. Здесь он получил возможность разъезжать по украинским ярмаркам, знакомиться со многими деловыми людьми и заключать с ними торговые договоры. Вероятнее всего, именно в это время у Ивана зародилась идея самому стать хозяином. Но главную роль в выборе им своего пути, по признанию Харитоненко, сыграл московский купец А. Монаков, с помощью которого он сделал первые шаги по закупке и продаже сахара.
Для того чтобы увеличить возможности и потенциал своих начинаний, Иван Герасимович, который уже значился в документах как купец 3-й гильдии, решил открыть свое дело в уездном городе. Наиболее подходящими для этого он посчитал Сумы, которые в экономическом отношении являлись «важнейшим после Харькова городом по торговле». Ведь здесь в середине XIX века ежегодно проводились три крупные ярмарки (например, Введенская имела оборот около одного миллиона рублей), на которых производилась в основном оптовая торговля теми же товарами, что и в Харькове. Значительную часть торговых операций составлял сахарный песок, вывозимый в ближайшие губернии, а также в Киевскую и Московскую, для очищения и дальнейшей переработки в рафинад. Вот почему в 1849 году Иван Герасимович переехал в Сумы, где вместе с обоянским купцом И. Сухановым открыл бакалейную лавку. Их общий капитал тогда составлял около 10 тысяч рублей. Партнеры имели право торговли по всему государству. Вскоре Харитоненко стал купцом 2-й гильдии, купил собственный дом и женился на дочери местного купца И. О. Скубенко, но через несколько месяцев овдовел. В 1852 году он снова вступил в брак. Его женой и верной спутницей до конца жизни стала купеческая дочь Наталья Максимовна Лещинская. 5 января 1853 года в их семье появился долгожданный сын Павел.
Вскоре по примеру А. Монакова Харитоненко начал заниматься скупкой и перепродажей сахара. Его главными клиентами стали петербургские купцы, братья Григорий и Степан Елисеевы. Убедившись в прибыльности нового дела, он делает первые шаги в области производства сахара, арендуя у помещиков сахарные заводы в с. Старом (теперь с. Червонное на Сумщине) и в с. Ульяновка. Дела на втором из них сразу пошли успешно: в 1864 году там было переработано около 400 тысяч пудов сахарного песка. А вот незастрахованный завод в с. Старом вскоре сгорел дотла – вместе с произведенной продукцией и только что завезенным оборудованием. Перед бушующей стихией огня не устояли даже стены… Потери начинающего сахарозаводчика были так велики, что над ним нависла реальная угроза банкротства. Но ему оказали поддержку московские и петербургские купцы, которые были уверены в честности Харитоненко, его порядочности и коммерческом таланте. Да и сам погорелец, не привыкший отступать перед трудностями и уверенный в перспективности своего дела, быстро нашел выход из этой сложной ситуации: он взял в банке кредит под большие проценты и на эти деньги скупил сахар всех заводов от Сум до Белгорода и Харькова. Получив прибыль от его продажи, которая вдвое превысила первоначальные затраты, Иван Герасимович не только смог вовремя выплатить кредит, но и вложить деньги в новые предприятия.