Отец Хаджи Димитра, владелец заезжего двора в Сливене, вместе со всей семьей совершил паломничество в Иерусалим, когда Димитру было три года. Хаджи Димитр был сильный, красивый человек, со светлыми волосами и голубыми глазами, скромный и правдивый, горевший любовью к своему народу и принимавший близко к сердцу все, связанное с его освобождением. Ребенком он уводил товарищей в Стара-Планину, к возвышавшимся над городом скалам, известным под названием Синие Камни. Там они пели бунтовщические песни и играли в войну, подражая ученьям турецких солдат, а иногда устраивали драки с турецкими мальчишками. Главу семьи то и дело вызывали в церковный совет отвечать за поступки сына перед отцами города и чорбаджиями. Однажды маленький Димитр просунул голову в окно комнаты, в которой собрались чорбаджии, и сказал: «Вы плетете про меня всякое отцу и говорите, что из меня вырастет разбойник, однако с этих пор знайте, что я вас всех убью».
Подрастая, Хаджи Димитр в самом деле не прекращал войны со всеми теми, кто угнетал народ. Однажды он с товарищами решил отпраздновать приход весны вылазкой в горы, которую провели по-сливенски: они взяли с собой большой глиняный горшок с ароматным гювечем (мясным рагу) и фляги густого красного вина и отправились в сад, принадлежавший чорбаджи Иоргаки, — человеку, близкому турецким властям. Когда Иоргаки попытался выдворить молодых людей, Димитр швырнул его на живую ограду из терновника, которой был обнесен сад, после чего пир и песни продолжались. Иоргаки пошел прямо в конак и вернулся с группой запти. Завязалась драка. Кончилась она тем, что запти были привязаны к яблоням. Для вящего унижения турок парни отдали оружие своих пленных садовому сторожу. Димитра, конечно, арестовали, однако продержали недолго, потому что кади был неравнодушен к плотным ярким коврам, которые так хорошо ткали в семье Хаджи Димитра, и покровительствовал ей, рассчитывая на вознаграждение.
Весьма типичным был другой подвиг Хаджи Димитра. В Сливене жил греческий врач, который доносил туркам обо всем, что узнавал в городе; ходили слухи, что он также запятнал честь нескольких чересчур доверчивых девушек. Подобно многим болгарским революционерам того времени, Хаджи Димитр был фанатичным пуританином, и ничто не приводило его в такое бешенство, как оскорбление, нанесенное девушке. Доктор же был и доносчиком, и осквернителем девичьей чести, чего Хаджи Димитр стерпеть уже не мог. Однажды он переоделся турчанкой, надел паранджу, накрасил ногти хной и постучался к доктору. Слуга привык к тому, что у хозяина бывает множество всякого рода посетителей, и впустил «пациентку», которая всадила в доктора нож и тут же скрылась.
В 1860 году Хаджи Димитр покинул родной город и стал гайдуком. Впоследствии он встретился с Раковским и понял преимущества организованной борьбы. Он ходил со множеством чет и вырос до знаменосца, а затем и полноправного воеводы.
Что произошло во время встречи Левского с Хаджи Димитром и Караджой, не известно, но очевидно, что воеводы, после стольких препятствий занятые делом, о котором мечтали, не были расположены выслушивать проекты, требовавшие лишь новых проволочек. Как Караджа, так и Хаджи Димитр были закоренелыми гайдуками — людьми, которых по весне влекла в горы та же сила, которая тянула аистов и ласточек в эту же пору к старым гнездовьям. Казалось, что в жилах у них течет сок, забродивший под корой берез Стара-Планины, и стоило лесам одеться зеленью, руки у них чесались взяться за саблю, а ноги зудели от нетерпения, спеша в поход по каменистым горным тропам.
Левский понимал их чувства. И его баюкала Стара-Планина; и он пил воду горных ручьев с тех пор, как мать отняла его от груди; и ему были знакомы голоса гор. Он и сам сбросил рясу и полетел на зов Раковского, как только растаял снег. Однако ему уже открылось безрассудство гайдуцкой жизни, а рассудок в нем был сильнее чувства и инстинкта.
Левскому ничего не оставалось, как примириться с положением и помогать по мере сил Хаджи Димитру и Карадже вопреки серьезным сомнениям в исходе экспедиции. Он написал товарищам, поджидавшим его в Заечаре, чтобы они ехали в Румынию, но, к сожалению, они этого сделать не могли, потому что сидели в тюрьме — покушение на князя Михаила, совершившееся 28 мая 1868 года, вызвало панику в стране и усилило старания сербской полиции. Левский ничего об этом не знал и какое-то время прождал их в Бухаресте, а затем отправился в Заечар. В это время его друзей освободили; они тут же уехали в Румынию, и когда Левский прибыл в Заечар, друзья уже разыскивали его в Бухаресте, зато его самого арестовали.