Сначала Ковалевский решил спрятаться в Полтавской губернии на хуторе своих добрых знакомых — сестер Сулинич. Там еще в 1914–1915 годах он держал подпольную типографию, где печатал нелегальную газетку «Боротъба». «На цьому хуторі, що губився в безкраїх полтавських степах, — вспоминал министр-казнокрад, — я постановив затриматись деякий час, не тратячи зв'язку з нашими центральними установами». Вокруг царила сельская идиллия. Ни немцы, ни бродячие шайки еще не успели добраться до богоспасаемого местечка. Глядя на старые портреты на стенах и деревянные колонны скромного дворянского дома, можно было подумать, что еще не кончились гоголевские времена.
Но вскоре из Киева было получено сообщение, что на Полтавщину направляется немецкий отряд. Пришлось менять лежбище. Дальше Ковалевский описывает, как вместе с крестьянами-повстанцами он героически разбил человек шестьдесят германских солдат, после чего почему-то… вынужден был бежать дальше в Екатеринославль, а потом в уездный город Александровск — так тогда называлось Запорожье. Дальше путь беглого министра лежал в Геническ — на побережье теплого Азовского моря. Тут, в местах, кишевших бычками и камбалой, наш «свідомий українець», похитивший 5 млн., собирался отсидеться до лучших времен.
И, однако, именно в Геническе его арестовала гетманская полиция. Случилось это ночью в простой рыбачьей хате, в которой Ковалевский уже прятался однажды в самом начале 1918 года от большевиков. В значительной мере гетман унаследовал дореволюционные полицейские кадры, хорошо ориентировавшиеся в дислокации секретных «схованок» разномастных революционеров. Они проверили старые «норы» Ковалевского и в одной из них обнаружили беглеца. С гордостью Ковалевский рассказывает, как за ним был прислан специальный салон-вагон, как по дороге чины полиции заботились о его пропитании, покупали ему папиросы и развлекали ненавязчивыми, но занимательными беседами о политическом положении, а потом отвезли в Старокиевский участок, где поместили «у великій просторій кімнаті».
Естественно, никаких пыток и поджаривания на медленном огне. В конце июля Ковалевского перевели в Лукьяновскую тюрьму: «Мене прийняв той самий помічник начальника в'язниці Мальований, який був у 1914 році під час мого першого арешту. Мені дали ту саму камеру. З цікавістю оглядав я своє прізвище, вирізьблене на стіні п'ять років тому назад».
Неподалеку некоторое время сидел Симон Петлюра. Каждый день полагалась получасовая прогулка. Как рассказывает Ковалевский, «на дозвіллі тюремного життя було нам, українцям, дуже цікаво провадити дискусії на актуальні теми і робити оцінку минулих революційних подій та шукати шляхів на будуче. Часто вдавалось мені розмовляти з Симоном Петлюрою, який змінив шаблю на перо публіциста… Ми всі були переконані, що гетьманщина не зможе утриматись, що новий революційний вибух змете опереткову державу». Но вскоре гетман выпустил «публициста Петлюру» на волю, и Ковалевскому пришлось беседовать в основном с двумя соседями по камере — моряками-черноморцами. Те упорно склоняли его перейти на большевистские позиции. Но министр-казнокрад упорно держался «самостийнической» идеологии.
Изредка подследственного допрашивали. Но дело о пяти миллионах тут же увяло. Прокурор Зубилевич пытался выяснить судьбу пропавших ассигнований на сельское хозяйство. Но Ковалевский сразу же отрезал, что суда не боится и даже с большим нетерпением ждет его, так как сам собирается утрясти с гетманом «одно финансовое дельце». Услышав это, Зубилевич, если верить мемуаристу-жулику, даже подскочил: «Какое дело?»
Тогда Ковалевский, шантажируя гетманский режим, заявил, что еще в декабре 1917 года, когда гетман был не гетманом, а всего лишь простым украинским генералом, он получил от Ковалевского 350 000 рублей на свое военное формирование, но отчета о потраченной сумме не предоставил. Зато расписка Скоропадского у Ковалевского имеется и спрятана в надежном месте у партийных товарищей. После этого шантажиста оставили в покое, а однажды, уже в октябре, в Лукьяновскую тюрьму приехал адъютант гетмана Сахно-Устимович и передал, что суда не будет вообще и что гетман просил передать, что «ничего плохого» с Ковалевским не случится. Финансовые шалости деятелей украинской революции из «непримиримых» лагерей переплелись так тесно, что воевать друг с другом им следовало с предельной осторожностью. Чтобы не пораниться самим.