Мемуары Ковалевского вышли только в 1960 году в австрийском Инсбруке уже после его смерти. А в 1918-м министру земледелия было всего лишь двадцать шесть лет. Он принадлежал к молодой клике, собравшейся вокруг Грушевского и фактически за старого профессора пытавшейся вершить дела в Украине. В нее входили премьер-министр Голубович, военный министр подполковник Жуковский и министр внутренних дел Ткаченко. Ни одному из них не было еще и сорока.
Эта группа амбициозных украинских политиков почувствовала опасность, грозящую их карьере, и решила предпринять предупредительные меры. Весьма наивные, как станет ясно из последующих событий. На роль нового правителя Украины адмирал Канарис и командующий оккупационной армией фельдмаршал Эйхгорн выбрали Павла Скоропадского — в прошлом генерал-адъютанта свиты Николая II и бывшего командующего одним из украинизированных корпусов, уволенного от должности Центральной Радой. Канарис, как уверяет Ковалевский, встретился с ним лично и разработал подробный план переворота в Киеве. Для придания этому акту видимости единодушной поддержки общественности в срочном порядке были созданы две организации — Протофис (эта аббревиатура означала объединение промышленников, торговцев и финансистов) и Союз хлеборобов.
Естественно, скрыть эту подготовку в небольшом городе, каким был Киев начала прошлого века, где все знали друг друга, было сложно. Скоро до молодой компании украинских министров дошли слухи, что непосредственной подготовкой общественности занимается видный киевский банкир Абрам Добрый — член финансовой комиссии Центральной Рады и директор киевского отделения Русского для внешней торговли банка. (Так он официально назывался). Банкир занимал множество общественных должностей, отличался коммуникабельностью и идеально подходил на роль координатора.
В окружении премьер-министра Голубовича родилась веселая идейка: а что, если похитить Доброго, вывезти его из Киева и тем разрушить все планы заговорщиков? За дело взялся лично глава МВД Михаил Ткаченко. Директор политического департамента этого ведомства Гаевский с компанией подчиненных вытащил банкира-конспиратора прямо из постели, арестовал и под охраной нескольких политических агентов отвез в Харьков, где держал в номере обычной гостиницы. От остальных членов кабинета эту акцию до поры до времени держали в тайне. Как пишет Ковалевский: «Я, як і інші члени уряду, нічого не знали про цю подію. Не знав також і голова Центральної Ради Михайло Грушевський. Вночі, коли Добрий був арештований, відбулося власне засідання кабінету під проводом Голубовича. Засідання відбувалося в приватному помешканні Голубовича у великій гарній віллі київського архітектора Воробйова на Липках. На цьому засіданні чомусь не було Ткаченка. Десь коло півночі Ткаченко нарешті з'явився, викликав Голубовича до іншої кімнати і щось йому стурбованим голосом оповідав. Після цього ми довідалися, що сталася ця подія з Добрим».
Но вышло совсем не так, как рассчитывали похитители. Кража Доброго только ускорила события, придав им видимость справедливого наказания зарвавшегося марионеточного режима. 28 апреля, как утверждал Ковалевский, он опоздал на заседание Центральной Рады — министр жил в Святошине и вынужден был долго добираться до работы. На Бибиковском бульваре возле Владимирского собора его якобы узнал какой-то украинский офицер. Остановив автомобиль министра, он взволнованно сказал: «Прошу не їхати до Центральної Ради, бо саме тепер сотня німецьких солдат оточила будинок і частина солдат увійшла до зали засідань, щоб арештувати членів уряду».