Безпосереднім чуттям художника Гребінка зрозумів усю штучність байки, непристосованість її до оформлювання вражень біжучого життя, а тому й став на шлях послідовного руйнування цієї умовної і тісної форми. Новочасна байка в її класичній — лафонтенівській формі, не вважаючи на значну повноту алегоричного оповідання, заховує все-таки певну рівновагу межи наративним (оповідальним) і дидактичним (навчальним) елементами. В байках Гребінки, особливо таких, як «Грішник», «Мірошник», «Рибалка», «Рожа та Хміль», цю рівновагу уже порушено. Оповідальна частина занадто розрослася, набралася численних подробиць, що остаточно заглушили малопомітний дидактичний наросток. Таких п’єс у збірнику Гребінки не менше 9—10 з загального числа 27. «Іноді вони мають громадське значення (сатира), іноді зводяться на чисто побутовий випадок, але і в тому і в другому разі зовсім не мають характеру байки» (Лесевич). Здається, можна сказати, не рискуючи дуже помилитись, що пізніша українська байка з її талановитим і по суті єдиним представником, Леонідом Глібовим, являє собою лише дальшу стадію розпаду байкарської форми і в цьому розумінні слухняно йде по слідах Гребінки.
Вірш і мова Гребінчиних приказок визначаються плавністю і чистотою. В них немає ні тої грубості, що часом так неприємно вражає в «казках» Гулака, ні тої безбарвної сухості, якою характеризуються «прибаютки» Боровиковського. Немає в них і численних помилок проти української фонетики та морфології, перш за все неправильних, обрубаних форм («Тобі, народ блаженной України»), якими часто-густо грішить Білецький-Носенко. Натомість в них є велика й безпосередня жвавість, різноманітний словник, гнучка і правильна синтакса і надзвичайне часом уміння перехопити в народної мови притаманний їй секрет утворювання мальовничих і влучних виразів, уміння, яким Гребінка дорівнюється подекуди до самого Котляревського. Чого варта одна характеристика царя в його колоритному «Грішникові» («Троєженцеві» Крилова), оте:
Або це тонке використання повної, на старовинний лад, прикметникової форми:
що в такій гармонії стоїть до наступної, слов’яно-української промови:
Критично-біографічна література про Гребінку не визначається багатством. Біографічні нариси, як Кучинського «Жизнь и литературная деятельность Евгения Павловича Гребенки» (Київ, 1900) та «Євген Гребінка» Г. Коваленка, Полтава, 1918 (перше видання: Чернігів, 1899) належать до типу ювілейних згадок та популярних брошур і багатьох важливих питань, що потребують спеціальних студій, торкаються занадто коротко й побіжно. Критичні ж розправи, не рахуючи цитованої вище статті Лесевича, нечисленні, занадто стислі і не охоплюють літературної постаті Гребінки в цілому. Найцікавіші з них: Волод. Дорошенка «Євген Гребінка» в «Літературно-наук. віснику», 1912, VII—VIII, стор.63—78 (стаття багата на бібліографічні вказівки) та Б. Вільхівського (Б. Грінченка) — «Гребінчині байки, невеличкі замітки одного з читачів» у «Правді» за жовтень 1890 р., стор. 44—60, що, між іншим, у коротких рисах намічає історію ранньої української байки.
На думку Вільхівського-Грінченка, найстарший з українських байкарів, Білецький-Носенко, письменник «безталанний і не народний», іти на рахунок не може. Зразок справжньої української байки подав лише Гулак-Артемовський. Але, «на превеликий жаль», він «писав дуже мало, друкував ще менше і через те не міг… покласти твердого початку для цього літературного відділу». З пізніших байкарів — Боровиковський зі своїми «прибаютками» становить поворот назад до Білецького (тут на Грінченка впливає присуд Куліша, що назвав колись байки Боровиковського навіть «тупими»). Зостається Гребінка. Він і єсть справжній основоположник і найталановитіший представник української байки.
Цей грінченківський погляд потребує деяких корективів. Ми знаємо тепер, що байки Боровиковського ніякого повороту назад, до Білецького-Носенка, не становлять, що його творчість стоїть у зв’язку з польськими джерелами та ще з байкарською діяльністю Гулака, зливаючись з останньою в одну лінію літературного розвитку. Навпаки, у Гребінки є дещо спільне з Білецьким: обидва стоять на ґрунті криловсько-лафонтенівської байки. Різниця тільки в степені їх поетичного хисту і в їхнім умінні пристосуватись до народного світовідчування та обстановки.