Кружок ширился, одним рисованием дело не ограничивалось — начали устраивать ежегодные выставки. Это были первые в истории художественные выставки в Курске. В них участвовали не только сами курские «любители», но и известные художники из других городов, такие как В. Э. Борисов-Мусатов, К. Ф. Юон, Ф. И. Рерберг, А. А. Ясинский и др. Могло бы показаться, что Малевич в своих воспоминаниях преувеличивает свою роль в организации этих выставок, — но факт остаётся фактом: всё завертелось именно вокруг него.
Долго потом вспоминали те времена живописцы-куряне, и оставшиеся в городе, и разъехавшиеся по свету. Вот пишет Малевичу его «супрацовник» по курскому кружку Александр Булгаков в 1926 году: «Я, узнав от Вашего брата, бывшего ещё зимой в Курске, Ваш адрес, поручил дочке найти Вас и очень обрадовался, что она нашла, но опечалился, что Вы теперь скульптор и значит Ваших произведений Курску нельзя увидеть… Нельзя ли хотя бы фотографические снимки… Таковые обещается прислать и Шуклин И. А. из Биаррицы». (Иван Шуклин тоже участвовал в курских выставках времён 1890-х годов, а потом выучился и в 1914 году уехал во Францию, да там и остался. Скульптором называет Булгаков Малевича потому, что в 1926 году тот действительно занимается «слепой архитектурой».)
Одним словом, выставки стали ярким явлением и на всю жизнь запомнились их участникам. А ведь Казимир был ещё совсем молод, он ещё и художником-то как следует не был. Но вот редкий характер: с юных лет уживались в Казимире способность к одинокому сосредоточенному созерцанию — и умение собрать вокруг себя людей, вдохновить их и организовать. «На тусклом фоне курского бытия наш кружок был настоящим вулканом жизни искусства», — пишет он.
Но хотелось в Киев или в Москву, и чем дальше, тем несбыточнее становилась эта мечта. В 1901 году Казимир женился. Это был первый поступок, совершённый им против воли родителей. Жену звали Казимира, Казимира Ивановна Зглейц, она была дочерью врача; семья — набожные католики, мать красавица, дочери тоже. Ей было всего пятнадцать, регистрировали с шестнадцати лет — пришлось немного подождать. Казимира была невысокая, стройная, бойкая, любила петь; хоть брак и совершился против воли родителей, в семье Казимиру очень быстро полюбили. Вот что уже в 1974 году пишет о Казимире сестра Малевича Виктория Севериновна в письме внучке Малевича и Казимиры, Нинель Николаевне Быковой:
«Ты знала свою бабушку, когда она стала бабушкой. Я же знала её ещё до рождения твоей мамы. Это была весёлая, жизнерадостная женщина, немного хаотична, но весьма трудолюбива, отзывчивая, щедрая. Она была любима нашей семьёй, она не была в семье чужой, она была своя, родная. Она прекрасно шила и тем помогала семье. Она была энергична и предприимчива. Но ей хотелось жить, она была очень темпераментна. Разве это порок? Дедушка твой всего себя отдавал искусству, и она томилась, как птичка в клетке, ей хотелось больше радости и чувства, отданного ей и только ей».
Вскоре после свадьбы у молодых родился сын Толя, а в 1902 году умер от инфаркта глава семьи Северин Малевич, и Казимир стал главным кормильцем. Тут ещё грянул мировой экономический кризис 1900–1903 годов, на который наложилась цепь неурожаев; правительство, чтобы поправить дело, затеяло «маленькую победоносную войну» в Японии, Мечислава призвали на службу — заработки Малевичей упали ещё сильнее, младшие дети были малы. Семья бросилась зарабатывать деньги. Брату Антону пришлось рано оставить гимназию и работать переписчиком. Людвига приносила из Красного Креста домой работу младшим детям и Казимире Ивановне: подрубать полотенца, пришивать пуговицы к рубашкам для солдат. Казалось бы, что должен сделать в этих условиях Казимир? Взять на себя ответственность за семью, всех спасти, заработать денег. Вместо этого он совершает совершенно противоположное. Отец умер, он свободен. Он — художник, а не чиновник. Казимир бросает работу в Управлении железной дороги, оставляет в Курске жену с ребёнком, мать, сестёр и на с трудом накопленную сумму отправляется учиться рисованию в Москву, обещая вернуться летом, снова поработать и опять уехать учиться.