Он поручил Микелоццо, своему любимому архитектору, возведение нового дворца на Виа Ларга вблизи церкви Сан-Лоренцо, что было особенно по сердцу всему семейству Медичи.
Дворец получился импозантный, гармоничный и жизнерадостно-светлый. По имени одной из своих башен позднее он был назван дворцом Рикарди. Это здание, олицетворяющее силу дома Медичи, было провокацией в глазах соперничающих с ним фамилий. Здесь каждый камень, казалось, свидетельствовал о притязаниях семьи Медичи. Альбицци во весь голос кричали, что Козимо желает захватить власть и позволяет себе иметь почти королевские привилегии; доказательство тому этот вызывающий дворец. Он и сейчас стоит величаво, не замечая проходящего времени.
Разногласия между Медичи и Альбицци становились все более глубокими. Они касались абсолютно всех вопросов городского управления и международной политики. Во время противостояния с Луккой они стали явными. В 1342 году Лукка решила порвать связи с Флоренцией и перейти под власть Пизы, имеющей выход к морю. Козимо настаивал на покорении Лукки – противники Медичи выступали против. Республика, как всегда в подобных случаях, обратилась за военной помощью к иностранцам. Капитаном Флоренции и ее пожизненным протектором был избран француз Готье де Бриенн. Мазо Альбицци в конце концов поддержал планы войны.
Де Бриенн не сумел одержать победы, флорентийские войска понесли поражение. Несмотря на позор, французский авантюрист попытался уничтожить республиканское правление и создать для себя наследственное герцогство. Только всенародное возмущение вынудило его бежать из Флоренции.
Старая вражда Медичи с высокомерными Альбицци подпитывалась новыми дровишками. Те считали, что неизвестно откуда возникшие слухи о том, что они присвоили общественные деньги, в результате чего флорентийцев разгромили под стенами Лукки, злонамеренно распространяются их противниками. И может быть, они не сильно заблуждались.
Демократия в городе была, пожалуй, сильнее, чем в других итальянских городах-республиках. Правительству, не сумевшему успешно провести военную кампанию, пришлось уйти в отставку.
После смерти влиятельного и уважаемого Никколо Уччано, всеобщего миротворца, вражда между Медичи и новым главой дома Альбицци, Ринальдо, разгорелась с удвоенной силой. Народ, всегда готовый приветствовать нового героя, поддерживал Альбицци против поднадоевшего Медичи. Город раздирали анархия и борьба фракций. В 1433 году Ринальдо Альбицци одержал победу на выборах в Синьорию.
Козимо, так уповавший на свое влияние, был обвинен в стремлении захватить власть и призван во дворец Синьории для допроса. Близкие убеждали его бежать из города, пока это еще возможно. Однако он, уверенный в своей невиновности, предпочел явиться перед обвинителями и был заключен в палаццо Веккия. Ему инкриминировали подкуп, взяточничество и измену; его сторонников Руччелаи и Альтовити обвинили во взяточничестве.
Козимо поместили в небольшую комнату в дворцовой башне. Узника охранял Федериго Малавольта. Из места своего заключения Козимо видел и слышал все, что происходило на площади, и услышанное ему не нравилось. Опасаясь за свою жизнь, он за четыре дня съел только немного хлеба и не притрагивался к другой пище. Видя это, тюремщик заверил, что не собирается его травить; пусть Козимо не опасается за свою жизнь, ибо у него много друзей не только в городе, но и во дворце. И чтобы узник более не боялся, он сам отведал принесенную еду.
Историки единодушно утверждают, что из своего заточения Козимо сумел подкупить гонфалоньера справедливости. Впрочем, говорили и о том, что его помиловали, поскольку многие помнили его великодушие и благородство. Итак, вопреки желанию Ринальдо Альбицци, который требовал смерти своего врага, Козимо был только изгнан из Флоренции. То же самое выпало на долю Аверардо и многих других из дома Медичи.
Спасаясь бегством, Козимо, слава которого разнеслась далеко за пределы города, повсюду был встречен с большой честью. Пистойя и Феррара выражали ему свою преданность; в Венеции его называли «одним из могущественнейших властителей» и приглашали к себе навсегда.
Медичи были сильны не только своими деньгами и деловыми связями, но и расчетливым поведением. Словно мимоходом их сторонники вспоминали о давнишней (1378 год) попытке семьи Альбицци захватить власть в республике и изменить конституцию. Ведь только благодаря бдительности Сильвестро Медичи, поднявшего народ, удалось предотвратить гибель республиканских ценностей.