Еще более сложные задачи умели решать с начала II тысячелетия до н.э. в Древнем Вавилоне: в математических текстах, выполненных клинописью на глиняных пластинках, есть квадратные и биквадратные уравнения, системы уравнений с двумя неизвестными и даже простейшие кубические уравнения. При этом вавилоняне также не использовали букв, а приводили решения «типовых» задач, из которых решения аналогичных задач получались заменой числовых данных. В числовой же форме приводились и некоторые правила тождественных преобразований. Если при решении уравнения надо было извлекать квадратный корень из числа a, не являющегося точным квадратом, находили приближенное значение корня x: делили a на x и брали среднее арифметическое чисел x и a/x.
Первые общие утверждения о тождественных преобразованиях встречаются у древнегреческих математиков, начиная с VI в. до н.э. Среди математиков Древней Греции было принято выражать все алгебраические утверждения в геометрической форме. Вместо сложения чисел говорили о сложении отрезков, произведение двух чисел истолковывали как площадь прямоугольника, а произведение трех чисел – как объем прямоугольного параллелепипеда. Алгебраические формулы принимали вид соотношений между площадями и объемами. Например, говорили, что площадь квадрата, построенного на сумме двух отрезков, равна сумме площадей квадратов, построенных на этих отрезках, увеличенной на удвоенную площадь прямоугольника, построенного на этих отрезках. С того времени и идут термины «квадрат числа» (т.е. произведение величины на самое себя), «куб числа», «среднее геометрическое». Геометрическую форму приняло у греков и решение квадратных уравнений – они искали стороны прямоугольника по заданным периметру и площади.
Большинство задач решалось в Древней Греции путем построений циркулем и линейкой (см. Геометрические построения). Но не все задачи поддавались такому решению. Например, «не решались» задачи удвоения куба, трисекции угла, задачи построения правильного семиугольника (см. Классические задачи древности). Они приводили к кубическим уравнениям вида x3 = 2, 4x3 - 3x = a и x3 + x2 - 2x - 1 = 0 соответственно. Для решений этих задач был разработан новый метод, связанный с отысканием точек пересечения конических сечений (эллипса, параболы и гиперболы).
Геометрический подход к алгебраическим проблемам сковывал дальнейшее развитие науки, так как, например, нельзя было складывать величины разных размерностей (длины и площади или площади и объемы), нельзя было говорить о произведении более чем трех множителей и т.д. Отказ от геометрической трактовки наметился у Диофанта Александрийского, жившего в III в. В его книге «Арифметика» появляются зачатки буквенной символики и специальные обозначения для степеней неизвестного вплоть до 6-й. Были у него и обозначения для степеней с отрицательными показателями, обозначения для отрицательных чисел, а также знак равенства (особого знака для сложения еще не было), краткая запись правил умножения положительных и отрицательных чисел. На дальнейшее развитие алгебры сильное влияние оказали разобранные Диофантом задачи, приводящие к сложным системам алгебраических уравнений, в том числе к системам, где число уравнений было меньше числа неизвестных. Для таких уравнений Диофант искал лишь положительные рациональные решения (см. Диофантовы уравнения).
С VI в. центр математических исследований перемещается в Индию и Китай, страны Ближнего Востока и Средней Азии. Китайские ученые разработали метод последовательного исключения неизвестных (см. Неизвестных исключение) для решения систем линейных уравнений, дали новые методы приближенного решения уравнений высших степеней. Индийские математики использовали отрицательные числа и усовершенствовали буквенную символику. Однако лишь в трудах ученых Ближнего Востока и Средней Азии алгебра оформилась в самостоятельную ветвь математики, трактующую вопросы, связанные с решением уравнений. В IX в. узбекский математик и астроном Мухаммед ал-Хорезми написал трактат «Китаб аль-джебр валь-мука-бала», где дал общие правила для решения уравнений первой степени. Слово «аль-джебр» (восстановление), от которого новая наука алгебра получила свое название, означало перенос отрицательных членов уравнения из одной его части в другую с изменением знака. Ученые Востока изучали и решение кубических уравнений, хотя не сумели получить общей формулы для их корней.
В Западной Европе изучение алгебры началось в XIII в. Одним из крупных математиков этого времени был итальянец Леонардо Пизанский (Фибоначчи) (ок. 1170 – после 1228). Его «Книга абака» (1202) - трактат, который содержал сведения об арифметике и алгебре до квадратных уравнений включительно (см. Числа Фибоначчи). Первым крупным самостоятельным достижением западноевропейских ученых было открытие в XVI в. формулы для решения кубического уравнения. Это было заслугой итальянских алгебраистов С. дель Ферро, Н. Тарталья и Дж. Кардано. Ученик последнего – Л. Феррари решил и уравнение 4-й степени (см. Алгебраическое уравнение). Изучение некоторых вопросов, связанных с корнями кубических уравнений, привело итальянского алгебраиста Р. Бомбелли к открытию комплексных чисел.