Отсутствие удобной и хорошо развитой символики сковывало дальнейшее развитие алгебры: самые сложные формулы приходилось излагать в словесной форме. В конце XVI в. французский математик Ф. Виет ввел буквенные обозначения не только для неизвестных, но и для произвольных постоянных. Символика Виета была усовершенствована многими учеными. Окончательный вид ей придал в начале XVII в. французский философ и математик Р. Декарт, который ввел (употребляемые и поныне) обозначения для показателей степеней.
Постепенно расширялся запас чисел, с которыми можно было производить действия. Завоевывали права гражданства отрицательные числа, потом – комплексные, ученые стали свободно применять иррациональные числа (см. Число). При этом оказалось, что, несмотря на такое расширение запаса чисел, ранее установленные правила алгебраических преобразований сохраняют свою силу. Наконец, Декарту удалось освободить алгебру от несвойственной ей геометрической формы.
Все это позволило рассматривать вопросы решения уравнений в самом общем виде, применять уравнения к решению геометрических задач. Например, задача об отыскании точки пересечения двух линий свелась к решению системы уравнений, которым удовлетворяли точки этих линий. Такой метод решения геометрических задач получил название аналитической геометрии.
Развитие буквенной символики позволило установить общие утверждения, касающиеся алгебраических уравнений: теорему Безу о делимости многочлена P(x) на двучлен x-a, где a - корень этого многочлена; соотношения Виета между корнями уравнения и его коэффициентами; правила, позволяющие оценивать число действительных корней уравнения; общие методы исключения неизвестных из систем уравнений и т.д.
Особенно далеко было продвинуто в XVIII в. решение систем линейных уравнений – для них были получены формулы, позволяющие выразить решения через коэффициенты и свободные члены. Дальнейшее изучение таких систем уравнений привело к созданию теории матриц и определителей. В конце XVIII в. было доказано, что любое алгебраическое уравнение с комплексными коэффициентами имеет хотя бы один комплексный корень. Это утверждение носит название основной теоремы алгебры.
В течение двух с половиной столетий внимание алгебраистов было приковано к задаче о выводе формулы для решения общего уравнения 5-й степени. Надо было выразить корни этого уравнения через его коэффициенты с помощью арифметических операций и извлечений корней (решить уравнение в радикалах). Лишь в начале XIX в. итальянец П. Руффини и норвежец Н. Абель независимо друг от друга доказали, что такой формулы не существует. Эти исследования были завершены французским математиком Э. Галуа, методы которого позволяют для каждого данного уравнения определить, решается ли оно в радикалах.
Один из крупнейших математиков – К. Гаусс выяснил, при каких условиях можно построить циркулем и линейкой правильный n-угольник: вопрос оказался связанным с изучением корней уравнения xn = 1. Выяснилось, что эта задача разрешима лишь в случае, когда число n является простым числом Ферма или произведением нескольких различных простых чисел Ферма (простыми числами Ферма называются простые числа, представимые в виде 
; до сих пор известны лишь пять таких чисел: 3, 5, 17, 257, 65 537). Тем самым молодой студент (Гауссу было в то время лишь 19 лет) решил задачу, которой безуспешно занимались ученые более двух тысячелетий.
В начале XIX в. были решены основные задачи, стоявшие перед алгеброй в первом тысячелетии ее развития. Она получила самостоятельное обоснование, не опирающееся на геометрические понятия, и, более того, алгебраические методы стали применяться для решения геометрических задач. Были разработаны правила буквенного исчисления для рациональных и иррациональных выражений, выяснен вопрос о разрешимости уравнений в радикалах и построена строгая теория комплексных чисел. Поверхностному наблюдателю могло показаться, что теперь математики будут решать новые и новые классы алгебраических уравнений, доказывать новые алгебраические тождества и т.д. Однако развитие алгебры пошло иным путем: из науки о буквенном исчислении и уравнениях она превратилась в общую науку об операциях и их свойствах.