Решение трех классических геометрических задач древности связывается с именами софиста Гиппия Элидского, который нашел способ трисекции угла при помощи изобретенной им кривой — квадратрисы; математика Динострата (сер. IV в.), ученика Евдокса, который применил ту же квадратрису для решения проблемы квадрирования круга. Решение проблемы удвоения куба связывают с именами Архита, Евдокса, ученика Архита, и Менэхма (сер. IV в.), ученика Евдокса. Про Менэхма мы знаем, что он решил эту проблему через нахождение двух средних пропорциональных в точке пересечения гиперболы и параболы. Он же был первым математиком, который начал разработку теории конических сечений: круга, эллипса, гиперболы, параболы. Доказательства невозможности решить классические задачи с помощью только циркуля и линейки были получены лишь в 1837 и 1882 гг. П. Ванцелем и И. Г. Ламбертом.
Как мы уже отмечали, открытие иррациональности, а также парадоксы бесконечно малых, предложенные Зеноном Элейским, направили античную математику в русло геометрии, и первым, кто это сделал, был Евдокс Книдский. Опираясь на свою теорию отношений, он применил «метод исчерпывания», при котором геометрическая фигура, длина, площадь или объем которой требуется найти сначала, исчерпывается такими фигурами (вписанными и описанными), длины, площади или объемы которых легко найти, а затем делается предельный переход. Обобщая этот метод, мы и сегодня вводим определенный интеграл как предел, к которому стремятся верхняя и нижняя римановы суммы. Но и в античности доказательство, полученное таким методом, являлось совершенно строгим, легко формализующимся в терминах современной математики.
Формирование античной математики закончилось ко временам Евклида. Его «Начала» — это искусно собранные и расположенные достижения античной математики к концу IV в., снабженные прекрасным доказательным аппаратом. Книга стала основным учебником по математике на две тысячи лет, а способ изложения материала и в XX в. считается образцом, которому стремятся следовать ученые даже за пределами этой науки. I книга содержит основные определения, аксиомы, здесь рассматриваются основные свойства треугольников и четырехугольников; во II книге излагается геометрическая алгебра (способы решения квадратных уравнений); в III книге рассматриваются свойства касательных и хорд, а в IV — правильные многоугольники и основы учения о подобии; в V книге изложена Евдоксова теория пропорций в ее геометрической форме, которая в VI книге применяется к подобию треугольников. Книги VII-IX, как мы уже говорили, арифметические, а X книга, самая сложная, содержит теорию иррациональных чисел Теэтета. В книгах XI-XIII рассматривается стереометрия: основные определения, вычисление объемов основных фигур и их отношений, теория правильных многогранников. Теория конических сечений была изложена в отдельной книге.
Период от Евклида (включительно) до Аполлония и его учеников, Диокла, Никомеда и Персея, то есть с 300 по 150 г., был золотым веком греческой математики. Огромен вклад в геометрию Архимеда Сиракузского, особенно в той области, которую мы называем интегральным исчислением. Используя деление тел на сегменты малой толщины и метод исчерпания, он в работах «О сфере и цилиндре», «О конойдах и сферойдах», «Квадратура параболы» находит точные и приближенные значения площадей практически всех известных в его время геометрических фигур, в том числе и довольно сложных, как, например, площадь параболического сегмента. В трактате «Измерение круга» Архимед нашел приближенное значение числа π с точностью до третьего знака после запятой. Особенно интересна его книга «О спиралях», в которой он сумел придумать новую сложную кривую, носящую теперь его имя, исследовать ее свойства и применить ее для точного вычисления числа π, а также для вычисления различных площадей, например эллипса. Исследуя спирали, он научился находить касательную к ним, что было первым шагом в направлении дифференциального исчисления. Современниками Архимеда были Ко́нон из Самоса, исследователь конических сечений и спиралей, и его ученик Досифей. Последним великим математиком эпохи эллинизма был Аполлоний из Перги (ок. 260 — ок. 70 гг.), в лице которого «геометрическая алгебра» достигает своей вершины. Он написал трактат в семи книгах «О кониках», то есть о конических сечениях, где исследование их свойств доведено до исследования эволют этих кривых. Кстати, именно в работах Аполлония мы впервые в явном виде встречаем требование выполнять геометрические построения только с помощью циркуля и линейки — это требование было не таким уж обязательным для греческой науки, как иногда полагают.