В конце двадцатых годов Ферма открыл методы нахождения экстремумов и касательных, которые, с современной точки зрения, сводятся к отысканию производной. В 1636 году законченное изложение метода было передано Мерсенну и с ним могли познакомиться все желающие.
В 1637–1638 годах по поводу «Метода отыскания максимумов и минимумов» у Ферма возникла бурная полемика с Декартом. Последний не понял метода и подверг его резкой и несправедливой критике. В одном из писем Декарт утверждал даже, что метод Ферма «содержит в себе паралогизм». В июне 1638 года Ферма послал Мерсенну для пересылки Декарту новое, более подробное изложение своего метода. Письмо его сдержанно, но не без внутренней иронии. Он пишет: «Таким образом, обнаруживается, что либо я плохо объяснил, либо г. Декарт плохо понял моё латинское сочинение. Я всё же пошлю ему то, что уже написал, и он, несомненно, найдёт там вещи, которые помогут ему отказаться от мнения, будто я нашёл этот метод случайно и его подлинные основания мне неизвестны». Ферма ни разу не изменяет своему спокойному тону. Он чувствует своё глубокое превосходство как математика, поэтому не входит в мелочную полемику, а терпеливо старается растолковать свой метод, как это сделал бы учитель ученику.
До Ферма систематические методы вычисления площадей разработал итальянский учёный Кавальери. Но уже в 1642 году Ферма открыл метод вычисления площадей, ограниченных любыми «параболами» и любыми «гиперболами». Им было показано, что площадь неограниченной фигуры может быть конечной.
Ферма одним из первых занялся задачей спрямления кривых, т. е. вычислением длины их дуг. Он сумел свести эту задачу к вычислению некоторых площадей.
Таким образом, понятие «площади» у Ферма приобретало уже весьма абстрактный характер. К определению площадей сводились задачи на спрямление кривых, вычисление сложных площадей он сводил с помощью подстановок к вычислению более простых площадей. Оставался только шаг, чтобы перейти от площади к ещё более абстрактному понятию «интеграл».
Дальнейший успех методов определения «площадей», с одной стороны, и «методов касательных и экстремумов» — с другой, состоял в установлении взаимной связи этих методов. Есть указания на то, что Ферма уже видел эту связь, знал, что «задачи на площади» и «задачи на касательные» являются взаимно обратными. Но он нигде не развил своё открытие сколько-нибудь подробно. Поэтому честь его по праву приписывается Барроу, Ньютону и Лейбницу, которым это открытие и позволило создать дифференциальное и интегральное исчисления.
Несмотря на отсутствие доказательств (из них дошло только одно), трудно переоценить значение творчества Ферма в области теории чисел. Ему одному удалось выделить из хаоса задач и частных вопросов, сразу же возникающих перед исследователем при изучении свойств целых чисел, основные проблемы, которые стали центральными для всей классической теории чисел. Ему же принадлежит открытие мощного общего метода для доказательства теоретико-числовых предложений — так называемого метода неопределённого или бесконечного спуска, о котором будет сказано ниже. Поэтому Ферма по праву может считаться основоположником теории чисел.
В письме к де Бесси от 18 октября 1640 года Ферма высказал следующее утверждение: если число a не делится на простое число p, то существует такой показатель k, что a–1 делится на p, причём k является делителем p–1. Это утверждение получило название малой теоремы Ферма. Оно является основным во всей элементарной теории чисел. Эйлер дал этой теореме несколько различных доказательств.
В задаче второй книги своей «Арифметики» Диофант поставил задачу представить данный квадрат в виде суммы двух рациональных квадратов. На полях, против этой задачи, Ферма написал:
«Наоборот, невозможно разложить ни куб на два куба, ни биквадрат на два биквадрата и вообще ни в какую степень, большую квадрата, на две степени с тем же показателем. Я открыл этому поистине чудесное доказательство, но эти поля для него слишком узки». Это и есть знаменитая Великая теорема.
Теорема эта имела удивительную судьбу. В прошлом веке её исследования привели к построению наиболее тонких и прекрасных теорий, относящихся к арифметике алгебраических чисел. Без преувеличения можно сказать, что она сыграла в развитии теории чисел не меньшую роль, чем задача решения уравнений в радикалах. С той только разницей, что последняя уже решена Галуа, а Великая теорема до сих пор побуждает математиков к исследованиям.
С другой стороны, простота формулировки этой теоремы и загадочные слова о «чудесном доказательстве» её привели к широкой популярности теоремы среди нематематиков и к образованию целой корпорации «ферматистов», у которых, по словам Дэвенпорта, «смелость значительно превосходит их математические способности». Поэтому Великая теорема стоит на первом месте по числу данных ей неверных доказательств.
Сам Ферма оставил доказательство Великой теоремы для четвёртых степеней. Здесь он применил «метод неопределённого или бесконечного спуска», который он описывал в своём письме к Каркави (август 1659 года) следующим образом:
«Если бы существовал некоторый прямоугольный треугольник в целых числах, который имел бы площадь, равную квадрату, то существовал бы другой треугольник, меньший этого, который обладал бы тем же свойством. Если бы существовал второй, меньший первого, который имел бы то же свойство, то существовал бы в силу подобного рассуждения третий, меньший второго, который имел бы то же свойство, и, наконец, четвёртый, пятый, спускаясь до бесконечности. Но если задано число, то не существует бесконечности по спуску меньших его (я всё время подразумеваю целые числа). Откуда заключают, что не существует никакого прямоугольного треугольника с квадратной площадью». Именно этим методом были доказаны многие предложения теории чисел, и, в частности, с его помощью Эйлер доказал Великую теорему для n=4 (способом, несколько отличным от способа Ферма), а спустя 20 лет и для n=3.
В прошлом веке Куммер, занимаясь Великой теоремой Ферма, построил арифметику для целых алгебраических чисел определённого вида. Это позволило ему доказать Великую теорему для некоторого класса простых показателей n. В настоящее время справедливость Великой теоремы проверена для всех показателей n меньше 5500.
Отметим также, что Великая теорема связана не только с алгебраической теорией чисел, но и с алгебраической геометрией, которая сейчас интенсивно развивается.
У Ферма есть много других достижений. Он первым пришёл к идее координат и создал аналитическую геометрию. Он занимался также задачами теории вероятностей. Но Ферма не ограничивался одной только математикой, он занимался и физикой, где ему принадлежит открытие закона распространения света в средах. Ферма исходил из предположения, что свет пробегает путь от какой-либо точки в одной среде до некоторой точки в другой среде в наикратчайшее время. Применив свой метод максимумов и минимумов, он нашёл путь света и установил, в частности, закон преломления света. При этом Ферма высказал следующий общий принцип: «Природа всегда действует наиболее короткими путями», который может считать предвосхищением принципа наименьшего действия Мопертюи — Эйлера.
Одно из последних писем учёного к Каркави получило название «завещание Ферма». Вот его заключительные строки:
«Быть может, потомство будет признательно мне за то, что я показал ему, что древние не всё знали, и это может проникнуть в сознание тех, которые придут после меня для передачи факела сыновьям, как говорит великий канцлер Англии, следуя чувствам которого, я добавлю: „Многие будут приходить и уходить, а наука обогащается“».