В доказательстве Лейбница используются математические методы, известные Ферма, поэтому возможно, что доказательство Ферма, если оно существовало, было сделано подобным способом.
В любом случае, Ферма явно не догадывался о ее последующем применении. Для него теорема была инструментом для теста простоты некоторых чисел, таких как 2n - 1. Она была одним из его сокращенных путей, используемых с целью избежать решета Эратосфена. Например, благодаря своей малой теореме Ферма смог подступиться к числам вида аn - 1 при а > 2, которые никогда не являются простыми, сведя кандидатов в их простые делители к меньшему множеству. Как легко увидеть, эти числа — обобщение чисел Мерсенна. Кроме того, малая теорема позволила Ферма таким же образом подойти к числам аn + 1, которые, как он утверждал, являются простыми, если a четное, а n имеет вид 2m. Именно в ходе этого исследования математик открыл так называемые простые числа Ферма, которые соответствуют этим двум условиям и еще одному — тому, что число m вида 22p +1 простое, если р простое.
Но в данном случае интуиция подвела Ферма. Эйлер нашел контрпример при p - 5. Итоговое число делится на 641. Ферма осознавал, что не может доказать этот результат, и говорил о своем разочаровании в течение многих лет; в 1659 году он изложил доказательство своему другу Каркави, но с учетом контрпримера Эйлера, оно, даже если и существовало, явно было ошибочным. В любом случае ясно, что малая теорема позволяла Ферма исключить из своих вычислений любое множество простых чисел — кандидатов в делители чисел некоего вида, что облегчало тесты простоты указанных чисел. Однако, к своему большому разочарованию, он никогда не добился того, к чему стремился, — вывести теорему, позволяющую избавиться от всех простых чисел, которые можно исключить для указанных типов чисел.
Сегодня не существует по-настоящему эффективного и надежного метода нахождения простых чисел произвольного размера; нет формулы вроде той, что нашел Евклид для четных совершенных чисел. В большинстве методов нахождения простых чисел требуется знать все простые числа до некоего предварительного числа либо знать, являются ли числа, соседние с кандидатом на простое число, разложимыми на множители. Следовательно, тесты простоты крайне важны: сначала ищут кандидата на простое число, а потом проверяют, является ли оно таковым.
Казалось, что к концу 1640 года Ферма потерял интерес к суммам собственных делителей. Его следующие исследования по теории чисел напрямую связаны с Великой теоремой.
Рациональные прямоугольные треугольники — это называемые пифагоровыми тройки рациональных чисел х,у и z, которые выполняют теорему Пифагора: х2 + у2 = z2.
Такие тройки очень древние и встречаются уже в Вавилоне и Египте. Но Евклид доказал, что — при заданных двух рациональных числах p и q - r = р2 + q2, x = р2 - q2 и y = 2pq - это пифагорова тройка. Из чего непосредственно следует, что количество пифагоровых троек бесконечно, поскольку количество рациональных чисел бесконечно.
Диофант посвятил Книгу VI своей "Арифметики" решению задач, связанных с данным типом треугольников, как он это обычно и делал: рассматривая их в виде отдельных случаев. Его метод решения предполагал составление уравнения или системы уравнений. Проблема была в том, что иногда в результате получалось рациональное отрицательное число, и это не имело смысла, поскольку ни у одного треугольника нет сторон отрицательной длины. В других случаях метод ученого не работал, поскольку некоторые условия, необходимые для успеха, не выполнялись: например, в итоговых уравнениях коэффициент х2 или константа должны были быть квадратом. Диофант выбирал свои задачи осторожно, чтобы они соответствовали таким условиям и решение всегда было положительным; "хитрость" заключалась в том, чтобы ставить только задачи, решаемые с помощью предложенного метода.
В 1621 году во Франции Клод Гаспар Баше де Мезириак издал работу Диофанта. Именно благодаря этому изданию Ферма познакомился с Диофантом, и на его полях он сделал свою знаменитую запись Великой теоремы.
Ферма заинтересовался прямоугольными треугольниками, внеся важные коррективы: во-первых, он ограничился изучением треугольников, стороны которых были выражены только натуральными числами. Во-вторых, вместо того чтобы решать частные случаи с особыми числами, Ферма взял метод решения Диофанта и сформулировал его в общем виде. В то время как Диофант был ограничен языком словесной алгебры, Ферма, следуя Виету, уже пользовался символической алгеброй, которая позволяла ему большую возможность абстрагирования. При таких обстоятельствах Френикль написал Ферма в 1641 году и предложил ему задачу: найти треугольник, в котором выполнялось бы следующее уравнение: (x - y)2 = y + z2. Задачи Диофанта неизменно приводят к уравнениям такого типа.