Осенью 1943 года Колтрейн начал совершенствоваться в игре на альт-саксофоне в «Орнстейн скул оф мьюзик», небольшой частной консерватории с хорошей репутацией. По словам его учителя, Колтрейн был дисциплинированным и прилежным студентом. Он проучился в этой консерватории год, совмещая учебу с работой на сахарном заводе. В 1945 году Джона призвали во флот и послали на Гавайские острова. Там он играл в военно-морском оркестре, главным образом на кларнете.
Отслужив положенный срок, он вернулся в Филадельфию. Бибоп тогда только завоевывал позиции, и Колтрейн, будучи саксофонистом, естественно, последовал по стопам Паркера. Он возобновил занятия в консерватории и стал играть с оркестрами «ритм-энд-блюз», которые в то время с успехом исполняли популярную негритянскую музыку. Тогда он уже считался более чем компетентным музыкантом. Он работал с такими известными руководителями, как Кинг Колакс, Биг Мэйбелл, Эдди „Клинхед" Винсон, — все они, конечно, брали к себе только лучших исполнителей. В оркестре Винсона Джону пришлось научиться играть на тенор-саксофоне. Он перешел на этот инструмент с большой неохотой, но постепенно стал отдавать ему предпочтение перед другими. В то время на него оказал заметное влияние Декстер Гордон.
Как уже говорилось, Колтрейн был по натуре застенчивым и мягким. Веселым развлечениям с друзьями он предпочитал занятия в одиночестве. В обществе он держался очень скромно, стараясь не привлекать к себе внимания. Этим он вызывал симпатии окружающих. Спокойный, сдержанный, приятный в обращении, предупредительный, он казался исключением в мире музыкального бизнеса, в котором процветают заносчивость, безудержный эгоизм и жестокий принцип «кто кого?».
В 1949 году Колтрейн играл в большом оркестре Диззи Гиллеспи, и, когда из-за финансовых трудностей оркестр сократился до маленького ансамбля, Диззи оставил в нем Колтрейна — показатель того, каким уважением пользовался Джон среди музыкантов даже в тот ранний период своего творчества. Он выступал с Гиллеспи до 1951 года, а затем вернулся в Филадельфию. Его мать купила там дом, и он поселился вместе с нею. Джон сознавал свою творческую потенцию, чувствовал, что может внести свой вклад в музыку. Разумеется, из этого не следует, что Колтрейн был честолюбивым человеком, как Майлс Девис, или стремился стать «первым среди равных», как Хокинс, или радовался успеху у публики, как Армстронг. Он был глубоко одаренным человеком, им двигало неукротимое стремление к самосовершенствованию. В этом он схож со Скоттом Джоплином.
Он не жалел сил для достижения своих целей. Вернувшись в Филадельфию, он поступил в другую частную консерваторию — «Гранофф скул оф мьюзик». Здесь он занимался по классу саксофона, а также изучал теорию музыки у Денниса Сэндоула, который увлекался запутанными концепциями битональности и ладовых звукорядов, предоставлявших неограниченные возможности для композиции и импровизации.
В 1952 году Колтрейн стал работать с альт-саксофонистом Эрлом Бостиком, который руководил оркестром, игравшим в стилях свинг и ритм-энд-блюз. Бостик принадлежал к школе Ходжеса, но в отличие от последнего его манера характеризовалась неистовыми хаотическими импровизациями. У Бостика была безупречная техника, особенно в верхнем регистре, и Колтрейн многому у него научился. Затем он перешел в оркестр Джонни Ходжеса, который незадолго до того расстался с Эллингтоном. И опять Колтрейну посчастливилось играть с крупнейшим саксофонистом.
В 1954 году он встретил Хуаниту Граббз, или, как ее звали близкие, Наиму. Она была сестрой его друга. Позднее Колтрейн назвал ее именем свою композицию. Джон и Наима поженились в октябре 1955 года. В том же году он получил приглашение от Майлса Девиса, который и вывел его на магистральное направление джаза. Девис всегда окружал себя исполнителями с энергичной манерой игры — отчасти для того, чтобы оттенить свой стиль и внести в общее исполнение ту экспрессию, которой ему самому не хватало. Ему нужен был саксофонист, игравший в стиле Хокинса, Уэбстера, Гордона, Роллинса. Таким и был Колтрейн.
В основном Колтрейн играл в стиле хард-боп. Как и многие саксофонисты его поколения, он воспитывался на игре Хокинса, и в то же время он был современником Паркера, поэтому его игра поначалу сочетала приметы обоих стилей. Позднее он не хотел и не стал играть в той текучей манере, которая отличала Хокинса, Паркера и их последователей, предпочитая отрывистый, резкий стиль, усвоенный им не без влияния Сонни Роллинса. В результате его мелодическая линия распадалась на кусочки, изобиловала непривычными, извилистыми фигурациями, которые, казалось, рождались спонтанно. Его соло в пьесе «It Could Happen to You», в основе которой лежала популярная мелодия, исполнено в среднем темпе и насыщено крошечными, часто не связанными между собой «водоворотами» звуков. В этом соло чувствуется стремление к поиску, которое, возможно, было самой яркой чертой его творчества.
Выступая с Майлсом Девисом в составе самого популярного джазового ансамбля тех лет, Колтрейн обратил на себя внимание публики и вполне мог ожидать предложения выпустить свою собственную пластинку. К сожалению, он был подвержен эмоциональным срывам. В 1957 году он ушел из ансамбля, очевидно по просьбе Майлса Девиса. Колтрейн поселился в доме своей матери в Филадельфии, стал искать новую работу.
Наконец ему представилась возможность проявить себя. Телониус Монк предложил ему ангажемент в клубе «Файв спот», где в свое время состоялись первые публичные выступления Сесила Тейлора и Орнетта Коулмена, давшие импульс распространению свободного джаза. Монк пригласил в свой ансамбль Колтрейна как тенор-саксофониста. Они выступали вместе несколько месяцев. Для Монка это был прорыв заговора молчания вокруг него, а для Колтрейна — проба сил перед взыскательной аудиторией, еще одна ступень в совершенствовании своего мастерства. «Работа с Монком дала мне возможность быть рядом с архитектором музыки высочайшего ранга, — говорил Колтрейн. — Я беседовал с Монком о музыке, он отвечал на мои вопросы, играя на фортепиано. Он предоставил мне такую творческую свободу, которой у меня раньше никогда не было».
Монк, как известно, был своеобразным исполнителем. В его предельно скупой манере не было ничего лишнего, он обладал изумительным чувством внутренней гармонии и уникальной интерпретацией ритма — ироничной, порой с налетом комизма. Манера Колтрейна была почти диаметрально противоположной: полная серьезность и стремление втиснуть в каждый такт как можно больше звуков. Но их сближало пристрастие к нарушениям симметрии. Оба любили изломанные, угловатые линии, оба употребляли метрически необычные фигуры, исполняемые в отрыве от граунд-бита.
К сожалению, ансамбль почти не записывался. Лишь четыре пьесы дошли до нас в записях. Все они — композиции Монка: «Monk's Mood», «Ruby My Dear», «Trinkle, Tinkle» и «Nutty». Последняя композиция, полная игривости, весьма типична для Монка. Основная тема предельно проста, но сопровождается диссонирующими гармониями и акцентами, которые Монк расставляет в самых неожиданных местах, придавая пьесе изящество и очарование. Такая перестановка акцентов особенно заметна в повторяющейся фигуре из двух тонов, которая начинает и завершает каждую четырехтактовую фразу пьесы. В начале фразы эти две четвертные длительности выпадают на первую и вторую доли такта, а в конце фразы они уже приходятся на третью и четвертую доли. В этом есть что-то невольно вызывающее улыбку.
Колтрейн в этих записях демонстрирует стиль, получивший название стиля звуковых пластов („sheets-of-sound" style). Термин означает, что звуки извлекаются столь стремительно, что их нельзя услышать в отдельности, а только в составе сплошной звуковой линии. Колтрейн играл не столь произвольно, как это может показаться по звучанию. Мы знаем, что, начиная с 20-х годов, в джазе уточнялась и совершенствовалась система аккордов. В тот период Колтрейн довел ее до высшей степени сложности; по сути дела, дальше уже некуда было усложнять. Как представитель второго поколения боперов, он, конечно, владел новым гармоническим языком, разработанным пионерами бопа. Занятия с Деннисом Сэндоулом обогатили его знания гармонии, и в середине 50-х годов, он был просто охвачен страстью к экспериментам. Он обнаружил, что любой аккорд можно заменить двумя-тремя другими. Этим приемом часто пользуются пианисты, чтобы обогатить гармоническую линию. В конце 50-х годов Колтрейн разработал систему, которая позволяла ему вместо одного аккорда, предусмотренного стандартной гармонией, брать четыре аккорда.