Первые экспериментальные работы Капицы в институте относятся к изучению некоторых физических явлений в сверхсильных магнитных полях более 300 тысяч эрстед. Он также занимается разработкой методов и техники ожижения водорода и гелия и проводит серию экспериментов при низких температурах. Впоследствии они увенчались крупным открытием.
Капица создает новый тип ожижителей, применив в них вместо детандера, т.е. поршня, турбодетандер — турбину. Этому предшествовало серьезнейшее исследование работы высокооборотных турбодетандеров и решение других сложных задач.
Компактные турбодетандеры Капицы имели высокий коэффициент полезного действия. Применение таких турбодетандеров позволяло также получать большие количества газообразного кислорода из воздуха. Эти работы, в которых проявился многогранный талант Капицы как ученого-физика в инженера, позволили создать новые методы ожижения и разделения газов. Таким образом, существенно изменилось развитие техники получения больших количеств кислорода. Чисто технологическими проблемами получения кислорода Капице пришлось заняться в годы второй мировой войны.
Жидкий гелий был впервые получен голландским физиком лауреатом Нобелевской премии Гейке Камерлинг-Оннесом в начале века. К тому времени уже удалось ожижить все другие газы, в том числе инертные, кроме гелия, оказавшегося самым «неподдатливым» для ожижения. Гелий превращается в жидкость при температуре, близкой к абсолютному нулю, который соответствует — 273,13° Цельсия.
Жидкий гелий сам по себе чрезвычайно интересный объект для изучения. Он служит холодильным агентом для всех исследований, проводимых вблизи абсолютного нуля. В отличие от всех известных газов жидкий гелий не переходит в твердое состояние даже при температурах вплоть до тысячных долей градуса от абсолютного нуля. Его можно превратить в твердое тело только при давлении, начиная от 25 атмосфер. Эти краткие сведения позволяют объяснить то, что многие физики, начиная от самого Камерлинг-Оннеса, с большим увлечением исследовали жидкий гелий. Они надеялись, что именно здесь можно открыть совершенно неожиданные явления, не существующие в обычных условиях.
Одним из блестящих подтверждений этих надежд было открытие самим Камерлинг-Оннесом в своей Лейденской лаборатории существования двух состояний жидкого гелия, в связи с чем и приняты два названия: гелий-I и гелий-II Экспериментально полученные данные глубоко противоречили теоретическим представлениям о теплопроводности. Иначе говоря, объяснить столь высокую теплопроводность с помощью общепринятого механизма теплопроводности оказалось невозможным. Но тепло в жидкостях и газах может передаваться еще посредством так называемых конвекционных потоков.
Если интенсивную передачу тепла в гелии-II нельзя объяснить с точки зрения обычного механизма теплопроводности, то здесь, вероятно, происходит как раз конвекционная передача тепла. Так думал Капица. Он предположил, что в гелии-II легко возникают потоки жидкости, чем и объясняется чрезвычайно большая способность его переносить тепло. Капица подсчитал, что интенсивная передача тепла могла осуществляться только такими конвекционными потоками, которые должны течь с необычной легкостью. Поэтому он предположил (по аналогии со сверхпроводимостью, давно открытой Камерлинг-Оннесом), что гелий-II при сверхнизких температурах представляет «чрезвычайно текучую, т.е. такую жидкость, которая не имеет вязкости».
Тончайшие и остроумнейшие эксперименты Капицы, с помощью которых он измерял вязкость гелия-II, хорошо известны физикам. По осуществленным Капицей измерениям вязкость гелия-II оказалась почти в 10 тысяч раз меньше, чем вязкость наиболее подвижного из известных веществ — жидкого водорода. Вода же обладала в миллиард раз большей вязкостью, чем жидкий гелий.
Капица сделал весьма смелое заключение из своих опытов: гелий-II течет как жидкость, вообще не имеющая вязкости. Он предложил назвать открытое им свойство гелия-II сверхтекучестью. В последующие годы Капица продолжал изучать сверхтекучесть и открыл некоторые поразительные свойства гелия-II. Один из замечательных экспериментов Капицы заключался в том, что перед отверстием сосуда, наполненного жидким гелием (и погруженного в жидкий гелий), подвешивалось легкое крылышко. При нагревании гелия в сосуде крылышко отклонялось.