"Кроме того, мы ориентировались на решения со скалярными процессорами, говорит Анцыпович, - поскольку векторные процессоры, хоть они и эффективнее для наших задач, уже вытеснялись с рынка". К сожалению, обоснование и согласование такого ограничения заняло два года, и процедуры, через которые проходила конкурсная документация, практически блокировали обновление сформулированных технических требований.
В результате конкурсного отбора, в котором победила компания IBS, для центра в Москве был закуплен комплекс из двух кластеров. Основным средством для расчета оперативных прогнозов станет кластер SGI Alltix 4700. Он имеет пиковую производительность 11 Тфлопс и состоит из 832 процессоров Intel Itanium 2 9140М с оперативной памятью по 4 Гбайт на каждое процессорное ядро. Конструктивно в одном узле суперкомпьютера объединено 128 процессорных ядер - такая конфигурация, по словам Анцыповича, наиболее эффективна на основных вычислительных алгоритмах, используемых при моделировании атмосферных процессов.
Второй кластер SGI Alltix ICE на базе процессоров Intel Xeon е5440 обладает пиковой производительностью 16 Тфлопс. Этот компьютер, несмотря на большую пиковую мощность, в оперативных расчетах менее эффективен и будет использован для остальных вычислительных задач. По общей производительности - 27 Тфлопс - комплекс превосходит предыдущий "штатный" суперкомпьютер Cray Y-MP в десять тысяч раз.
В настоящее время оборудование смонтировано, и начались эксперименты с прогностическими моделями нового класса. В течение года Гидрометцентр России и ГВЦ Росгидромета планируют полностью перевести оперативные технологии на новый комплекс. Параллельно с этим начнутся работы над моделями следующего поколения, для которых потребуется следующая модернизация вычислительных ресурсов.
С момента остановки комплекса Cray Y-MP расчет оперативных прогнозов был переведен на временные решения: серверы на базе процессоров Intel Xeon и кластер из четырех двухпроцессорных серверов на базе процессоров Intel Itanium 2. В арсенале ГВЦ Росгидромета имеется также ряд серверов на базе тех же процессоров. Эта техника - по сути, та самая тестовая лаборатория, на которой проводился анализ имеющихся в мире кластерных решений. Общая производительность этих компьютеров - примерно 100 Гфлопс.
"Если сравнивать новые закупленные мощности с мощностями других мировых метеорологических центров, - говорит Анцыпович, - мы уверенно занимаем второе место. Если говорить о метеорологических центрах ВМО всех рангов, то с вводом нового комплекса мы тоже оказываемся в серединке". Однако быть в середнячках Гидрометцентру остается не долго. По словам Анцыповича, в ближайшие год-два многие метеоцентры проведут модернизацию своих суперкомпьютеров, повысив их производительность на порядок и более. Идет своеобразная игра в догонялки. Национальный метеорологический центр США к моменту начала разработки проекта по закупке нового суперкомпьютера для ВЦ Гидрометцентра уже обладал двумя кластерами по 12–13 Тфлопс. А сейчас производительность американского комплекса превышает 90 Тфлопс [Разница в производительности не определяет разницу в точности прогнозов, ведь многое решают и конкретные алгоритмы счета. Если же говорить о самых точных прогнозах, то в метеосообществе признанным лидером является Европейский центр среднесрочных прогнозов погоды, базирующийся в Англии (г. Рэдинг)].
Прогноз на прогнозы
После того как оперативные прогнозы погоды будут считаться на новой машине, мы станем получать данные о погоде совсем другого уровня. Сегодня Гидрометцентр дает прогноз на пять-семь суток.
"Точность на первые двадцать четыре часа сейчас наивысшая, - говорит Анцыпович. - А стопроцентного совпадения не может быть даже теоретически. Даже через год, когда наши вычислительные мощности заметно возрастут, и мы сможем давать прогноз на семь-десять суток, выигрыш в первых сутках достигнет лишь доли процента: повышение дается тут очень трудно. А вот "хвост" существенно улучшится. Мы ожидаем, что прогноз на пятые сутки по качеству будет таким же, как сейчас на третьи".
Также повысится детализация прогноза. Сегодня московский Гидрометцентр рассчитывает прогноз по всей планете с шагом 150 километров. Ожидаемые через год модели, охватывающие весь земной шар, будут считать с шагом 40 километров, а по территории России - 14–15 километров. Для такого мегаполиса, как Москва, с использованием так называемых мезомасштабных моделей разрешение возрастет до трех-пяти километров, то есть можно будет давать прогнозы по каждому району города в отдельности.
ВЦ Гидрометцентра уже приступил к проработке очередной модернизации. В следующем поколении суперкомпьютеров, по словам Анцыповича, непременно будут использоваться всевозможные ускорители, дополняющие многопроцессорные системы. "Эта идеология используется в проектах СКИФ, - говорит он. - Кластер плюс ускоритель - к этому сейчас многие приходят. Нам нужно понять, как и какие ускорители лучше применять в наших алгоритмах". Кроме того, перед Гидрометцентром серьезно встал вопрос энергопотребления будущих вычислительных комплексов, так как организация вплотную подошла к максимально разрешенному ей уровню потребления электроэнергии. Вот таким забавным образом работа Гидрометцентра вскоре может оказаться связанной с энергетическим кризисом, поддающимся прогнозированию еще хуже, чем погода.
Центр стоит, служба идет
Прогноз погоды невозможно сделать на основании наблюдений только на территории своей страны, так как по экономическим и политическим причинам ни одна страна мира не может содержать метеорологическую сеть, охватывающую весь земной шар. Всемирная метеорологическая организация (ВМО) объединяет ресурсы всех стран, обеспечивая обмен данными наблюдений и распространение результатов оперативных прогностических моделей в мощных центрах обработки. С учетом того, что далеко не все страны имеют возможность создавать такие центры (их в мире около двух десятков), участие национальных метеорологических служб в ВМО позволяет снабдить информацией всех, кто в ней нуждается. На стол любого синоптика в любой стране мира ложатся карты не только своего национального центра обработки данных, тем самым технологии подготовки прогностической информации хорошо зарезервированы. Даже если один из центров обработки информации по какой-либо причине временно не может выдавать прогнозы, перебоев с ними все равно не бывает.
В вычислительных подразделениях Росгидромета, в функции которых входит оперативная обработка гидрометеорологической информации, можно выделить три уровня. Центр федерального уровня, самый мощный, находится в Москве. Одновременно он является и одним из трех мировых метеорологических центров ВМО. Два других находятся в Вашингтоне и Мельбурне. Второй уровень в иерархии вычислительных центров Росгидромета - Новосибирский и Хабаровский центры, которые относятся к Региональным метеорологическим специализированным центрам ВМО. Их специализация - прогноз по соответствующему региону; кроме того, они являются дублерами московского центра в обеспечении прогностических расчетов по территории России. Помимо этих центров есть девяносто четыре прогностических центра, занимающиеся интерпретацией расчетов. Там решаются задачи визуализации данных, полученных от российских и зарубежных центров оперативного моделирования.
Борьба с локальным потеплением
Рассказать о том, как охлаждается эта махина, мы попросили системного архитектора из компании IBS СЕРГЕЯ ДИКОГО.
- Вариантов охлаждения суперкомпьютеров существует великое множество, а их выбор зависит от особенностей охлаждаемого оборудования. Например, Cray Y-MP охлаждался жидким фреоном температурой минус 20–40 градусов, подводившимся непосредственно к платам.