Развертывание системы уровня Top500 требует инвестиций от $100 млн до $600 млн только на этапе закупки железа, где стоимость одного узла с H100 GPU может превышать $40 000. В таких масштабах ошибка в расчете PUE (Power Usage Effectiveness) на 0.1 пункта ведет к переплате в миллионы долларов ежегодно.
CAPEX: Железо и стоимость вычислительных узлов
Основная доля капитальных затрат приходится на вычислительные модули и интерконнект. Современный суперкомпьютер строится на базе ускорителей (GPU/TPU); например, один серверный блок с 8-ю NVIDIA H100 и 2 ТБ оперативной памяти обходится в $300 000–$450 000. При масштабировании до тысяч узлов стоимость только вычислительной части переваливает за $200 млн. Важнейшим элементом становится пропускная способность сетей в крупнейших серверах, где внедрение InfiniBand NDR (400 Гбит/с) добавляет к смете еще 15–20% стоимости за счет дорогостоящих коммутаторов и активного оптоволокна.
Кейс: переход с традиционных CPU-кластеров на GPU-ориентированные системы сокращает физическое количество стоек в 5-7 раз при росте производительности в 50 раз, но увеличивает стоимость одного юника в 10 раз. Экспертный вывод: инвестировать нужно в максимальную плотность вычислений на квадратный метр, так как стоимость аренды и охлаждения растет линейно, а производительность при использовании GPU — экспоненциально.
Инфраструктурные затраты и подготовка площадей
Стоимость строительства специализированного ЦОД под сверхмощную систему составляет от $5 000 до $12 000 за кВт установленной мощности. Для сервера мощностью 20 МВт только инженерная инфраструктура (бетон, электрощитовые, системы пожаротушения) потребует $100–240 млн. Критическим фактором является эволюция форм-факторов: переход от стандартных 19-дюймовых стоек к кастомным модулям позволяет сэкономить до 12% площади, но усложняет сервисное обслуживание.
Пример: аренда Tier III дата-центра обходится дешевле на старте, но стоимость одного кВт/час там выше на 20-30%, чем в собственном энергоцентре. Экспертный вывод: при мощности выше 10 МВт строительство собственного объекта окупается за 4-6 лет за счет оптимизации энергопотребления крупнейших серверов мира.
Системы охлаждения: CAPEX против OPEX
Традиционное воздушное охлаждение бессильно при плотности более 30 кВт на стойку. Внедрение систем жидкостного охлаждения для сверхмощных серверов увеличивает CAPEX на этапе строительства на 15–25%, но снижает OPEX на электроэнергию для вентиляторов на 30-40%. Прямое жидкостное охлаждение (DLC) обходится в $15 000–$25 000 на стойку, в то время как иммерсионные ванны могут стоить до $50 000 за модуль, включая стоимость диэлектрика.
Мини-кейс: замена кондиционеров на систему чиллеров с использованием «фрикулинга» в северных широтах позволяет снизить PUE с 1.6 до 1.1, что экономит до $1,2 млн в год при потреблении 10 МВт. Экспертный вывод: жидкостное охлаждение сегодня — не опция, а необходимость; экономия на нем ведет к троттлингу процессоров и потере до 15% реальной производительности.
Операционные расходы (OPEX) и обслуживание
Электричество составляет до 60% всех операционных затрат. При стоимости кВт/ч в $0.08 и потреблении системы в 20 МВт, ежемесячный счет за свет составит около $1.15 млн. Дополнительные расходы включают лицензии на специализированное ПО (HPC-стеки, планировщики Slurm) и ФОТ команды инженеров. Обслуживание одного суперкомпьютера требует штата из 5-10 высококвалифицированных системных архитекторов с зарплатами от $150 000 в год на человека.
Риск: износ SSD-накопителей при интенсивной записи Big Data приводит к необходимости замены до 10-15% парка дисков ежегодно. Экспертный вывод: закладывайте в OPEX минимум 10% от стоимости железа ежегодно на поддержку и обновление компонентов, иначе система морально устареет быстрее, чем окупится.
Вывод
Оптимальная стратегия развертывания крупнейшего сервера сегодня — это ставка на максимальную плотность GPU и переход на прямое жидкостное охлаждение. Избегайте аренды стандартных стоек в общих ЦОД, так как они не выдержат тепловую нагрузку и потребуют переплаты за электроэнергию. Начинать следует с детального расчета PUE и выбора между H100 и TPU в зависимости от задач (обучение LLM или расчеты), так как разница в стоимости владения этими архитектурами может достигать 20% при равной производительности.
