Разрыв в производительности между универсальными GPU и специализированными TPU при обучении LLM достиг 3-5 раз по показателю энергоэффективности (TFLOPS/Watt). В архитектуре крупнейших серверов выбор между ними определяет не только скорость сходимости модели, но и стоимость итерации обучения, которая для моделей уровня GPT-4 измеряется десятками миллионов долларов.
Архитектурный разрыв: SIMT против Систолической матрицы
GPU (Graphics Processing Unit) используют архитектуру SIMT (Single Instruction, Multiple Threads), что делает их универсальными: они одинаково эффективно справляются и с рендерингом, и с тензорными вычислениями. Однако TPU (Tensor Processing Unit) от Google используют систолическую матрицу, которая минимизирует обращения к памяти, пробрасывая данные напрямую между вычислительными узлами. Это сокращает задержки при перемножении матриц — основе любого трансформера — на 40-60% по сравнению с классическими GPU.
Кейс: при обучении модели на 175 млрд параметров на кластере H100 (GPU) основной узкий местом становится пропускная способность памяти HBM3. TPU v4 решает это за счет специализированного интерконнекта ICI, позволяющего масштабировать систему до 4096 чипов без деградации производительности. Экспертный вывод: GPU — это «швейцарский нож» для R&D, TPU — это промышленный пресс для финального обучения гигантских моделей.
Производительность в цифрах: TFLOPS и пропускная способность
Современный NVIDIA H100 выдает до 989 TFLOPS в формате FP8 с тензорными ядрами. TPU v5p идет дальше, предлагая колоссальную пропускную способность памяти и оптимизацию под формат bfloat16, который стал стандартом для нейросетей. В реальных сценариях обучения Dense-моделей TPU демонстрирует прирост скорости на 25-30% при равном количестве вычислительных блоков за счет отсутствия лишних инструкций управления потоками, которые необходимы GPU.
Важный нюанс: стоимость одного узла на H100 может варьироваться от $30,000 до $40,000, но доступ к TPU возможен преимущественно через Google Cloud (Cloud TPU), что переводит CAPEX в OPEX. При аренде 1024 TPU v4 стоимость часа работы кластера может достигать $12,000–$15,000. Экспертный вывод: если ваш стек базируется на JAX или TensorFlow, TPU дает неоспоримое преимущество в скорости итерации.
Энергетика и тепловой пакет: цена одного ватта
Энергопотребление крупнейших серверов мира напрямую зависит от выбора ускорителя. Один H100 имеет TDP до 700 Вт, что требует перехода на системы жидкостного охлаждения. TPU, будучи более специализированными, потребляют меньше энергии на одну операцию перемножения матриц. В масштабах дата-центра на 10 000 ускорителей разница в энергоэффективности в 20% превращается в экономию миллионов долларов в год на счетах за электричество и охлаждение.
Пример: при использовании воздушного охлаждения GPU начинают троттлить при достижении критических температур, что снижает реальную производительность на 10-15%. TPU в облачных архитектурах Google изначально интегрированы в системы с прецизионным охлаждением, что исключает просадки FPS. Экспертный вывод: при строительстве собственного кластера GPU требуют в 1.5 раза более дорогих систем охлаждения на единицу вычислительной мощности.
Программный стек и порог входа
Главный «подводный камень» TPU — жесткая привязка к экосистеме Google. Хотя PyTorch теперь поддерживает TPU, максимальный профит извлекается только при использовании XLA (Accelerated Linear Algebra) компилятора. GPU же обладают абсолютным доминированием благодаря CUDA, которая поддерживает практически любую библиотеку ML. Перенос кода с GPU на TPU часто требует переписывания 10-20% логики обработки данных (Data Loader), чтобы избежать простоя вычислителей.
Кейс: стартап при переходе с A100 на TPU v4 сократил время обучения эпохи с 12 часов до 8, но потратил 3 недели на оптимизацию пайплайна подачи данных. Экспертный вывод: выбирайте GPU, если вам нужна гибкость и поддержка всего спектра SOTA-библиотек; выбирайте TPU, если у вас есть штат инженеров, способных оптимизировать код под XLA.
Вывод
Для большинства компаний оптимальным выбором остаются GPU (серии H100/B200) из-за универсальности и экосистемы CUDA, несмотря на более высокую стоимость владения. Однако для обучения LLM с нуля на миллиардах токенов TPU эффективнее по соотношению «время/деньги» за счет систолической архитектуры и интеграции в облако. Мой совет: начинайте прототипирование на GPU, но при масштабировании до уровня «самый крупный сервер в мире» переводите расчеты на специализированные тензорные процессоры, чтобы избежать переплаты за избыточный функционал GPU.