Коротко: для обучения и инференса больших языковых моделей главное в ускорителе — объём и скорость видеопамяти.
NVIDIA H100 остаётся рабочей лошадкой с 80 ГБ HBM3, H200 даёт 141 ГБ и в 1,4 раза более быструю память при той же вычислительной мощности, B200 на архитектуре Blackwell — до 180 ГБ и поддержку FP4. Для инференса и графики без жидкостного охлаждения выбирают
L40S на 48 ГБ или
RTX PRO 6000 Blackwell на 96 ГБ, для видеоаналитики и компактных серверов —
L4 на 72 Вт. Ниже — сравнение всех актуальных GPU, цены и подбор под задачу.
Сравнение серверных GPU для ИИ: характеристики
| Ускоритель | Архитектура | Память | Пропускная способность | Потребление | Охлаждение |
|---|
| NVIDIA L4 | Ada Lovelace | 24 ГБ GDDR6 | 300 ГБ/с | 72 Вт | пассивное, низкий профиль |
| NVIDIA A100 | Ampere | 40 или 80 ГБ HBM2e | до 2,0 ТБ/с | 300–400 Вт | воздух |
| NVIDIA L40S | Ada Lovelace | 48 ГБ GDDR6 ECC | 864 ГБ/с | 350 Вт | воздух |
| RTX PRO 6000 Blackwell | Blackwell | 96 ГБ GDDR7 ECC | 1,8 ТБ/с | 300–600 Вт | воздух |
| NVIDIA H100 | Hopper | 80 ГБ HBM3 | до 3,35 ТБ/с (SXM) | 350–700 Вт | воздух или жидкость |
| NVIDIA H200 | Hopper | 141 ГБ HBM3e | 4,8 ТБ/с | до 700 Вт | воздух или жидкость |
| NVIDIA B200 | Blackwell | 180 ГБ HBM3e | 8 ТБ/с | до 1000 Вт | воздух или жидкость |
| AMD Instinct MI355X | CDNA 4 | 288 ГБ HBM3E | 8 ТБ/с | до 1400 Вт | жидкость |
Характеристики — по данным NVIDIA и AMD. У H100 есть версии PCIe (2 ТБ/с, 350 Вт) и SXM (3,35 ТБ/с, 700 Вт); H200, B200 и MI355X поставляются в составе серверных платформ по 8 ускорителей.
Почему память важнее терафлопсов
Языковая модель должна целиком поместиться в видеопамять вместе с кэшем контекста. Модель на 70 млрд параметров в FP8 занимает около 70 ГБ — она влезает в один H100 впритык, а в H200 остаётся запас на длинный контекст и несколько пользователей. Модель на 400 млрд параметров требует уже сервера на 8 GPU. Скорость генерации ответа почти линейно зависит от пропускной способности памяти: поэтому H200 на тех же вычислительных блоках отвечает заметно быстрее H100, а B200 и MI355X — ещё быстрее.
| Модель | Размер в FP8 | Минимальная конфигурация |
|---|
| до 13 млрд параметров | до 15 ГБ | 1 × L4 или L40S |
| 30–34 млрд | 35–40 ГБ | 1 × L40S или RTX PRO 6000 |
| 70 млрд | около 70 ГБ | 1 × H100, комфортно 1 × H200 или RTX PRO 6000 |
| 120 млрд (MoE) | около 65 ГБ в 4 битах | 1 × H100 или RTX PRO 6000 |
| 400 млрд и больше | 400+ ГБ | сервер 8 × H200, 8 × B200 или 8 × MI355X |
Оценка без учёта кэша контекста: при длинных диалогах и десятках одновременных пользователей памяти нужно в 1,5–2 раза больше.
Каждый ускоритель в двух словах
- NVIDIA L4 — компактная карта на 72 Вт для видеоаналитики, распознавания речи и небольших моделей. Ставится в обычные 1U-серверы по несколько штук.
- NVIDIA A100 — предыдущее поколение, которое до сих пор работает в тысячах дата-центров. Хороший вариант для бюджетного обучения и инференса, если не нужен FP8.
- NVIDIA L40S — универсал для инференса, генерации изображений, рендеринга и VDI. Воздушное охлаждение и PCIe-формат.
- RTX PRO 6000 Blackwell — 96 ГБ GDDR7 в формате PCIe. Самая доступная по цене гигабайта память для моделей до 70–120 млрд параметров.
- NVIDIA H100 — стандарт для обучения и инференса больших моделей, поддержка FP8 и NVLink.
- NVIDIA H200 — та же вычислительная часть, но 141 ГБ памяти и 4,8 ТБ/с. Лучший выбор для инференса крупных моделей в 2026 году по соотношению цены и доступности.
- NVIDIA B200 — Blackwell с FP4 и памятью 180 ГБ. По данным NVIDIA, в инференсе быстрее H100 в разы, но требует нового уровня энергопотребления и охлаждения.
- AMD Instinct MI355X — 288 ГБ HBM3E на ускоритель, главный конкурент B200. Экосистема ROCm быстро догоняет CUDA, но под конкретный софт её стоит проверять заранее.
Цены на GPU и серверы для ИИ в Grace Team
| Позиция | Что это | Цена |
|---|
| NVIDIA A100 40/80 ГБ | ускоритель | от 546 000 ₽ |
| NVIDIA L4 24 ГБ | ускоритель | 572 000 ₽ |
| RTX PRO 4500 Blackwell Server Edition 32 ГБ | ускоритель | 816 600 ₽ |
| NVIDIA L40S 48 ГБ | ускоритель | 1 159 000 ₽ |
| RTX PRO 6000 Blackwell 96 ГБ | ускоритель | 1 739 000 ₽ |
| NVIDIA H100 80 ГБ | ускоритель | 2 475 700 ₽ |
| NVIDIA HGX H200 8-GPU | платформа на 8 ускорителей | 6 550 000 ₽ |
| NVIDIA DGX H100 | готовый сервер 8 × H100 | 26 688 400 ₽ |
| Gigabyte G4L3-ZX1 (8 × MI355X) | готовый сервер | 48 000 000 ₽ |
| QuantaGrid D74H (8 × H200) | готовый сервер под заказ | 70 400 000 ₽ |
| NVIDIA DGX B200 | готовый сервер 8 × B200, 1440 ГБ | 119 549 000 ₽ |
Цены — из каталога Grace Team на момент обновления статьи; на серверное оборудование стоимость и сроки поставки уточняйте у менеджера.
Какой GPU выбрать под задачу
| Задача | Рекомендация | Почему |
|---|
| Видеоаналитика, распознавание речи, малые модели | L4 | 72 Вт, низкий профиль, несколько карт в 1U |
| Корпоративный чат-бот на модели до 70 млрд | RTX PRO 6000 или H100 | модель помещается в один ускоритель |
| Генерация изображений и видео, рендеринг, VDI | L40S или RTX PRO 6000 | сильная графика, воздушное охлаждение, PCIe |
| Инференс крупных моделей для сотен пользователей | сервер 8 × H200 | 141 ГБ на GPU и 4,8 ТБ/с |
| Обучение и дообучение моделей | HGX H200 или DGX B200 | NVLink между ускорителями и максимальная мощность |
| Максимум памяти на один сервер | 8 × MI355X | 2,3 ТБ HBM3E в одной системе |
| Ограниченный бюджет и проверенный софт | A100 | зрелая платформа по доступной цене |
На что ещё обратить внимание
- Питание и охлаждение. Сервер на 8 × H200 потребляет 10–11 кВт, на 8 × B200 — до 14 кВт. Проверьте, выдержит ли стойка и кондиционирование серверной.
- NVLink или PCIe. Для обучения больших моделей нужна быстрая связь между GPU — это платформы HGX и DGX. Для инференса небольших моделей хватает PCIe-карт.
- Сеть. Кластер из нескольких серверов требует сетевых адаптеров на 100–400 Гбит/с.
- Программная поддержка. CUDA, TensorRT-LLM и vLLM лучше всего работают на NVIDIA; для AMD используется ROCm.
Подробнее о сборке сервера — в статье
«Сервер для ИИ: как подобрать конфигурацию», о различиях двух Hopper — в материале
«NVIDIA H200 или H100».
Где купить GPU для ИИ
Grace Team поставляет серверные ускорители NVIDIA и AMD, платформы HGX и готовые серверы DGX, а также процессоры, память и накопители для них. Поможем рассчитать конфигурацию под ваши модели и нагрузку, работаем с юридическими лицами по безналичному расчёту, доставляем по всей России. Все позиции — в разделе
Серверное оборудование, консультация — по телефону
+7 (915) 006-34-31 или в
Telegram.
Частые вопросы
Чем H200 отличается от H100?
Вычислительная часть у них одинаковая, но у H200 141 ГБ памяти HBM3e вместо 80 ГБ и пропускная способность 4,8 ТБ/с вместо 3,35 ТБ/с. В инференсе крупных моделей H200 работает заметно быстрее и обслуживает больше пользователей.
Стоит ли брать B200 вместо H200?
Если нужна максимальная скорость и вы готовы к энергопотреблению до 1000 Вт на ускоритель — да. B200 поддерживает FP4 и имеет 180 ГБ памяти. Если бюджет и инфраструктура ограничены, H200 остаётся более практичным выбором.
Какая видеокарта нужна для модели на 70 млрд параметров?
В FP8 такая модель занимает около 70 ГБ: она помещается в один H100 80 ГБ, H200 или RTX PRO 6000 на 96 ГБ. Для многих пользователей и длинного контекста лучше H200.
Что выбрать для инференса без жидкостного охлаждения?
L40S, RTX PRO 6000 Blackwell или H100 PCIe — они работают в серверах с воздушным охлаждением и ставятся в стандартные слоты PCIe.
Сколько стоит NVIDIA H100?
В Grace Team NVIDIA H100 80 ГБ стоит 2 475 700 ₽, платформа HGX H200 на 8 ускорителей — 6 550 000 ₽. Точную цену и сроки уточняйте у менеджера.
Источники
- NVIDIA H100 Tensor Core GPU. nvidia.com
- NVIDIA H200 Tensor Core GPU. nvidia.com
- NVIDIA DGX B200. nvidia.com
- NVIDIA L40S. nvidia.com
- NVIDIA L4. nvidia.com
- AMD Instinct MI355X. amd.com