NVIDIA DGX H100 — это передовая серверная платформа на базе архитектуры Hopper, разработанная для масштабных задач искусственного интеллекта и высокопроизводительных вычислений (HPC). Система объединяет 8 графических процессоров (GPU) H100, обеспечивая исключительную скорость обучения и развёртывания нейросетей.
DGX H100 — базовая система линейки Hopper, появившаяся в 2023 году. Сервер построен на восьми графических процессорах NVIDIA H100 SXM, объединённых через четвёртое поколение NVSwitch. Каждый GPU имеет 80 ГБ HBM3 памяти с пропускной способностью около 3,3 ТБ/с. Общий объём GPU-памяти — 640 ГБ.
Система использует два процессора Intel Xeon Platinum 8480C (по 56 ядер каждый), 2 ТБ оперативной памяти DDR5 и хранилище из NVMe-накопителей суммарной ёмкостью более 30 ТБ. Встроенные сетевые интерфейсы — восемь портов 400 Gb/s NVIDIA ConnectX-7 для межсерверных соединений и два dual-port адаптера для LAN и Storage-сетей.
AI-производительность — до 32 PFLOPS FP8 на систему. Энергопотребление — около 10,2 кВт. DGX H100 ориентирован на команды, которым нужна проверенная конфигурация для обучения и инференса моделей до десятков миллиардов параметров и максимальная совместимость с текущими фреймворками PyTorch и TensorFlow.
Характеристики системы:

• Графические процессоры (GPU): 8 ускорителей NVIDIA H100 (форм-фактор SXM5).
• Видеопамять: 640 ГБ в сумме (по 80 ГБ HBM3 на каждый GPU) с пропускной способностью до 3.35 ТБ/с на чип.
• Центральные процессоры (CPU): 2 новейших процессора Intel Xeon Platinum (семейство Sapphire Rapids).
• Оперативная память: до 2 ТБ системной памяти.
• Сетевые интерфейсы: 8 сетевых адаптеров NVIDIA ConnectX-7 с пропускной способностью 400 Гбит/с каждый, плюс 4 коммутатора NVIDIA NVSwitch для связи GPU между собой.
• Форм-фактор: мощный сервер для монтажа в стойку высотой 8U.
• Энергопотребление: пиковое энергопотребление системы достигает внушительных 10.2 кВт.