Видеокарта NVIDIA L4 24GB GPU Tensor Core представляет собой энергоэффективное решение на архитектуре Ada Lovelace, предназначенное для задач AI-инференса, обработки видео и виртуализации на периферийных устройствах. С объёмом памяти 24 GB GDDR6 и пропускной способностью 300 GB/s, она обеспечивает стабильную работу моделей, таких как deepseek‑r1:32b и qwen3:32b, в компактных и распределённых инфраструктурах.
Карта оснащена 7424 CUDA-ядрами и тензорными ядрами 4-го поколения, обеспечивая высокую производительность в вычислениях с плавающей точкой и поддерживая различные форматы точности, включая FP32, TF32, FP16, BF16, FP8 и INT8. Поддержка NVENC и NVDEC с AV1 и JPEG позволяет эффективно обрабатывать видео и графику. Отсутствие видеовыходов подтверждает её роль как серверного ускорителя, а не визуальной карты.

NVIDIA L4 Tensor Core GPU основан на архитектуре NVIDIA Ada, которая ориентирована на задачи ИИ и графики, и включает аппаратную поддержку операций GEMM в форматах FP16, FP32, BF16, FP8, INT8, INT4 и TF32. В даташите NVIDIA L4 указывается, что ускоритель имеет 24 ГБ GDDR6, пропускную способность памяти 300 GB/s и интерфейс PCIe Gen4 x16 с полосой до 64 GB/s. Архитектура Tensor Core обеспечивает до 485 teraFLOPs FP8 и 485 TOPS INT4/INT8 (с учётом sparsity), а также 242 teraFLOPs BF16/FP16 и 120 teraFLOPs FP32, что делает L4 мощным, но энергоэффективным ускорителем для широкого набора задач.
Подсистема памяти NVIDIA L4 реализована на базе 24 GB GDDR6. В таблице характеристик Exalit и PNY указано: GPU Memory 24GB GDDR6, Memory bandwidth 300 GB/s. В официальном даташите NVIDIA L4 отмечается, что форм-фактор — 1-slot low-profile, PCIe, а интерфейс — PCIe Gen4 x16, обеспечивающий 64 GB/s пропускной способности между GPU и хост-системой. Такой набор параметров сбалансирован для задач инференса, графики и видео при низком TDP до 72W, что подтверждается строкой Max thermal design power (TDP) 72W в спецификационной таблице.
Функциональные блоки для мультимедиа включают 2 NVENC, 4 NVDEC и 4 JPEG-декодера, что прямо указано в спецификациях NVIDIA L4 (таблица NVENC | NVDEC | JPEG decoders: 2 | 4 | 4). Это позволяет одновременно декодировать несколько потоков видео, выполнять транскодирование и предварительную обработку контента, а также использовать аппаратное ускорение при работе с мультимедийными данными. В даташите NVIDIA L4 GPU Accelerator перечислены целевые сценарии: AI, video, virtual workstations и graphics applications, причём подчёркивается использование в enterprise, cloud и edge-средах.