Durante a conferência Supercomputing 2024, a NVIDIA anunciou a mais recente adição à família Hopper: a GPU NVIDIA H200 NVL PCIe. A H200 NVL é ideal para data centers corporativos que buscam designs de rack refrigerados a ar com baixa potência e configurações flexíveis, acelerando o trabalho de IA e HPC de qualquer tamanho.
Cerca de 70% dos racks corporativos são de 20 kW e usam resfriamento a ar. O que torna as GPUs PCIe essenciais na implementação de nós, seja usando uma, duas, quatro ou oito GPUs. Isso permite que os data centers aumentem a capacidade em espaços menores, utilizando racks existentes e selecionando GPUs conforme necessário.
- GPUs Blackwell: Nvidia anuncia dobro de desempenho comparado a Hopper
- Linha de produção de GPUs NVIDIA já está focada nas RTX 50
- NVIDIA App: o que é e como funciona o novo software da NVIDIA
Benefícios
A H200 NVL tem ganho de memória em 1,5x e de largura de banda em 1,2x quando comparada à H100 NVL, permitindo ajustar os Large Language Model (LLMs) em poucas horas e oferece desempenho de inferência até 1,7x mais rápido.
Quando ao desempenho HPC, há um aumento de até 1,3x em comparação com a H100 NVL e 2,5x em relação à geração NVIDIA Ampere.
Com a tecnologia NVLink, a H200 NVL oferece comunicação entre GPUs 7 vezes mais rápida que o PCIe de quinta geração, proporcionando maior desempenho para HPC, o que melhora a inferência dos Large Language Model (LLMs) e o ajuste fino.
Disponibilidade
A H200 NVL vem com uma assinatura de cinco anos do NVIDIA AI Enterprise, uma plataforma de software nativa da nuvem para desenvolvimento e implantação de IA de produção. Também inclui os microsserviços NVIDIA NIM para a implantação segura e confiável de inferência de modelos de IA de alto desempenho.
O novo modelo de GPU estará disponível em plataformas de parceiros globais da NVIDIA, como Dell Technologies, Hewlett Packard Enterprise, Lenovo e Supermicro, a partir de dezembro. E a NVIDIA também está desenvolvendo uma Arquitetura de Referência Empresarial para sistemas H200 NVL.
Fonte: NVIDIA.
from Tudo sobre Notícias - Adrenaline https://ift.tt/QuH8kTr
via IFTTT