IT 노하우 뉴스 정보 공유 커뮤니티

**인텔(Intel)**은 Gaudi 3 AI 가속기를 발표했습니다. 이 가속기는 128GB HBM2e 메모리를 탑재하고 있으며, Nvidia H100과 AMD MI300과 경쟁할 것으로 기대됩니다¹. Gaudi 3는 5세대 Tensor 코어 64개, 128GB HBM2e 메모리 (3.7Gbps), 초당 3.7TB의 대역폭을 특징으로 합니다. 이는 이전 세대인 Gaudi 2보다 상당한 개선을 보여줍니다.

Gaudi 2는 24개의 Tensor 코어, 96GB HBM2e 메모리 (3.27Gbps), 초당 2.45TB의 대역폭을 가지고 있었습니다¹. 또한 Gaudi 3에는 96MB의 SRAM도 포함되어 있으며, 12.8TB/s의 대역폭을 제공합니다. 다른 중요한 사양으로는 128GB VRAM, FP8 및 BF16 매트릭스에서 1,835 TFLOPS의 성능, 그리고 공기 냉각 시 900W의 전력 소비가 있습니다. Gaudi 3는 Llama2 7B 및 13B 매개 변수, 그리고 GPT-3 175B 매개 변수 모델에서 Nvidia H100보다 50% 빠른 추론 속도를 제공한다고 합니다. 또한 Llama 7B 및 70B 매개 변수, 그리고 Falcon 180B 매개 변수 모델에서는 추론 속도가 50% 빠르고 추론 전력 효율이 40% 더 뛰어난 것으로 알려져 있습니다. Gaudi 3는 Nvidia H200와 비교했을 때 Llama 7B 및 70B 매개 변수, 그리고 Falcon 180B 매개 변수 모델에서 추론 속도가 30% 빠르다고 합니다. 이러한 성능 향상은 주요 GenAI 모델의 훈련 및 추론 작업에 상당한 성능 향상을 제공할 것입니다. Gaudi 3의 샘플은 이미 인텔의 파트너에게 제공되었으며, 볼륨 생산은 올해 하반기에 예정되어 있습니다. 인텔의 로드맵에 따르면 공기 냉각형 Gaudi 3은 2024년 3분기에 출시될 예정이며, 수냉식 모델은 2024년 4분기에 출시될 예정입니다²³.