• 북마크
  • 접속자 66
IT 노하우 뉴스 정보 공유 커뮤니티

IT 노하우 뉴스 정보 공유 커뮤니티

Computer

[HW] 인텔(Intel)은 Gaudi 3 AI 가속기를 발표

Becain 레벨
2024.04.11 16:56 441 0 0 0
5
쿠팡방문하고 계속읽기

본문

**인텔(Intel)**은 Gaudi 3 AI 가속기를 발표했습니다. 이 가속기는 128GB HBM2e 메모리를 탑재하고 있으며, Nvidia H100AMD MI300과 경쟁할 것으로 기대됩니다1. Gaudi 3는 5세대 Tensor 코어 64개, 128GB HBM2e 메모리 (3.7Gbps), 초당 3.7TB의 대역폭을 특징으로 합니다. 이는 이전 세대인 Gaudi 2보다 상당한 개선을 보여줍니다.

이미지 3394.png

Gaudi 2는 24개의 Tensor 코어, 96GB HBM2e 메모리 (3.27Gbps), 초당 2.45TB의 대역폭을 가지고 있었습니다1. 또한 Gaudi 3에는 96MB의 SRAM도 포함되어 있으며, 12.8TB/s의 대역폭을 제공합니다. 다른 중요한 사양으로는 128GB VRAM, FP8 및 BF16 매트릭스에서 1,835 TFLOPS의 성능, 그리고 공기 냉각 시 900W의 전력 소비가 있습니다. Gaudi 3는 Llama2 7B 및 13B 매개 변수, 그리고 GPT-3 175B 매개 변수 모델에서 Nvidia H100보다 50% 빠른 추론 속도를 제공한다고 합니다. 또한 Llama 7B 및 70B 매개 변수, 그리고 Falcon 180B 매개 변수 모델에서는 추론 속도가 50% 빠르고 추론 전력 효율이 40% 더 뛰어난 것으로 알려져 있습니다. Gaudi 3는 Nvidia H200와 비교했을 때 Llama 7B 및 70B 매개 변수, 그리고 Falcon 180B 매개 변수 모델에서 추론 속도가 30% 빠르다고 합니다. 이러한 성능 향상은 주요 GenAI 모델의 훈련 및 추론 작업에 상당한 성능 향상을 제공할 것입니다. Gaudi 3의 샘플은 이미 인텔의 파트너에게 제공되었으며, 볼륨 생산은 올해 하반기에 예정되어 있습니다. 인텔의 로드맵에 따르면 공기 냉각형 Gaudi 32024년 3분기에 출시될 예정이며, 수냉식 모델2024년 4분기에 출시될 예정입니다23.

 
0 0
로그인 후 추천 또는 비추천하실 수 있습니다.
- Becain 레벨 - 회원등급 : 지하계 / Level 10
포인트 90,840
경험치 9,570
[레벨 10] - 진행률 29%
가입일 :
2020-07-29 23:57:30

최신글이 없습니다.

최신글이 없습니다.

댓글목록 0

등록된 댓글이 없습니다.