[HW] 인텔(Intel)은 Gaudi 3 AI 가속기를 발표
본문
**인텔(Intel)**은 Gaudi 3 AI 가속기를 발표했습니다. 이 가속기는 128GB HBM2e 메모리를 탑재하고 있으며, Nvidia H100과 AMD MI300과 경쟁할 것으로 기대됩니다1. Gaudi 3는 5세대 Tensor 코어 64개, 128GB HBM2e 메모리 (3.7Gbps), 초당 3.7TB의 대역폭을 특징으로 합니다. 이는 이전 세대인 Gaudi 2보다 상당한 개선을 보여줍니다.
Gaudi 2는 24개의 Tensor 코어, 96GB HBM2e 메모리 (3.27Gbps), 초당 2.45TB의 대역폭을 가지고 있었습니다1. 또한 Gaudi 3에는 96MB의 SRAM도 포함되어 있으며, 12.8TB/s의 대역폭을 제공합니다. 다른 중요한 사양으로는 128GB VRAM, FP8 및 BF16 매트릭스에서 1,835 TFLOPS의 성능, 그리고 공기 냉각 시 900W의 전력 소비가 있습니다. Gaudi 3는 Llama2 7B 및 13B 매개 변수, 그리고 GPT-3 175B 매개 변수 모델에서 Nvidia H100보다 50% 빠른 추론 속도를 제공한다고 합니다. 또한 Llama 7B 및 70B 매개 변수, 그리고 Falcon 180B 매개 변수 모델에서는 추론 속도가 50% 빠르고 추론 전력 효율이 40% 더 뛰어난 것으로 알려져 있습니다. Gaudi 3는 Nvidia H200와 비교했을 때 Llama 7B 및 70B 매개 변수, 그리고 Falcon 180B 매개 변수 모델에서 추론 속도가 30% 빠르다고 합니다. 이러한 성능 향상은 주요 GenAI 모델의 훈련 및 추론 작업에 상당한 성능 향상을 제공할 것입니다. Gaudi 3의 샘플은 이미 인텔의 파트너에게 제공되었으며, 볼륨 생산은 올해 하반기에 예정되어 있습니다. 인텔의 로드맵에 따르면 공기 냉각형 Gaudi 3은 2024년 3분기에 출시될 예정이며, 수냉식 모델은 2024년 4분기에 출시될 예정입니다23.
-
SNS - 유튜브 프리미엄 업그레이드 스마트 다운로드와 숏츠의 PIP 모드 추가23시간 5분전
-
갤러리 게시판 - 인터넷에 돌아 다니는 사진들의 원본 사진23시간 11분전
-
Mobile - 삼성의 새로운 카메라 센서 트리오, 갤럭시와 픽셀폰에 등장할까?23시간 29분전
-
Mobile - 삼성 갤럭시 언팩 행사 전 주요 제품 렌더 이미지 대규모 유출2024-06-28
-
Computer - 구글 어스를 마인크레프트 에서 볼수 있는 프로젝트가 있다고 하네요.2024-06-25
-
갤러리 게시판 - 제2차 세계 대전에 사용된 가장 작은 항공기2024-06-24
-
Mobile - 삼성 갤럭시 탭 S10 울트라 유출: 거대한 아이패드 프로 라이벌2024-06-24
-
Computer - 인텔의 차세대 모바일 CPU, 코드명 "루나 레이크(Lunar Lake)"에 대한 6가지 기대 요인2024-06-24
최신글이 없습니다.
댓글목록 0