Menu
NO.1: 작혼 리치 마작 스팀
■AI 가속기‘마이아 300’공개
추론 핵심 HBM 성능·탑재량 확장
엔비디아 GPU 의존도는 낮추면서
자사 클라우드‘애저’효율성 높여
구글·AWS 등과 자체 칩 개발 경쟁
추론시장 커지며 HBM 수요 폭증 세계 최대 하이퍼스케일러(대규모 컴퓨팅 인프라 운영사)인 마이크로소프트(MS)가 1년 만에 새로운 인공지능(AI) 자체 칩을 공개하고 자체 칩과 고대역폭메모리(HBM)를 대거 탑재한 GW(기가와트)급 인프라를 운영하겠다고 밝혔다.엔비디아 그래픽처리장치(GPU) 의존도를 낮추고 이미 자체 칩 개발에 속도를 내온 구글·아마존웹서비스(AWS) 등과 경쟁하겠다는 뜻이다.추론 시장에서 삼성전자(005930)·SK하이닉스(000660)가 만든 HBM 수요가 더 커질 것이라는 전망이 나온다. 
MS는 12일(현지 시간) 3세대 자체 AI 가속기인‘마이아(Maia) 300’을 공개하고 내년부터 배치한다고 밝혔다.새 칩은 갈수록 고도화되는 AI 모델 개발과 운영을 지원하기 위해 장기 추론,온라인게임 갤러리지연에 민감한 작업,이슬라리조트 카지노다단계 에이전트 등 최신 AI 업무에 최적화됐다.
마이아는 MS가 자사 클라우드(가상의 대규모 데이터 저장 및 처리 공간)인‘애저’인프라에서 엔비디아와 AMD의 GPU 의존도를 낮추고 효율성을 높이기 위해 개발한 맞춤형 칩(가속기)이다.AI 가속기인 마이아 300에는 자체 연산 다이(칩 본체)와 HBM4 8개를 탑재한다.MS 서버에는 AI 가속기 4대를 장착하고 서버와 네트워크 장비를 포함한 랙에는 AI 가속기 96개가 들어간다.
HBM 개수만 따지면 마이아 300은 가속기당 HBM 탑재 수를 전작 마이아 200의 HBM3E 6개에서 HBM4 8개로 늘리고 랙당 가속기 수도 48개에서 96개로 확대했다.이에 따라 랙 하나에 들어가는 HBM은 288개에서 768개로 약 2.7배 증가한다.랙이 모인 클러스터가 데이터센터를 이루는 구조이기 때문에 최신 HBM의 수요가 대폭 늘어날 수밖에 없다. 마이아 300 탑재 랙.MS그동안 다른 하이퍼스케일러에 비해 MS의 약점으로 꼽히는 것은 바로 자체 칩 개발 속도다.구글과 AWS가 각각 2016년과 2019년 자체 칩‘텐서처리장치(TPU)’와‘인페렌시아’를 출시한 반면 MS의 첫 자체 칩인 마이아 100은 2023년 11월에야 공개됐다.구글과 아마존은 자사 칩이 탑재된 데이터센터 이용 고객을 확보하거나 칩 판매까지 이르렀지만 출발이 늦은 MS는 내부용으로만 쓰고 있다. 
MS는 구글과 AWS를 따라잡기 위해 GW급 마이아 애저 시스템을 구축하겠다고 선언했다.GW급 데이터센터에는 일반적으로 100만 개 단위의 AI 칩이 들어갈 정도로 거대한 컴퓨팅 용량이다.전력량으로 따지면 1GW는 원전 1기 용량으로 100만 명에게 전력을 공급할 수 있는 대규모다.구글이 올해 300만 개,온라인홀덤 파워볼 19내년에는 500만 개 이상의 TPU 생산을 추진하며 추론 칩 시장을 선도하는 가운데 MS도 자체 칩 수백만 개를 쓰겠다고 선언한 것이다. 마이아 300 서버.MSMS는 마이아 추론 역량을 극대화하기 위해 HBM 성능과 용량을 대폭 끌어올렸다.추론 칩은 연산을 담당하는 AI 프로세서와 메모리 사이 간격을 좁혀 대역폭(단위 시간당 데이터 전송량)을 높이는 방법을 쓰는데 이때 핵심적인 역할을 하는 것이 메모리를 쌓아올려 만든 HBM이다.올해 1월 공개된 전작 마이아 200에는 5세대 HBM인 HBM3E가 6개 탑재돼 메모리 용량이 216GB(기가바이트)에 그쳤지만 마이아 300에는 6세대 HBM4 8개가 탑재돼 288GB로 늘었다.HBM 향상으로 950W(와트) 열설계전력(TDP) 기준 마이아 대역폭은 초당 7TB(테라바이트)에서 18TB로 크게 높아졌다. 
특히 칩만 공급하던 엔비디아와 AMD가‘베라·루빈‘헬리오스’등 서버 랙(AI 칩과 네트워킹 인프라가 탑재된 구조물) 공급에 나선 것을 겨냥해 MS 역시 랙 단위의 효율성을 높이는 데 초점을 맞췄다.마이아 300 랙 1개에는 전작보다 2배 많은 96개의 가속기가 들어간다.랙 단위 HBM 용량은 10.4TB에서 27.6TB로,엠퍼러 스피드 바카라대역폭은 초당 341TB에서 1728TB로 급증했다.W당 HBM 대역폭도 초당 5.3GB에서 10.6GB로 올라갔다.업계에서는 대역폭 증가가 HBM 탑재 수 증가보다 더욱 의미 있는 진전이라는 평가도 나온다.
하이퍼스케일러의 인프라 경쟁이 칩에서 서버 단위로 이동하면서 HBM 수요는 더 증폭될 것으로 전망된다.MS는 “AI 업무에서 점점 더 메모리 제약이 커지는 가운데 마이아 300은 W당 더 높은 메모리 대역폭을 제공한다”면서 “마이아 300은 주요 GPU 기반 시스템 대비 ㎿(메가와트)당 40% 더 많은 토큰을 처리하고,랙 기준으로 전작보다 최대 7배 많이 토큰을 처리할 수 있다”고 강조했다.국내 반도체 업계에 미칠 영향도 주목된다.MS는 마이아 300에 탑재되는 HBM4 제조사가 어디인지 공개하지 않았지만 마이아 200에는 SK하이닉스 HBM이 탑재됐다.
