AI 반도체의 구성, D램에서 데이터센터까지

생성형 AI를 구현하기 위해 마이크로소프트, 구글, 메타와 같은 빅테크 기업들은 고성능 컴퓨터를 도입하고 있습니다. 인공지능이 촉발한 이러한 경쟁에서 엔비디아가 치고 나가고 있는 가운데 비메모리 반도체의 TSMC, 삼성전자, 메모리 반도체의 SK하이닉스, 삼성전자가 인공지능 반도체 경쟁에 뛰어들었습니다. 이러한 경쟁 속에서 HBM, AI가속기, D램, GPU, 낸드플래시(이하 낸드), AI컴퓨터, 데이터센터 등 인공지능 반도체 관련 수많은 용어들이 쏟아지고 있습니다. 이번 뉴스에서는 이 많은 용어들이 도대체 무엇이고 어떤 관계가 있는지 흩어진 정보의 조각들을 짜 맞춰 전체적인 흐름을 파악하기 쉽게 전해 드립니다.

 

D램과 HBM 그리고 낸드

D램은 삼성전자, SK하이닉스, 미국의 마이크론이 시장을 주도하고 있으며 삼성전자가 지난해 4분기 56.7%로 압도적 점유율을 기록하였습니다. 이외 SK하이닉스가 24.1%로 삼성전자와 합치면 우리나라가 전 세계 D램 시장의 80%을 점유하고 있습니다.

D램은 데이터를 읽고 쓰고 저장하는 메모리 반도체입니다. SK하이닉스가 20조 원을 투자해 청주에 D램 생산기지를 만들 예정인 만큼 최근에 핫한 이유는 고대역폭메모리(HBM) 때문입니다. HBM은 D램을 쌓아 속도를 높이면서 전력 소비를 줄인 메모리 반도체로 정보 처리에 특화된 AI가속기를 만드는데 필수 장치입니다. 현재 4세대 HBM(HBM3E)을 SK하이닉스가 엔비디아에 독점 공급하며 시장을 이끌고 있으며 삼성전자는 엔비디아 테스트 중인 것으로 알려져 있고 상반기 중 양산 예정입니다. 물론 미국 마이크론도 개발을 완료하고 양산을 공식화했습니다.

낸드플래시는 저장된 정보를 전원이 차단되어도 유지할 수 있는 대용량 저장 장치입니다. D램과 달리 인공지능 연산에 직접 관여하지 않기 때문에 AI 붐에서 비켜서 있었습니다. 하지만 데이터 저장용량 상당한 거대언어모델(LLM), 추론 모델 그리고 온디바이스 AI 등의 등장으로 인해 개인용 SSD와 기업용 솔리드스테이드라이브(eSSD)의 수요가 급증하였습니다. 삼성전자가 지난 4분기 낸드 점유율 36.6%, SK 하이닉스(자회사 솔리다임 포함)가 21.6%를 점유하고 있으며, 최근 삼성전자가 9세대 286단 V낸드 양산을 하며 낸드 단수 경쟁이 치열해지고 있으며 셀 하나에 4비트 데이터를 기록할 수 있는 QLC 기술 기반 낸드 경쟁 또한 점차 심화되고 있습니다.

 

GPU

게임 속 3D 이미지 데이터를 처리하기 위한 그래픽처리장치로 비메모리 반도체입니다. 모두가 아시는 바와 같이 엔비디아가 독보적 생태계를 구축하였으며 AMD, 인텔이 그 뒤를 잇고 있습니다. 엔비디아는 설계만 하고 제조는 TSMC에서 하고 있습니다.

그렇다면 왜 CPU가 아닌 GPU가 인공지능 시대에 각광을 받고 있을까요?

CPU와 GPU에는 데이터를 처리하는 코어(core)가 있습니다. CPU는 우리가 사용하는 일반 컴퓨터에서는 2~4개이며 슈퍼 컴퓨터에서는 현재까지 64개가 최고입니다. 반면 GPU의 코어는 수천에서 수만 개로 입력되는 데이터를 동시에 병렬적으로 처리할 수 있습니다. 음성, 이미지 등 방대한 데이터를 처리해야 하는 인공지능에서는 GPU의 이러한 병렬 처리 방식이 유리합니다. 즉, 코어 수가 많고 병렬적이기에 딥러닝 모델 학습 및 실행 속도를 향상할 수 있습니다. 반면, CPU는 코어는 숫자는 적지만 성능은 훨씬 뛰어납니다. 쉽게 말씀드리면 고도의 작업을 정확하고 빠르게 처리하는 CPU가 교수라면, 수많은 일을 나눠 수행하는 GPU는 대학생이라고 할 수 있습니다. 이에 AI에서는 수많은 코어로 병렬 연산이 가능한 GPU가 각광받을 수밖에 없습니다.

 

AI 가속기

인공지능, 머신러닝, 딥러닝에 특화된 반도체로 그래픽 카드의 일종이지만 게임에서는 사용할 수 없습니다. 현재 가장 성능이 좋은 AI 가속기는 엔비디아의 H100으로 글로벌 기업들이 데이터센터 구축에 수십만 대씩 주문하여 품귀현상이 발생하였습니다. 이에 실제 주문 후 수령에 수개월이 소요되고 있는 실정이며 5,000만 원이 넘는 H100에 웃돈을 주고 구입하고 있다는 기사들을 가끔 볼 수 있습니다.

AI 가속기는 GPU와 HBM 여러 개를 조립해서 만들며 H100에는 4개의 HBM이 탑재됩니다. 그래서 현재 엔비디아에 HBM을 공급하는 SK하이닉스의 실적이 우상향 하고 있습니다. 엔비디아는 H100보다 AI 추론 성능이 30배 향상된 B200을 공개하였으며 곧 상용화할 예정입니다. 참고로 B200에는 5세대 HBM3E가 8개 탑재될 예정입니다.

엔비디아 외 인텔 역시 AI 가속기 가우디 3을 개발하였으며, 엔비디아 H100보다 1.7배, 추론에 특화된 H200보다 1.3배 빠르다고 밝히고 있습니다. 이외 삼성전자도 올해 말 AI 가속기 마하-1을 출시할 계획입니다.

 

AI 컴퓨터와 데이터센터

CPU(중앙처리장치), 낸드(저장장치)와 AI 가속기를 조립하면 AI 컴퓨터가 됩니다. 엔비디아의 DGX H100에는 H100 8개와 인텔 제온 4세대 CPU 및 30 테라바이트의 낸드 저장 장치가 들어갑니다. 대당 가격은 6억 달러에 달합니다. 이런 컴퓨터를 수천~수만 대 모으면 데이터센터가 됩니다. 최근 엔비디아 CEO 젠슨 황은 DGX H200을 오픈 AI CEO 샘 올트먼에게 전달했습니다. 지난해 11월에 발표한 DGX H200은 H100보다 출력이 2배, 용량이 1.8배, 대역폭이 1.4배 증가한 차세대 칩 H200이 탑재되었습니다.

이러한 데이터센터는 단순 저장용이 아닌 챗GPT와 같은 거대언어모델(LLM)을 학습시키는 역할을 하게 됩니다. 최근 오픈 AI와 MS는 데이터 센터 구축에 약 134조 6,000억 원을 투자하기로 하였으며, 메타, 아마존 등도 수백조 원을 데이터센터에 투자할 예정입니다.

 

이상 AI 반도체 구성, D램에서 데이터센터까지 전해 드렸습니다.

감사합니다.

 

핵심 요약(갤럭시 S23 요약 기능 사용) ✔ AI 반도체 경쟁에서 엔비디아가 선두를 달리고 있으며, TSMC,삼성전자, SK하이닉스 등이 뒤를 따르고 있습니다. ✔ D램은 데이터를 읽고 쓰고 저장하는 메모리 반도체로, 최근 SK하이닉스가 20조원을 투자해 청주에 D램 생산기지를 만들 예정입니다. ✔ HBM은 D램을 쌓아 속도를 높이면서 전력 소비를 줄인 메모리 반도체로, 정보 처리에 특화된 AI 가속기를 만드는데 필수 장치입니다. ✔ 낸드플래시는 저장된 정보를 전원이 차단되어도 유지할 수 있는 대용량 저장 장치로, 최근 삼성전자가 9세대 286단 V낸드 양산을 하며 낸드 단수 경쟁이 치열해지고 있습니다. ✔ GPU는 게임 속 3D 이미지 데이터를 처리하기 위한 그래픽처리장치로, 엔비디아가 독보적 생태계를 구축하였습니다. ✔ AI 가속기는 인공지능, 머신러닝, 딥러닝에 특화된 반도체로, 현재 가장 성능이 좋은 AI 가속기는 엔비디아의 H100입니다.