미래의 엔비디아 AI 스타트업 그로크(Groq)

2013년 8월 미국 텍사스주 테일러시에 짓고 있는 삼성전자 반도체 파운드리 공장의 첫 고객사가 정해졌습니다. 구글 엔지니어 출신들이 만든 AI 반도체 팹리스 스타트업인 그로크(Groq)입니다. 현재 1세대 언어처리장치(LPU)를 14 나노 미세공정을 활용하여 만들었으며 향후 출시 예정인 2세대는 삼성전자의 4 나노 공정을 밝히기로 하였습니다. 일반적으로 패스트 팔로워는 ‘제2의’ 수식어를 붙이지만 이번에 소개드릴 그로크는 ‘제2의’보다는 ‘미래의’라는 수식어를 붙였습니다. 그만큼 앞으로 엔비디아만큼 성장할 가능성이 높은 기업이라고 생각합니다.

 

그로크(Groq)의 탄생

1993년 엔비디아는 미국 실리콘밸리에서 시작되었습니다. 자사 그래픽처리장치에 NV(New Version)라는 이름을 붙이는 것을 시작으로 부러움(envy)라는 라틴어 invidia를 사용하면서 엔비디아라는 사명이 태어났습니다. 그로크(Groq) 역시 실리콘밸리에서 탄생했습니다. 구글 자체 프로세서 텐서를 설계했던 엔지니어 조너선 로스가 CEO를 맡고 있는 AI 반도체 스타트업입니다. 현재 AI에 사용되는 CPU와 GPU보다 AI서비스에 더 적합한 반도체를 개발하겠다는 목표로 2016년 설립되었습니다.

 

엔비디아에 도전장을 던진 그로크(Groq) LPU

그로크의 언어처리장치(LPU)는 거대언어모델(LLM)에 특화된 첫 프로세서로 엔비디아에 도전장을 내밀었다는 평가가 나오고 있습니다. 왜냐하면 생성형 AI를 위한 엔비디아의 그래픽처리장치(GPU) 보다 연산 효율성과 전력 사용량 측면에서 더 우수하다는 평가를 받고 있기 때문입니다. 쉽게 생각하면 챗GPT를 실행했을 때 GPU보다 전기 사용량이 적고 보다 빠른 속도로 작업을 할 수 있다는 이야기입니다.

그로크 LPU는 오픈 AI의 챗GPT, 구글 제미나이와 같은 거대언어모델을 탑재한 챗봇의 응답 속도 향상에 특화되어 1초도 안 되는 시간에 영어 기준 수백 단어의 답변을 생성할 수 있습니다. 홈페이지에서 제시한 벤치마크 테스트를 보면 마이크로소프트의 애저 클라우드보다 성능이 높은 것을 확인할 수 있습니다. 메타의 라마 2는 MS 애저 클라우드에서 초당 19개 토큰을 생성한 반면, 그로크 LPU 탑재 시 초당 241개의 토큰을 생성하였습니다. 즉, 거대언어모델(LLM)이 LPU를 탑재할 경우 약 18배 빠른 추론속도를 가질 수 있다는 것을 의미합니다. 이 외 LPU는 100개의 토큰을 생성하는데 0.8초가 소요된 반면, MS 애저 클라우즈는 10.1초가 걸렸습니다.

그로크에 따르면, LPU는 거대언어모델과 관련하여 GPU, CPU보다 더 큰 연산 능력을 가지고 있기에 단어당 계산되는 시간을 줄여 언어 추론이나 응답 속도가 훨씬 빠르다고 밝혔습니다. 또한 외부 메모리 병목 현상(엔비디아 GPU에서는 발생하는 HBM과의 병목 현상)을 제거하여 GPU보다 LLM에 훨씬 더 빠른 성능을 제공할 수 있다고 설명했습니다.

 

앞으로의 그로크(Groq)

그로크는 거대언어모델(LLM)에 사용하는 엔비디아, AMD와 달리 AI 서비스를 구동에 적합한 반도체 설계로 차별화를 노리고 있습니다. 즉, 차세대 AI칩은 CPU, GPU, FPGA(프로그래밍 반도체) 기반의 복잡한 아키텍처와 비교할 때 채택 및 적용을 간소화하여 고객사들이 요구하는 확장을 가능하게 하고 이를 통해 고품질 시스템을 간단하고 신속하게 구현할 수 있는 장점이 있습니다.

그로크의 차세대 LPU는 기존 자사 제품 대비 약 4배 정도 전력 효율성을 높이고, 성능도 우수한 것으로 알려져 있으며, 삼성전자 테일러 공장에서 4 나노 공정에서 생산될 LPU는 연결 대역폭을 증가시켜 엑사스케일 슈퍼컴퓨터보다 더 나은 성능을 제공할 것으로 보고 있습니다. 또한 8만 5000개~60만 개 이상까지 다양한 LPU를 구성해 맞춤형 시스템을 구축한다는 계획이며, 지난달 클라우드를 만들어 자사 LPU를 기업 고객들에 제공하고 있습니다.

 

이상 새로운 엔비디아 AI 스타트업 그로크(Groq)에 대해 전해 드렸습니다.

감사합니다.

 

핵심 요약(갤럭시 S23 요약 기능을 사용하였습니다) ✔ 그로크(Groq)는 구글 엔지니어 출신이 2016년에 설립한 AI 반도체 스타트업으로, 거대언어모델(LLM)에 특화된 언어처리장치(LPU)를 개발했습니다. ✔ 그로크의 LPU는 엔비디아의 그래픽처리장치(GPU)보다 연산 효율성과 전력 사용량 측면에서 더 우수하여 챗봇의 응답 속도 향상에 특화되어 있습니다. ✔ 그로크는 거대언어모델(LLM)에 사용하는 엔비디아, AMD와 달리 AI 서비스를 구동에 적합한 반도체 설계로 차별화를 노리고 있으며, 차세대 LPU는 기존 자사 제품 대비 약 4배 정도 전력 효율성을 높이고 성능도 우수할 것으로 알려져 있습니다. ✔ 그로크는 지난달 클라우드를 만들어서 자사 LPU를 기업 고객들에 제공하고 있습니다.