<AI의 데이터 공급을 표현한 커버 개념 그래픽입니다.>

SK하이닉스는 어떻게 HBM 시장을 선점했을까? — AI의 기다림을 줄인 메모리 이야기

01 / 첫 번째 질문
💡 GPU가 빠른데 왜 기다릴까?

GPU ^[2]는 많은 계산을 나누어 동시에 처리하는 데 강점이 있는 반도체입니다. AI가 문장을 만들거나 이미지를 분석할 때도 이런 능력을 활용합니다. 하지만 계산할 숫자를 가져오는 일과 그 숫자를 계산하는 일은 별개의 과정입니다.

요리사가 아무리 손이 빨라도 재료가 와야 칼을 움직일 수 있는 것과 같습니다. 계산 장치에 필요한 데이터가 충분히 공급되지 않으면, 계산 능력의 일부가 대기 시간으로 바뀔 수 있습니다. 이처럼 전체 일을 느리게 만드는 구간을 병목 ^[3]이라고 부릅니다.

물론 모든 AI 작업이 메모리 때문에 느린 것은 아닙니다. 어떤 작업은 계산량이 문제이고, 어떤 작업은 데이터를 옮기는 능력이나 기다리는 시간이 문제입니다. 엔비디아의 성능 설명 자료도 계산 능력, 메모리 대역폭, 지연시간을 구분합니다.

출처 · 엔비디아 GPU 성능 이해 자료 원문 보기 ↗

여기서 보는 눈을 조금 바꾸면 좋습니다. ‘더 빠른 GPU를 만들면 끝 아닌가?’라는 질문 대신 ‘그 GPU가 계속 일하도록 무엇을 함께 바꿔야 할까?’라고 묻는 것입니다. 반도체의 성능은 한 부품의 자랑만으로 완성되지 않습니다.

HBM을 이해하는 출발점

 

계산을 잘하는 능력과, 계산할 데이터를 충분히 공급하는 능력은 다릅니다. HBM은 두 번째 문제를 풀기 위해 발전한 메모리입니다.

02 / 이름의 뜻
HBM은 작은 저장창고일까?

HBM은 High Bandwidth Memory, 우리말로 고대역폭 메모리입니다. 이름에서 가장 중요한 부분은 ‘고대역폭’입니다. 많은 데이터를 한꺼번에 전달하는 능력을 강조한 이름이지요.

종류로 보면 D램 ^[4]에 속합니다. 작업 중 필요한 데이터를 담아 두는 메모리이며, 전원을 꺼도 사진과 문서를 보관하는 SSD와는 역할이 다릅니다. HBM 자체가 AI의 답을 계산하는 프로세서인 것도 아닙니다.

주방 비유를 이어가면, GPU는 요리하는 사람이고 HBM은 가까이에서 재료를 꺼내 주는 작업용 재료 공간에 가깝습니다. 장기 보관 창고가 크다는 사실만으로 주방 앞의 재료 공급 문제가 해결되지는 않습니다. 어디에 두고, 어떤 통로로 꺼내느냐도 중요합니다.

데이터센터에도 이런 역할 분담이 있습니다. HBM, 서버용 메모리, SSD는 각각 필요한 위치에서 서로 다른 요구를 담당합니다. 마이크론 역시 AI 데이터센터 설명에서 메모리와 저장장치를 함께 다룹니다. ‘HBM이 뜬다’는 말을 ‘다른 메모리는 모두 필요 없어진다’로 읽으면 이야기를 놓치게 됩니다.

출처 · 마이크론 AI 데이터센터 메모리·저장장치 설명 원문 보기 ↗

기술 이름이 낯설 때는 일단 역할 하나만 기억해도 충분합니다. HBM은 계산 장치 가까이에서 많은 데이터를 공급하도록 설계한 D램입니다. 다음 단계는 그 ‘많이’가 정확히 무엇을 뜻하는지 살펴보는 것입니다.

03 / 숫자 읽는 법
용량이 크면 대역폭도 클까?

용량은 얼마나 담을 수 있느냐입니다. 대역폭 ^[5]은 일정 시간에 얼마나 옮길 수 있느냐입니다. 지연시간 ^[6]은 요청한 뒤 응답을 받기까지 얼마나 기다리느냐입니다. 모두 중요하지만 같은 숫자는 아닙니다.

도로로 비유해 보겠습니다. 주차장이 커지면 자동차를 더 많이 세울 수 있습니다. 차로가 넓어지면 같은 시간에 더 많은 자동차가 지나갈 수 있습니다. 첫 자동차가 출발해서 도착하는 시간은 거리와 신호 같은 다른 조건의 영향도 받습니다.

따라서 ‘많이 담는다’, ‘한꺼번에 많이 보낸다’, ‘빨리 응답한다’를 모두 ‘빠르다’로 뭉뚱그리면 비교가 어려워집니다. 제품 기사에서 GB는 용량인지, GB/s는 초당 전송량인지 먼저 구분하는 습관이 도움이 됩니다.

구체적인 과거 사례를 보겠습니다. SK하이닉스가 2019년 발표한 HBM2E는 핀당 3.6Gbps와 1,024개의 데이터 입출력 통로를 제시했습니다. 이 숫자로 이론상 대역폭을 계산하면 3.6 × 1,024 ÷ 8 = 460.8GB/s가 됩니다. 비트 8개가 바이트 1개라서 마지막에 8로 나눕니다.

출처 · SK하이닉스 2019년 HBM2E 개발 발표 원문 보기 ↗

이 숫자는 당시 제품의 HBM 스택 하나를 설명하는 예시입니다. 오늘의 모든 HBM 사양도 아니고 GPU 전체의 속도도 아닙니다. 실제 작업 성능에는 데이터 접근 방식과 다른 부품도 영향을 줍니다. 그렇지만 원리는 선명합니다. 통로 하나를 빠르게 만드는 것뿐 아니라, 동시에 쓸 통로를 넓히는 것도 성능을 높이는 방법입니다.

<용량은 담는 양, 대역폭은 시간당 옮기는 양, 지연시간은 응답을 기다리는 시간입니다. 이해를 위한 개념도입니다.>

04 / 칩의 내부
D램을 쌓으면 무엇이 달라질까?

HBM의 눈에 띄는 특징은 얇은 D램 칩을 여러 층으로 쌓는 구조입니다. 평면으로 늘어놓을 공간을 수직으로 활용하는 셈입니다. 다만 건물을 높게 올렸다고 자동으로 사람들이 편하게 오가는 것은 아니듯, 칩도 층 사이를 연결하는 방법이 필요합니다.

여기에 쓰이는 핵심 기술이 TSV ^[7]입니다. 실리콘을 관통하는 미세한 연결 통로로 위아래 칩 사이에 전기 신호가 오가게 합니다. 건물의 층을 연결하는 수직 통로를 떠올리면 이해하기 쉽습니다. 실제로는 엘리베이터가 아니라 미세한 전기적 연결입니다.

그리고 이 메모리 묶음은 GPU와 가까이 배치되어 연결됩니다. 대표적인 구조에서는 인터포저 ^[8]라는 중간 연결판 위에 GPU와 HBM을 나란히 놓습니다. HBM 내부의 수직 연결과 GPU를 향한 옆 방향 연결이 함께 있는 것입니다.

출처 · SK하이닉스 TSV와 HBM 패키지 구조 설명 원문 보기 ↗

여기서 자주 생기는 오해가 풀립니다. D램을 쌓는다는 말이 곧 GPU 위에 D램을 탑처럼 올린다는 뜻은 아닙니다. 메모리 내부에서 쌓이는 구조와, 그 메모리를 GPU 가까이에 배치하는 구조를 나누어 보면 됩니다.

HBM은 결국 ‘높게 쌓기’라는 한 가지 아이디어만의 결과가 아닙니다. 쌓은 칩끼리 연결하고, 바깥 계산 장치와도 넓게 연결해야 합니다. 아파트의 층수만 보는 대신 내부 이동 통로와 바깥 도로까지 함께 보는 것에 가깝습니다.

<대표적인 GPU·HBM 연결 구조를 단순화한 개념도입니다. 실제 층수·배선 수·크기 비율을 나타내지는 않습니다.>

그림에서 먼저 위아래로 이어진 TSV를 보고, 다음으로 GPU까지 이어지는 인터포저를 따라가 보세요. 메모리 안의 수직 연결과 계산 장치를 향한 연결이 함께 작동하며, 이 부품을 갖춘 서버가 우리가 이용하는 AI 서비스를 뒷받침합니다.

<HBM의 구조와 활용을 연결한 개념 삽화입니다. 실제 층수·배선·크기 비율과 서버 내부 배치는 단순화했으며, 모든 AI 서비스가 같은 구성을 사용하는 것은 아닙니다.>

05 / 현실의 조건
좋은 기술이면 모든 기기에 넣으면 되잖아?

기술이 좋아 보일수록 이런 질문이 자연스럽게 나옵니다. ‘그럼 내 노트북과 스마트폰에도 HBM을 넣으면 되는 것 아닐까?’ 하지만 제품을 만드는 일은 최고 사양의 부품을 전부 모으는 일과 다릅니다.

사용 목적에 맞는 성능, 가격, 전력, 크기, 조립 구조를 함께 맞춰야 합니다. 대규모 연산 장치에 필요한 데이터 공급량과 일상적인 문서 작업에 필요한 조건은 다릅니다. 큰 식당의 전문 주방을 가정집에 그대로 넣는다고 늘 좋은 선택이 되는 것은 아니지요.

HBM처럼 여러 칩을 가깝게 연결하는 구조는 부품 하나만 잘 만든다고 완성되지 않습니다. 연결과 조립, 검사를 포함한 패키징 ^[9]도 중요합니다. 이때 패키징은 제품을 예쁜 상자에 담는 작업이 아니라, 칩들이 실제로 연결되어 작동하도록 구성하는 제조 기술입니다.

SK하이닉스의 HBM2E 개발 이야기에서도 제품 설계뿐 아니라 공정과 패키지 등 여러 조직의 협력이 등장합니다. 성능표에 적힌 숫자 하나 뒤에 서로 맞춰야 하는 일이 많다는 뜻입니다.

출처 · SK하이닉스 HBM2E 개발·양산 과정 원문 보기 ↗

독자 입장에서는 이 정도까지 이해하면 충분합니다. HBM은 어느 곳에나 끼워 넣는 만능 부품이라기보다, 높은 데이터 공급 능력이 꼭 필요한 시스템에서 그 가치를 발휘하는 메모리입니다. 그 가치를 원하는 고객이 커질 때 사업의 기회도 커집니다.

06 / 시간을 되돌리면
🔎 시작부터 챗봇을 위한 기술이었을까?

오늘 HBM을 접하면 생성형 AI부터 떠올리기 쉽습니다. 하지만 이미 대중화된 서비스의 모습으로 오래전 개발 동기를 설명하면 순서가 뒤집힙니다. AI가 지금처럼 생활 속 화제가 되기 전에도 고성능 그래픽을 위한 메모리 수요가 있었습니다.

AMD는 2015년 HBM을 적용한 라데온 R9 퓨리 제품군을 발표했습니다. 당시 발표가 내세운 장면은 고해상도 게임과 가상현실 등 그래픽 경험이었습니다. HBM이 실제 제품으로 소비자를 만난 중요한 초기 무대가 게임용 그래픽카드였다는 점이 흥미롭습니다.

출처 · AMD 2015년 HBM 그래픽카드 발표 원문 보기 ↗

같은 해 AMD의 기술 발표는 메모리 협력사로 SK하이닉스를 명시합니다. GPU 회사와 메모리 회사가 함께 연결 구조와 실제 제품화를 고민한 것입니다. 이 이력은 HBM을 어느 한 회사가 혼자 모든 것을 완성한 발명품처럼 설명하기 어렵다는 것도 보여줍니다.

출처 · AMD Hot Chips 2015 협력·적층 기술 발표 원문 보기 ↗

여기서 읽을 수 있는 것은 미래를 정확히 예언했다는 신화가 아닙니다. 이미 존재하던 고객의 어려운 문제를 풀면서 기술을 실제 제품에 적용했다는 흐름입니다. 훗날 더 큰 수요가 나타났을 때, 그 경험은 빈 종이에서 시작하는 것과 다른 출발점이 될 수 있습니다.

우리가 주목할 질문도 달라집니다. ‘누가 AI 유행을 먼저 맞혔나?’보다 **‘유행이 오기 전 어떤 고객의 문제를 풀고 있었나?’**가 이 이야기에는 더 잘 맞습니다.