HBM 고대역폭 메모리

HBM은 여러 DRAM 다이를 수직으로 적층하고 넓은 입출력 경로를 이용해 많은 데이터를 전달하는 고대역폭 메모리입니다. AI 가속기와 고성능 연산 장치에 사용되며, SSD처럼 전원을 꺼도 파일을 보관하는 저장장치가 아닙니다.

적층한 다이는 실리콘을 관통하는 연결인 TSV 등을 통해 통신합니다. 연산 장치에 데이터를 충분히 공급하도록 패키지와 연결 구조를 함께 설계합니다. 용량은 담을 수 있는 데이터의 양, 대역폭은 일정 시간에 전달할 수 있는 양이며 서로 다릅니다. 대역폭이 커도 모든 프로그램의 지연이 같은 비율로 줄지는 않습니다.

AI 계산기는 연산 회로만 빨라서는 충분하지 않습니다. 모델과 계산 중간값을 읽고 쓰는 속도가 부족하면 기다리는 시간이 생길 수 있습니다. HBM은 이런 데이터 공급에 쓰이지만 필요한 모델이 메모리 용량에 맞는지와 전체 시스템의 병목도 함께 보아야 합니다.

HBM3, HBM3E와 HBM4는 같은 HBM 계열의 세대와 개선 제품 구분입니다. HBM3E는 HBM3 계열의 속도와 용량 등을 개선한 제품군을 가리킵니다. HBM4는 입출력 경로를 넓힌 다음 세대로, 삼성 공개 자료에서는 스택의 I/O 수가 1,024개에서 2,048개로 확대된 구조를 설명합니다. 한 스택의 값과 여러 스택을 합친 가속기 전체 값을 구분해야 합니다.

일반 PC의 DIMM 메모리처럼 사용자가 같은 슬롯에서 HBM 세대만 교체하는 제품으로 생각하지 않습니다. 호환은 가속기와 패키지 설계, 컨트롤러 및 전력과 냉각 조건에 좌우됩니다. 세대 이름만으로 실제 탑재 용량, 적층 수, 대역폭과 제품 공급 상태를 확정하지 않으며 HBM4의 설명을 모든 제조사 제품의 동일 사양으로 확대하지 않습니다.

이 절의 용어: HBM3 / High Bandwidth Memory 3 / HBM 3세대 계열

HBM3는 HBM 계열의 한 세대입니다. 적층 DRAM과 넓은 연결로 연산 장치에 데이터를 공급하며 제품별 적층 수, 용량과 전송률은 다를 수 있습니다. HBM3E와 비교할 때 공통 계열이라는 점과 실제 제품 사양이 다르다는 점을 함께 확인하고 단순히 같은 메모리로 취급하지 않습니다.

이 절의 용어: HBM3E / HBM3 확장 제품군

HBM3E는 제조사가 HBM3 계열의 속도와 용량 등을 확장한 제품군에 사용하는 명칭입니다. 숫자와 E라는 이름만으로 공통의 단일 속도나 용량이 정해지지 않습니다. HBM3와 HBM4 사이의 제품 비교에서는 실제 전송률, 적층 수와 해당 가속기의 채택 조건을 확인해야 합니다. 근거가 없는 영문 정식 풀이를 별도로 만들어 붙이지 않습니다.

이 절의 용어: HBM4 / High Bandwidth Memory 4 / HBM 4세대 계열

HBM4는 HBM3 계열 다음의 HBM 세대입니다. 삼성의 공개 제품 설명은 스택의 입출력 수를 1,024개에서 2,048개로 확대해 한 번에 전달하는 데이터 경로를 넓힌 점을 제시합니다. 실제 대역폭은 입출력당 전송률 등과 함께 결정되며, 경로 수 증가가 모든 작업의 실행 속도 두 배를 보장하지는 않습니다.

Samsung HBM memory architecture

Samsung HBM3

Samsung HBM3E

Samsung HBM4