TOPS 초당 조 단위 연산 수

TOPS는 초당 연산 수를 1조 단위로 나타내는 성능 지표입니다. 1 TOPS는 초당 10의 12제곱 회 연산을 뜻합니다. AI 가속기의 이론상 최대 연산 능력을 표시할 때 쓰이지만, 초당 답변 수나 실제 프로그램의 실행 속도를 직접 뜻하지는 않습니다.

연산 회로의 수, 동작 주파수와 한 번에 수행하는 연산 수로 이론값을 계산할 수 있습니다. 곱셈 후 더하는 MAC를 두 연산으로 세는 등 산정 조건을 함께 확인해야 합니다. INT8은 8비트 정수, INT4는 4비트 정수, FP16은 16비트 부동소수점 형식이며 표현 범위와 계산 조건이 달라 서로 다른 형식의 TOPS 숫자를 그대로 비교하지 않습니다.

제품 사양에 적힌 NPU 단독 TOPS와 CPU, GPU, NPU를 합친 전체 수치는 다른 범위입니다. 전체 수치가 더 크더라도 한 앱이 세 장치를 항상 최대치로 동시에 사용한다는 뜻은 아닙니다. 같은 모델과 입력, 연산 형식에서 걸린 시간과 소비 전력을 따로 측정해야 실제 사용 성능을 비교할 수 있습니다.

Dense TOPS는 희소성에 따른 계산 생략을 전제로 하지 않는 값이고 Sparse TOPS는 특정한 희소 패턴을 활용하는 조건의 값입니다. 0인 값의 계산을 건너뛰는 효과는 모델과 하드웨어가 해당 패턴을 지원해야 얻을 수 있습니다. TOPS는 단위이므로 TOPS 1이나 TOPS 2 같은 기술 버전이 없으며, 구분할 것은 정밀도, 산정 방식과 측정 범위입니다.

같은 TOPS라도 메모리 대역폭, 지원 연산, 소프트웨어 최적화, 전력과 발열 조건이 다르면 결과가 달라집니다. 낮은 비트 수를 사용하는 양자화는 모델의 수치 표현을 바꾸므로 정확도도 확인해야 합니다. TOPS를 저장 용량이나 메모리 전송 속도로 해석하거나 수치 비율대로 모든 작업이 빨라진다고 설명하지 않습니다.

이 절의 용어: Dense TOPS / 밀집 연산 기준 TOPS

Dense TOPS는 특정한 희소 패턴으로 0인 값의 연산을 생략한다는 조건 없이 산정한 이론상 최대 연산 능력입니다. INT8이나 FP16 등 연산 형식과 장치 범위를 함께 표시해야 합니다. 이 값도 실제 앱이 항상 달성하는 속도나 정확도를 뜻하지 않습니다.

이 절의 용어: Sparse TOPS / 희소 연산 기준 TOPS

Sparse TOPS는 정해진 희소 패턴을 활용해 일부 연산을 생략하는 조건의 유효 연산 능력입니다. 예를 들어 2:4 패턴을 이용하려면 하드웨어와 모델이 해당 조건을 충족해야 합니다. 희소 TOPS와 밀집 TOPS를 구분하지 않으면 같은 숫자의 의미가 달라질 수 있으며 모든 모델에 동일한 배수의 가속이 적용되지는 않습니다.

Qualcomm AI TOPS and NPU performance metrics

Qualcomm dense versus sparse TOPS