NPU 신경망 처리 장치

NPU는 신경망 계산을 효율적으로 실행하도록 설계한 전용 연산 장치입니다. 인공지능 모델의 행렬 연산 등을 처리하며, PC나 휴대전화 안에서 실행하는 AI 기능에 쓰일 수 있습니다. NPU가 있다는 사실만으로 모든 AI 프로그램이 가속되지는 않습니다.

신경망은 입력 데이터에 여러 가중치와 연산을 적용해 결과를 구합니다. NPU는 이런 반복 계산에 맞춘 연산 회로와 데이터 전달 구조를 사용합니다. 이미 학습한 모델로 새 입력의 결과를 구하는 추론과 모델의 가중치를 조정하는 학습은 다른 작업입니다. PC용 NPU의 지원 범위를 대규모 모델 학습 능력으로 확대해 해석하지 않습니다.

영상 회의에서 배경을 흐리게 하는 AI 기능을 장치 안에서 실행하는 경우를 생각할 수 있습니다. 앱과 드라이버가 해당 NPU를 지원하면 일부 계산을 맡길 수 있습니다. 반대로 외부 서버가 답변을 만드는 서비스라면 PC에 NPU가 있어도 그 서버 계산이 자동으로 빨라지는 것은 아닙니다.

CPU는 운영체제와 범용 프로그램의 다양한 명령을 처리하고, GPU는 그래픽 처리와 많은 병렬 계산에 쓰이며, NPU는 지원하는 신경망 계산에 특화합니다. 세 장치는 서로 협력할 수 있고 한 장치가 나머지를 모두 대체하지 않습니다. 제조사별 NPU 세대와 제품명이 다르므로 모든 제품에 통용되는 NPU 1, NPU 2 같은 공통 버전 체계로 설명하지 않습니다.

지원 모델, 연산 형식, 실행 환경, 드라이버와 메모리 조건이 맞아야 실제 가속을 이용할 수 있습니다. 지원하지 않는 연산은 다른 장치로 처리되거나 실행이 제한될 수 있습니다. TOPS 수치만으로 배터리 시간, 응답 속도, 정확도와 오프라인 사용 가능성을 보장하지 않습니다.

이 절의 용어: On-device AI / 기기 내 인공지능

온디바이스 AI는 AI 계산을 PC나 휴대전화 등 이용자 장치 안에서 수행하는 방식입니다. CPU, GPU와 NPU 중 지원하는 장치를 사용할 수 있어 NPU의 다른 이름은 아닙니다. 클라우드 AI는 외부 서버를 이용하고, 혼합 방식은 작업을 나눕니다. 모델 다운로드, 로그인, 업데이트와 일부 외부 기능까지 모두 오프라인이라는 뜻은 아니며 실제 데이터 전송 범위는 앱별로 확인해야 합니다.

Intel AI PC and local inference

Qualcomm AI TOPS and NPU performance metrics