MoE 전문가 혼합 모델

MoE는 여러 전문가 모듈을 두고 입력에 따라 일부 모듈을 선택해 계산하는 신경망 구조입니다. Mixture of Experts의 약어이며 언어 모델에서는 주로 토큰별로 필요한 계산 경로를 선택하는 방식으로 설명합니다.

라우터는 입력을 어느 전문가에게 보낼지 결정하고 선택된 전문가의 출력을 결합합니다. 모든 토큰이 모든 전문가를 통과하는 밀집 모델과 계산 방식이 다릅니다. 전문가라는 말이 각 모듈에 사람이 정한 직업이나 주제가 정확하게 배정돼 있다는 뜻은 아닙니다.

전체 파라미터가 큰 모델도 한 토큰을 처리할 때는 그 일부만 사용할 수 있습니다. 그래서 전체 파라미터 수와 활성 파라미터 수가 따로 표시됩니다. 활성 수만 보고 전체 모델을 저장할 메모리가 충분하다고 판단해서는 안 됩니다.

희소 MoE는 일부 전문가를 선택하고 밀집 모델은 해당 층의 계산을 넓게 사용합니다. 선택 전문가 수, 라우팅 단위와 전문가 배치는 구현에 따라 다릅니다. 여러 GPU에 전문가를 나누는 전문가 병렬화는 모델 구조와 연결되지만 분산 실행 방식이라는 별도 개념입니다.

계산량 감소가 같은 비율의 응답 속도 향상을 보장하지 않습니다. 라우팅 불균형, GPU 사이의 데이터 교환, 배치 크기와 메모리 대역폭이 결과에 영향을 줍니다. MoE 자체에는 모든 제품에 통용되는 단일 버전 번호가 없으며 모델별 구조를 확인해야 합니다.

huggingface.co: moe