용어와 정의
영문 또는 원어: Multimodal AI
한글명: 다중 양식 인공지능
다중 양식 인공지능은 텍스트, 이미지, 소리와 영상처럼 서로 다른 종류의 정보를 함께 처리하는 인공지능을 말합니다. 멀티모달 AI라고도 부르며 입력과 출력에서 지원하는 양식의 조합은 모델마다 다릅니다.
정확한 의미와 원리
서로 다른 양식의 표현을 연결해 정보를 이해하거나 결과를 생성합니다. 사진과 질문을 함께 처리할 수도 있고 음성과 텍스트 사이를 연결할 수도 있습니다. 여러 입력을 받는다는 사실과 각 입력을 서로 일관되게 이해하는 능력은 구분해야 합니다.
쉽게 이해하는 사용 예시
설명서 사진과 사용자의 질문을 함께 받아 해당 문구를 설명하는 앱을 생각할 수 있습니다. 녹음 내용과 화면 자료를 함께 요약하는 작업도 다른 예입니다. 이때 각 자료의 촬영 및 기록 시점이 다르면 모델이 이를 같은 사건으로 잘못 연결하지 않도록 문맥을 제공해야 합니다.
종류와 관련 개념의 차이
VLM은 시각과 언어를 결합하는 범주이고 음성 언어 모델이나 영상 생성 모델은 다른 조합을 다룹니다. 입력 이해와 결과 생성, 실시간 처리와 파일 처리는 각각 별도 조건입니다. 모든 멀티모달 모델이 모든 양식과 작업을 지원하는 것은 아닙니다.
적용 조건과 오해하기 쉬운 점
지원 파일 크기, 해상도, 길이 및 개인정보 처리 조건을 확인합니다. 한 양식의 오류가 다른 양식의 답변에 전파될 수 있습니다. 여러 자료를 동시에 처리했다는 사실만으로 사실 검증이 끝났거나 외부 세계의 상태를 직접 관찰한 것과 같다고 판단하지 않습니다.