소형 언어 모델(SLM)을 바라보는 3가지 시선 요약: 글로벌 학계, 국내 연구진, 글로벌 커뮤니티

2026년 이후 small language model에 대해 arxiv 논문, 한국 연구자들의 논문, 글로벌 커뮤니티에서의 관심 방향을 요약해 봤습니다. 디테일을 다룬 버전은 너무 내용이 방대하니 요약한 내용만 먼저 살펴보겠습니다.

한국 연구자들에 대한 분석은 국내 전자, 컴퓨터 분야의 19개 대학의 교수 연구실에서 발표한 논문들을 대상으로 합니다.

초간단 요약

• Arxiv : 소형 모델 자체의 기술적 혁신
• 국내 연구진 : 여러 개의 소형 모델들을 효율적으로 묶어서 활용하는 방법
• 글로벌 커뮤니티 : 소형 모델을 작은 디바이스에서 구동+통제하기 위한 방법

(1) Arxiv 학술 연구

• 소형 AI가 어떻게 하면 태생적으로 더 똑똑해질 수 있는지에 대한 기초 과학적인 두뇌 학습 기술에 집중하는 패턴이 보입니다.
• 소형 AI에게 너무 복잡하고 깊은 생각을 억지로 시키면 오히려 두뇌가 붕괴하여 성능이 떨어지는 현상이 나타나므로, 작은 모델의 크기에 맞는 최적의 생각 깊이를 찾는 등 AI의 기술적 한계를 분석하고 구조 자체를 혁신하는 방향으로 나아가고 있습니다.

(예)

• 내부 연산 능력을 높이는 학습법
• 모델에게 생각할 시간을 주어 논리력을 높이는 방법
• 소형 모델에게 무리한 추론을 시키면 두뇌가 붕괴하는 현상을 규명
• 하드웨어 칩 레벨에서 연산 효율을 혁신

(2) 한국 연구자들의 논문

• 한국 논문들은 소형 AI를 우리 실생활에서 일 잘하는 능동적인 에이전트로 변모시키기 위한 운용 시스템 고도화 기술에 초점을 맞추는 패턴이 보입니다.
• 소형 AI의 기억력 부족 문제를 극복하기 위해 각기 다른 특기를 가진 여러 개의 작은 AI들을 연결하고, 사용자의 질문에 맞춰 가장 일 처리가 빠른 AI에게 작업을 배정해 주는 '멀티 에이전트 라우팅' 협업 기술을 핵심 방향으로 삼고 있습니다.

(예)

• 여러 개의 동시 작업이 들어와도 가장 적합한 SLM에게 빠르게 일을 배정해 주는 라우팅 기술
• 텍스트, 코드, SQL 등 각기 다른 특기를 가진 여러 에이전트가 협력하는 프레임워크
• 작은 모델들의 기억 간섭을 막기 위해 기억을 의미별로 묶어주는 폴더형 관리 시스템

(3) 글로벌 커뮤니티

• 외부 인터넷이나 대형 서버와의 연결 없이 개인 스마트폰이나 일반 컴퓨터 안에서 AI를 직접 돌리기 위한 초경량화 및 강력한 소프트웨어 제어 기술에 집중되어 있습니다.
• 하네스(Harness)를 구축하여, 외부 도구를 정확히 사용하도록 조종하는 실무적 기술 개발에 전력을 다하고 있습니다.
• 불필요한 지식을 모두 버리고, 매우 깨끗하게 정제된 데이터만 잘게 쪼개어 모델에 주입하는 '데이터 파이프라인 최적화' 기술에 집중합니다.

예)

• 1.1GB로 압축한 모델을 아이폰에서 100% 오프라인으로 구동
• 메모리가 4GB에 불과한 라즈베리 파이에 초소형 모델을 구동
• 모델이 길을 잃지 않고 정확한 도구를 쓰도록 통제하는 제어 시스템