[기초] LLM과 sLLM

학습 목표: 이 챕터를 통해 독자는 LLM과 sLLM의 개념과 차이점을 설명하고, 작업의 요구사항에 따라 적합한 모델을 선택하는 기준을 이해하며, sLLM을 활용한 맞춤형 챗봇 구축의 기본 과정을 파악할 수 있게 됩니다.

Part 1. 핵심 이론: 언어 모델의 구조와 원리

LLM (Large Language Model): 인터넷을 삼킨 거인

LLM(거대 언어 모델)은 이름 그대로 수천억 개에서 많게는 1조 개가 넘는 매개변수(Parameter)를 가진 거대한 인공신경망입니다. 매개변수는 인간 뇌의 시냅스와 유사한 역할을 하며, 그 수가 많을수록 더 복잡하고 미묘한 패턴을 학습할 수 있습니다. GPT-5, Claude, Gemini 등이 대표적인 LLM입니다.

• 장점: 방대한 지식을 바탕으로 거의 모든 주제에 대해 답변할 수 있으며, 복잡한 추론과 창의적인 작문 능력이 뛰어납니다.
• 단점: 모델을 훈련하고 운영하는 데 천문학적인 비용과 컴퓨팅 자원이 필요하며, 응답 속도가 상대적으로 느릴 수 있습니다.

sLLM (Small Language Model): 작지만 강한 전문가

sLLM(소형 언어 모델)은 수십억 개 이하의 매개변수를 가진 경량화된 모델입니다. LLM의 성능을 유지하면서 크기와 비용을 획기적으로 줄여, 스마트폰이나 노트북과 같은 개인 기기(On-device)에서도 실행할 수 있도록 만든 것입니다. OpenAI의 GPT-OSS, Meta의 Llama 3, Mistral AI의 Mistral 7B, Microsoft의 Phi-3 등이 대표적입니다.

• 장점: 응답 속도가 매우 빠르고, 운영 비용이 저렴합니다. 특히 인터넷 연결 없이 로컬 환경에서 실행할 수 있어 데이터 프라이버시를 보호하는 데 유리하며, 특정 도메인(예: 의료, 법률, 고객 서비스) 데이터로 추가 학습(Fine-tuning)시켜 고도로 특화된 전문가로 만들 수 있습니다.
• 단점: 일반 상식이나 광범위한 지식은 LLM에 비해 부족할 수 있습니다.

Part 2. 실행 방법: LLM vs. sLLM 선택 기준

어떤 모델을 선택할지는 해결하려는 문제의 성격에 따라 달라집니다.

의사결정 매트릭스: LLM vs. sLLM