실시간 캐릭터 에이전트 환경에서 소형 로컬 LLM이 얼마나 일관된 페르소나를 유지할 수 있는지 평가하기 위한 개인 연구 기획입니다.

1. 프로젝트 개요

최근 LLM은 단순한 질의응답 도구를 넘어, 게임 NPC, AI 캐릭터, VTuber, 상담형 에이전트처럼 특정 역할과 성격을 유지해야 하는 인터랙티브 시스템에 활용되고 있습니다.

하지만 실제 서비스 환경에서는 단순히 “정답을 잘 맞히는가”만으로 모델 품질을 평가하기 어렵습니다. 캐릭터형 LLM은 다음과 같은 요소를 함께 만족해야 합니다.

• 캐릭터의 말투와 세계관을 유지하는가
• 긴 대화에서도 설정이 무너지지 않는가
• 사용자의 역할 이탈 유도나 시스템 프롬프트 요구에 적절히 대응하는가
• 응답 품질과 지연시간 사이의 균형을 유지할 수 있는가

본 실험은 소형 로컬 LLM을 대상으로, 실시간 캐릭터 에이전트 환경에서의 페르소나 유지력과 응답 지연시간을 함께 평가하는 것을 목표로 합니다.

2. 문제의식

대형 클라우드 모델은 일반적으로 안정적인 응답 품질을 제공하지만, 실시간 인터랙션 환경에서는 비용, 지연시간, 외부 API 의존성 문제가 발생할 수 있습니다.

반면 7B~8B 규모의 소형 로컬 모델은 개인 장비에서도 실행 가능하다는 장점이 있지만, 긴 대화가 이어지거나 사용자가 의도적으로 역할 이탈을 유도할 때 페르소나가 쉽게 흔들릴 수 있습니다.

특히 게임 NPC나 AI VTuber처럼 “캐릭터성”이 중요한 환경에서는 다음과 같은 문제가 중요합니다.

• 대화가 길어질수록 초기 캐릭터 설정을 잊는 문제
• 사용자의 메타 질문에 의해 캐릭터 역할이 무너지는 문제
• 응답 품질을 높이기 위한 검증 구조가 실시간성을 해치는 문제
• 모델 크기, 컨텍스트 길이, 응답 속도 사이의 trade-off 문제

이 프로젝트는 이러한 문제를 실험적으로 관찰하고, 캐릭터형 LLM을 평가하기 위한 기준을 설계하는 데 초점을 둡니다.