AI 에이전트를 활용한 군 내 설문조사 개선

군에서는 조직 문제 개선, 대적 교육, 급양 만족도 등 다양한 주제에 관한 설문조사가 실시된다. 설문조사는 단기간 내에 의견, 생각, 선호도, 만족도, 행동 패턴 등을 신속하게 수집하고 분석하는 효율적인 방법이다. 다른 환경과 비교했을 때, 군에서의 설문 배포 및 응답률은 빠르고 높아 (효율성이 좋아), 정기적인 설문조사가 이루어진다. 이러한 설문조사는 문제를 신속하게 파악하고 해결하기 위한 군의 주요 소통 수단이다.
 
군은 시간적 제약과 인적 자원의 한계로 인해, 주로 구조화된 질문 형태, 즉 주어진 선택지 중 하나를 선택하도록 하는 객관식 방식의 설문조사를 채택한다. 이 방식은 대규모 조사에 적합하며, 분석이 용이하고 객관적인 결과 도출이 가능하다는 장점이 있다. 그러나 구조화된 설문(객관식 설문)을 통해 “양질의 결과”를 얻기 위해서는 다양한 조건과 상황을 고려하여 세심하게 설계되어야 한다.

현재 군 내 여러 부서에서 독립적으로 설문조사를 제작하고 있으며, 문장 구성이나 설문 유형에서 오류를 범하는 경우가 종종 있다. 설문 제작과 분석에 대한 특별한 지침이나 규정이 없는 현 상황에서, 제작자는 다양한 오류를 범할 수 있는 환경에 놓여 있다. 이에 따라 응답자가 의도치 않은 선택을 하거나 응답하지 않게 되는 등의 문제가 발생하고 있다.

군 내 다양한 부서. [포마블의 지식탐구]

 
응답률이 높은(응답을 강제할 수 있는) 군대의 환경은 양질의 데이터 수집에 유리하지만, 현재의 설문조사는 종종 형식적으로 이루어지거나 특정 결과를 목표로 하는 것처럼 보인다. 설문조사를 제작하는 각 부서에서 전문적인 설문 설계 교육을 실시하는 것이 현실적으로 어려운 점을 고려할 때, 새로운 접근 방법이 필요하다고 생각된다.
 
이 글은 AI 에이전트를 활용한 설문 검증 시스템 도입이 설문조사의 설계 및 분석에 큰 도움을 줄 수 있다고 주장한다. 이 방법은 설문조사의 질을 향상하고, 더욱 정확한 데이터 수집 및 분석, 더 나아가 의사결정에 기여할 것으로 예상한다.
 

배경: 섬세한 설문조사 제작의 필요성

효과적인 설문조사 제작은 단순히 질문을 나열하는 것 이상의 복잡한 과정을 요구한다. 같은 질문이라 할지라도, 문장 구성, 문항 순서, 보기 배열 등이 응답자의 반응과 경향성에 중대한 영향을 미친다는 것을 고려해야 하며, 응답자의 선택지 무시 경향을 이해하는 것도 중요하다. 이는 설문조사 제작이 제작자의 깊은 인지심리학적 지식과 세심한 주의를 요구함을 시사한다 (Shuman & Press, 1996; Schuman & Scott, 1981; Groves et al., 2004).

동일한 문항이라 하더라도 선택지의 배열 순서에 따라 응답 결과가 달라질 수 있으며, 응답자들이 앞에 제시된 선택지를 뒤에 제시된 선택지보다 더 빈번하게 선택하는 패턴이 일관적으로 나타남 (이경수 외, 2008).

 
군 내에서 실행하는 설문조사는 보통 이러한 복잡성을 충분히 반영하지 못하며, 기준에 미치지 못하는 경우가 많다. 제작자들이 설문 제작에 관한 충분한 지식 없이 문장을 구성하거나 설문 유형을 결정하면서 부적절하고 모호한 질문 및 보기 목록을 제작하며 혼란을 일으키는 경우로 이어진다.
 
또한, 설문 제작 과정에서는 응답자가 질문을 쉽게 이해하고, 관련 정보를 빠르게 불러내어 적절한 판단을 내릴 수 있도록, 설문 대상에 대한 충분한 이해와 고려가 필요하다. 그러나 현재 군에서는 간부, 병사, 군무원 등 다양한 대상자에게 같은 설문이 배포되는 경우가 흔하며, 군대(육, 해, 공) 및 군사특기가 전혀 다른 대상자에게도 같은 내용의 설문을 사용하는 것이 흔하다. 이는 응답자의 상황을 충분히 고려하지 않는 것이며, 결과적으로 최적의 응답을 얻지 못할 가능성이 높다.(Krosnick, 1991).
 
군 내 설문조사는 규모와 질 면에서 다양성을 보이지만, 대규모 및 소규모 조사 모두 개선이 필요하다고 생각한다. 군이 개인정보 및 다양한 정보 수집에 있어 유리한 위치에 있음에도 불구하고, 부적절한 설문 제작으로 인해 발생하는 데이터 품질 저하는 중대한 문제다.
 
이에 따라, 설문 제작 과정에 인지심리학적 원칙을 도입하고, 일관된 설문 가이드라인을 마련해야 한다. 또한, 설문 대상자의 특성과 상황을 세심하게 고려하는 맞춤형 접근 방식이 필요하다.

서로다른 군대 용어. 설문 제작시 설문 대상에 대한 세심한 이해를 바탕으로 제작해야 응답자의 혼란을 줄일 수 있다.

 

AI 에이전트를 활용한 설문 개선

AI 에이전트는 특정 목적에 맞게 설계된 프로그램으로, 업무의 성격과 상황에 따라 학습하고 조정되어 광범위한 분야에서의 효율성을 향상하는 데 기여하고 있다. 예를 들어, 고객 상담용 봇은 상담 관련 데이터를 바탕으로 학습되어 상담 업무에 최적화되며, 연애 대화를 모사하는 에이전트는 실제 연인들의 대화 데이터를 학습하고 조정되어 해당 목적에 적합한 성능을 제공한다.

스캐터랩의 이루다. 실제 대화 데이터를 기반으로 친구와 대화하는 느낌을 준다. [스캐터랩, 시사위크]

 
군 조직은 구조화된 계급 체계와 명확한 역할 분담을 통해 다른 환경에 비해 특정 그룹을 대표하는 AI 에이전트 개발에 유리한 환경을 가지고 있다. 군대는 부사관, 장교, 병사, 군무원으로 구성되어 있으며, 계급과 소속이 명확히 정해져 있어 그 데이터를 그룹화하여 수집 및 표현하기가 용이하다. 또한, 군은 개인 정보 및 데이터 사용에 있어 다른 환경보다 유연하며, 이는 더 세부적으로 특정 병과나 나이를 대표하는 에이전트 개발을 가능하게 한다. 그렇다면, 이러한 AI 에이전트는 어떻게 만들어지며, 어떤 방식으로 활용될 수 있을까?
 

AI 에이전트 구축 방법

설문 제작 AI 에이전트는 제작자와의 상호작용을 필요로 하기 때문에, 자연어 처리(NLP) 모델을 기반으로 진행된다. GPT, BERT와 같은 모델을 활용하면 자연어 이해, 분류 및 생성 작업을 효율적으로 수행할 수 있다. 이러한 접근법은 개발 시간을 단축시키고, 고품질의 AI 구현을 가능하게 한다. (단, 보안 문제에 대한 고려가 필요하다.)

SK텔레콤의 AI 에이전트 에이닷. GPT 기반이며 이용자의 질문과 요청에 맞춰 다양한 정보를 제공하고 서비스를 수행한다. [SK텔러콤 뉴스룸]

 
먼저 AI 에이전트의 기반이 될 데이터를 수집해야 한다. 이 과정에서는 과거 설문조사 내용 및 응답, 통계, 보고서, 업무 내용 등 다양한 데이터를 포함한다. 이후, 수집된 데이터를 통해 군 내 다양한 직급, 나이, 직종별로 대상을 세분화하여 AI 에이전트를 개발하고자 하는 그룹을 정한다.
 
수집된 데이터는 정제, 분류, 라벨링과 같은 전처리 과정을 거쳐 훈련 데이터셋으로 변환된다. 현재 군 내에서 고품질의 데이터 라벨링이 부족하다고 생각함으로, 이를 보완하기 위해 다양한 소스에서 얻은 저품질의 라벨을 결합하여 약한 지도 학습(Weak Supervision)을 적용한다.
 
전처리된 데이터를 GPT 모델에 사전 학습(pre-training)시키고, 인지심리학과 설문조사 제작에 관한 광범위한 자료를 모아 추가 학습을 진행한다. 이후 에이전트가 달성해야 할 목표와 역할을 명확히 하고 설문조사의 설계, 응답, 분석 등을 수행하도록 조정(fine-tuning)한다.

마지막으로 훈련된 AI 모델의 성능을 평가하여 각 그룹을 적절히 대변하는지 확인한다. 성능 검증은 정확도, 정밀도, 재현율 등 다양한 지표를 사용하여 이루어져야 한다. 최적화된 AI 에이전트는 설문 제작 환경에 배포하고, 지속적인 모니터링과 유지보수를 통해 성능을 유지한다. 이후 에이전트는 제작된 설문조사의 응답을 기반으로 성능을 지속적으로 강화한다.

AgentGPT (Prompt based tuning): 이름과 목표 입력을 통해 나만의 AI 에이전트가 상위 목표 달성을 위한 하위 태스크를 자율적으로 생성하고, 하나씩 처리하기 시작한다. *목표: 오늘의 빅테크 뉴스를 위한 팟캐스트 대본 작성 [카카오엔터프라이즈 기술블로그]

 

AI 에이전트의 활용

AI 에이전트 예시

 
AI 에이전트는 설문 제작 과정에서 제작자와 협력하여 활용된다. 예를 들어, 동해함에서 근무하는 갑판병 일병을 대상으로 설문을 제작할 때, 동해함 근무, 갑판 직무, 일병 계급을 대표하는 세 개의 AI 에이전트가 제작자의 설문에 응답한다. 이 에이전트들은 각 그룹을 대표해 반복적으로 설문에 응답하며, 응답 통계와 자연어로 된 설명을 제공한다. 이때, 에이전트는 인지심리학적 지식을 바탕으로 응답의 이유를 설명하고, 편향을 줄이고 결과를 개선할 방법을 조언한다.
 
예를 들어, 육군에서 사용하는 용어를 공군이나 해군에게 적합한 용어로 바꾸어 알려 줄 수 있고, 더 나아가 '스트레스'라는 단어 사용 시, 이 단어가 특정 계급이나 직군에게 어떠한 인식을 유발할 수 있는지에 대한 데이터를 바탕으로, '스트레스' 대신 '압박감'이나 '부담감' 같은 단어 사용을 권장할 수 있다. 또한, 선택지 배열 순서나 설문 구성에 따른 응답 패턴(경향성)과 통계를 분석하여, 응답자의 의견을 정확하게 수집할 수 있는 방법을 제시할 수 있다.

AI 에이전트 자연어 응답 예시

AI 에이전트 통계 응답 예시. 이 통계를 통해 무엇을 알 수 있을까?

 
제작자는 이 정보를 활용하여 설문의 문제점을 식별하고, 의도에 부합하며 편향이 최소화된 결과를 얻기 위해 설문 내용과 형식을 조정 및 검증한다. 반복적인 과정을 통해 제작자는 응답자의 경향성과 문제점을 더욱 깊이 이해하고, 응답자의 관점에 맞는 ‘올바른’ 설문을 제작할 수 있다.
 
대규모 설문조사를 실행할 때는, 해당 설문 대상의 모든 AI 에이전트에게 설문을 제공하고 응답을 요청한다. 이 에이전트들은 각각 설문에 응답하고, 통계 정보 및 경향성과 그 이유를 자연어와 통계로 제작자에게 보고한다. 이 접근법을 통해, 설문 내용과 연관성이 낮거나 올바르지 않은 그룹을 식별할 수 있다.
 
에이전트들이 제공한 정보에 기반하여, 제작자는 부적합한 그룹을 식별하고, 타깃 그룹을 더욱 정확히 파악할 수 있다. 결과적으로 모든 응답자가 쉽게 응답할 수 있는 공정하고 편향되지 않은 설문을 만들거나, 필요한 경우 특정 소수 그룹에 대한 맞춤형 설문을 제작할 수 있다.
 
맞춤형 설문을 제작할 때, 제작자가 모든 그룹을 대상으로 설문을 개별적으로 수정하는 것은 번거로울 수 있다. 이에 대한 해결책으로, AI 에이전트가 즉각적으로 설문 내용을 분석하고 특정 그룹에 더욱 개인화된, 맞춤형 설문을 자동으로 제작할 수 있다. 이 자동 수정 기능을 통해, 에이전트는 응답자에게 적합한 질문 내용, 어투, 단어 선택을 조정하여 설문을 즉시 수정하여 배포 할 수 있다.
 
AI 에이전트를 활용한 이러한 설문 제작 방식은, 기존 방식에 비해 제작자가 다양한 관점에서 설문을 제작할 수 있도록 지원한다. 또한, 즉각적인 피드백을 통해 고품질의 설문을 신속하게 제작할 수 있도록 돕는다. 이 과정으로 제작된 설문조사는 응답자가 내용을 더 쉽게 이해하고 정확한 결정을 내릴 수 있도록 하며, 사용자 경험을 개선하고 결과적으로 설문 결과의 신뢰도를 높인다. 이로 인해 얻어진 데이터는 군의 의사결정 과정에 필요한 핵심 정보를 제공할 것이다.
 

데이터 순환을 통한 강화 학습

앞서 언급했듯이, 고품질의 데이터 부족을 문제로 지적하였다. 제한된 데이터로 훈련된 AI는 성능상 제약을 받는다. 이 문제를 해결하기 위해 AI 에이전트와 함께 제작된 설문조사를 통해 얻은 새로운 데이터를 활용한 반복 학습, 즉 강화 학습을 적용하는 것이 중요하다.
 
AI 에이전트와 함께 제작된 설문조사를 통해, 이전보다 더 정확한 응답 데이터를 수집할 수 있다. 이는 특정 그룹에 대한 깊은 이해를 바탕으로 설계되며, 응답자의 메타데이터와 응답 데이터를 체계적으로 수집하여 데이터 라벨링을 용이하게 한다. 이렇게 수집된 고품질 데이터는 AI 에이전트의 학습 과정에 다시 사용된다.

데이터 순환 예시

 
순환적 학습 과정을 통해 AI 에이전트는 시간이 지나며 복잡한 요구사항을 충족시키고 응답자의 세밀한 성향과 정보를 정확하게 파악하게 된다. 향상된 에이전트는 특정 그룹에 가장 적합한 설문 유형과 질문 내용을 파악하며, 이전보다 더 정확하고 세부적인 개선 사항을 제작자에게 제시할 수 있다.
 

향상된 AI 에이전트를 통한 설문 결과 예측 및 분석

강화 학습을 통해 특정 그룹을 거의 완벽히 대변할 수 있는 수준으로 발전하고 검증된 AI 에이전트는 설문조사 결과를 예측하는 능력을 갖추게 된다고 할 수 있다. 이 AI 에이전트는 설문조사 실시가 어려운 상황에서도 특정 그룹을 대신해 응답을 할 수 있으며, 이를 통해 대략적인 응답 경향을 예측하는 방법론을 제공한다. 또한, 군 내에서 다양한 정책 및 전략 시나리오를 개발할 때, 이 AI 에이전트는 특정 그룹의 의견을 즉각 반영하여 정책 변경이나 교육 프로그램의 효과 및 의견을 사전에 파악하는 데 도움을 준다.
 
장기적인 데이터 분석을 통해, AI 에이전트는 군대의 문화, 문제점, 그리고 동향을 파악하는 데 중요한 역할을 할 수 있다. 또한 장병들의 우려 사항, 그리고 긍정적인 변화를 촉진할 기회를 식별할 수 있다. 이러한 정보는 조직의 지속적인 개선과 장병들의 복지 증진을 위한 정책을 수립하는 데 기여할 것이다.

AI 에이전트의 활용은 군 내 설문조사를 단순한 데이터 수집 수단을 넘어서 조직의 의사결정과 문화 형성에 핵심적인 역할을 하는 도구로 전환시킬 수 있다. 이러한 변화는 군 조직의 효율성을 높이고, 장병들의 만족도를 극대화하는 데 기여할 것이다.