손진환 / 한국교원대학교 / 서·논술형 평가를 위한 AI 기반 국어과 채점자 훈련 프로그램 개발 / 12,000 / 12개월 / 2025 석사과정생연구장려금지원사업
연구목표:
본 연구의 목표는 서·논술형 평가에서 국어과 채점의 공정성과 신뢰성을 높이기 위해 예비 교사 및 현직 교사를 대상으로 한 AI 기반 채점자 훈련 프로그램을 개발하고 그 효과성을 검증하는 데 있다. 특히 인공지능(AI) 기술 중 Q-Learning 기반의 단순화된 강화학습 모델을 훈련 프로그램에 통합함으로써, 채점 연습 과정에서 발생하는 오류를 즉각적으로 피드백하여 채점자의 채점 일관성을 향상시키고자 한다. 이를 통해 인간 채점자의 전문성을 향상시키면서도, 사회문화적 맥락 파악 및 거짓된 정보 생성과 같은 AI 자동 채점의 한계를 보완하는 혼합형 평가 체제의 가능성을 모색한다. 세부 연구목표는 다음과 같다.
- 국어과 교육과정에 적합한 서·논술형 평가 문항과 계층적 구조의 명확한 루브릭을 개발하고,
- DistilBERT 모델과 Q-Learning을 활용한 단순화된 강화학습 모델을 설계하여 채점자 훈련 프로그램에 적용하며,
- 채점 기준 내면화, 1차 채점, 앵커페이퍼 제공, AI 피드백, 재채점, 2차 피드백, 최종 평가의 7단계로 구성된 체계적인 훈련 프로그램을 개발하고,
- 예비 교사 및 현직 교사 대상으로 프로그램을 적용하여 프로그램 참여 전후의 채점 전문성 향상을 실증적으로 검증하는 것이다. 이러한 목표 달성을 통해 국어과 서·논술형 평가에서 교사의 전문성 향상에 기여하는 것이 궁극적인 지향점이다.
기대효과:
본 연구는 다음과 같은 기대효과를 지닌다:
- 채점 신뢰성 및 타당성 제고: 개발된 AI 기반 채점 훈련 프로그램은 예비 교사와 현직 교사들이 서·논술형 평가에서 더욱 일관되고 공정한 채점을 수행하도록 돕는다. Q-Learning 기반의 강화학습 모델은 채점 과정에서 발생하는 편차를 실시간으로 감지하여 피드백함으로써, 채점자의 오류를 감소시킨다. 특히 모호한 텍스트를 식별하고 재채점을 유도하는 과정을 통해 어려운 채점 사례에 대한 일관성을 향상시킨다. 이를 통해 학생들의 학업 성취도를 보다 정확히 반영하는 평가 결과를 제공할 수 있으며, 결과적으로 평가 신뢰도와 타당도를 크게 향상시킬 것으로 기대된다.
- 교사 평가 전문성 강화: 예비 교사 및 현직 교사는 본 연구를 통해 서·논술형 평가에서의 채점에 대해 심도 있게 이해할 수 있다. 특히 7단계로 구성된 체계적 훈련 과정(채점 기준 내면화, 1차 채점, 앵커페이퍼 제공, AI 피드백, 재채점, 2차 피드백, 최종 평가)을 통해 자신의 채점 성향을 분석하고 개선할 기회를 가짐으로써, 교사의 평가 전문성이 효과적으로 강화된다. 특히 채점 경향성 분석, 일관성 히트맵, 모호한 텍스트 식별과 같은 데이터 기반 피드백이 채점자의 메타인지 능력 향상에 기여할 것이다. 이는 교사로서 공정한 평가를 실천하고, 실제 교직 현장에서의 전문성을 향상시킬 것이다.
- 교육 현장 적용 가능성 및 확장성: 본 연구에서 개발된 채점자 훈련 모델은 국어과뿐만 아니라 다른 교과에도 활용 가능한 보편적 모델로 확장될 수 있다. Python과 Google Colab 환경을 활용한 훈련 모델 개발로 접근성과 확장성을 높이고, 컴퓨터를 기반으로 한 훈련 시스템으로 구현됨에 따라, 시간과 공간의 제약을 줄이고 대규모 연수 형태로도 운영 가능하다. 이는 교육청이나 교원연수원에서 현직 교사를 대상으로 한 연수 프로그램으로 확대 적용할 수 있음을 의미한다. 또한 사회, 과학 등 타 교과 특성에 맞게 문항과 채점 기준을 조정하면 동일한 훈련 효과를 얻을 수 있으므로, 다양한 교과의 서·논술형 평가 평가 관련 채점 전문성 함양에 활용될 수 있다.
- 교육 정책 및 평가 제도 개선: 본 연구 결과는 교육부 및 관련 기관에서 서·논술형 평가와 교사 연수 정책을 수립하거나 개선하는 데 유용한 자료로 활용될 수 있다. 예를 들어, 대학수학능력시험에 논술형 문항이 도입될 경우 전국 단위의 온라인 채점자 훈련 시스템이 필요하다. 이때, 본 연구를 바탕으로 AI 기반 채점 훈련 시스템을 구축함으로써 이를 대비할 수 있다. AI를 활용한 채점 훈련 방안을 개발하면 채점자들에게 즉각적이고 자세한 피드백을 제공하여 교사들이 채점 전문성을 함양할 수 있게 된다. 이러한 모델은 추후 국가 차원의 교원 연수 프로그램이나 정책 개선에 직접 활용되어 공정하고 효율적인 평가 체제 구축에 기여할 수 있다.
- 학생 학습 경험 향상: 공정하고 신뢰성 있는 평가 체제는 학생들에게 긍정적인 학습 경험을 제공한다. 교사가 일관된 기준으로 채점하고 풍부한 피드백을 제공하면, 학생들은 자신의 답안에 대한 공정한 평가와 교정 기회를 얻어 학습에 대한 만족감 및 동기를 느낄 수 있다. 특히 AI 기반 피드백 시스템은 채점자에게 빠르고 정확한 채점을 가능케 하여 학생들에게 신속한 결과 환류를 가능하게 해주므로, 평가를 통한 학습 효과가 극대화될 수 있다. 이는 학생들의 자기주도적 학습을 촉진하고, 평가에 대한 신뢰를 높여 궁극적으로 학업성취 향상에 긍정적인 영향을 미칠 것이다.
연구요약:
본 연구는 서·논술형 평가에서 국어과 채점의 공정성과 신뢰성을 향상시키기 위한 AI 기반 채점자 훈련 프로그램을 개발하고 그 효과를 검증하는 것을 목적으로 한다. 현직 교사와 예비 교사들이 채점 과정에서 겪는 어려움과 주관적 편향을 줄이기 위해, 강화학습 알고리즘을 활용한 AI 피드백 시스템을 설계하고 이를 체계적인 훈련 프로그램에 통합하는 방식으로 접근한다.
연구 방법론으로는 먼저 국어과 교육과정에 적합한 서·논술형 문항과 계층적 채점 루브릭을 개발한다. 이어서 DistilBERT 모델과 Q-Learning 기반의 강화학습 모델을 구축하여, 채점자의 채점 패턴을 분석하고 개인화된 피드백을 제공하는 시스템을 Python과 Google Colab 환경에서 구현한다. 이 시스템은 채점자 정보 관리, 앵커페이퍼 제공, 채점 결과 비교, 패턴 분석, AI 피드백, 재채점 권장 등의 기능을 갖춘 대시보드로 시각화된다.
훈련 프로그램은 ‘채점 기준 내면화 → 1차 채점 → 앵커페이퍼 제공 → AI 피드백(1차) → 재채점 → AI 피드백(2차) → 최종 채점 및 평가’의 7단계로 구성되며, 각 단계별로 채점자의 역량 향상을 위한 체계적인 접근이 이루어진다. 특히 모호한 텍스트를 식별하고 채점자에게 재채점을 유도하는 과정에서 강화학습 모델을 적용함으로써, 채점자의 일관성을 효과적으로 향상시키는 데 중점을 둔다.
효과성 검증을 위해 최소 40명의 예비교사와 10명의 현직교사를 대상으로 프로그램을 적용하고, 채점 일관성 지표(Rasch 모델 활용), 전문가 점수와의 일치도, 사용자 경험 분석 등 다각적인 방법으로 프로그램의 효과를 평가한다. 이를 통해 서·논술형 평가의 공정성과 신뢰성을 높이고, 예비 및 현직 교사의 평가 전문성을 향상시키는 데 기여할 수 있을 것으로 기대한다.
본 연구는 단순한 자동채점 시스템이 아닌, AI와 인간 채점자의 협업을 통해 각각의 강점을 살리는 혼합형 평가 모델을 제시함으로써, 향후 교사 연수 프로그램 개발과 대규모 평가 시스템 구축에 실질적인 방향성을 제공할 것이다.