유환일 / 성균관대학교 / 생성형 AI의 한국어 의미 감수성 벤치마크 구축 및 문화적 정렬 / 2026 신진연구자지원사업(인문사회) / 25,260 / 12개월 / 2026 신진연구자지원사업(인문사회)
연구목표
최근 ChatGPT, Gemini 등 대규모 언어 모델(LLM)의 한국어 생성 능력은 비약적으로 발전했으나, 이들 모델이 ‘매우’와 ‘아주’, ‘슬프다’와 ‘서글프다’와 같은 유의어의 미세한 의미 차이를 한국어 화자와 동일한 감수성으로 인식하는지에 대한 체계적 검증은 부재하다. 현재의 한국어 AI 평가는 KLUE(Park et al., 2021)나 KoBEST(Jang et al., 2022)등 정답이 정해진 과제 중심 벤치마크에 집중되어 있어, 화자의 ‘감각적’ 의미 인식을 측정하는 데 한계가 있다.
이에 본 연구는 한국인 화자 50,000명이 평정한 60,000쌍의 대규모 유의어 데이터를 기반으로 다음 세 가지 목표를 달성하고자 한다. 첫째, 인간의 언어 직관이 반영된 ‘한국어 의미 감수성 벤치마크(Korean Semantic Sensitivity Benchmark, 아래 KSSB)’를 구축한다. 이를 위해 전체 60,000쌍 중 통계적 유의성을 확보한 핵심 평가셋(Core Set) 3,000쌍과, 인간-AI 괴리가 가장 심각한 고난도 항목을 엄선한 심층 분석셋(Deep Set) 1,000쌍을 이원화하여 구축함으로써, 기존 정량적 평가의 한계를 넘어서는 새로운 표준을 제시한다. 둘째, 주요 생성형 AI(GPT-4o, HyperCLOVA X 등)의 유의어 인식 양상을 프롬프트 및 임베딩 분석을 통해 진단하고, HAE-RAE Bench(Son et al., 2023) 등 선행 연구가 포착하지 못한 품사·의미 영역별 인간과의 인식 괴리를 규명한다. 셋째, 이를 바탕으로 AI의 ‘문화적 정렬’ 수준을 제고하고(Cao et al., 2023), 한국형 소버린 AI(Sovereign AI)의 언어적 정체성을 확립하기 위한 설명 가능한 학습 데이터를 구축한다.
기대효과
(학술적 측면) 기존 소규모 실험에 의존하던 유의어 변별 연구(김광순, 2014)를 5만 명 화자가 평정한 60,000쌍의 대규모 데이터기반의 계량적 연구로 전환하는 패러다임의 변화를 이끌 것이다.
(기술적·산업적 측면) 통계적 유의성을 갖춘 핵심 평가셋(Core Set) 3,000쌍과 고난도 심층 분석셋(Deep Set) 1,000쌍으로 정교하게 구축된 KSSB 벤치마크와 정렬 데이터셋은 DPO(Rafailov et al., 2023) 등 최신 튜닝 기법에 활용되어, 국내외 AI 기업들이 한국어 모델의 성능을 고도화하는 핵심 자원이 될 것이다. 이는 한국어 텍스트 생성의 자연스러움을 높이고, 기계 번역 및 감성 분석 서비스의 품질을 획기적으로 개선하는 데 기여한다.
(사회적 측면) AI의 ‘문화적 환각’이나 편향을 진단할 수 있는 구체적 도구를 제시함으로써, 한국의 언어 정서와 문화적 맥락에 부합하는 공정한 AI 서비스 실현(Ramesh et al., 2023)과 데이터 주권 확보에 기여할 것이다.
연구요약
본 연구는 한국인 50,000명이 유의어 60,000쌍에 대해 평정한 대규모 인식 데이터를 활용하여, 생성형 AI의 한국어 의미 감수성을 평가하고 인간 인식과의 정렬(Alignment) 수준을 분석하고자 한다. 연구는 크게 두 단계로 진행된다.
(1단계: 한국어 의미 감수성 벤치마크 데이터셋 구축) 보유한 60,000쌍의 원시 데이터를 정제하고, 품사, 의미 영역, 형태 구조 등의 메타데이터를 태깅한다. 데이터의 양적 규모와 질적 정교함을 동시에 확보하기 위해, 전체 60,000쌍(Full Set)을 기반으로 통계적 유의성을 갖춘 핵심 평가셋(Core Set) 3,000쌍과, 인간-AI 괴리가 가장 심각한 고난도 항목을 엄선한 심층 분석셋(Deep Set) 1,000쌍을 체계적으로 구축한다. 이는 SimLex-999(Hill et al., 2015) 등 기존 의미 유사도 데이터셋의 규모를 압도하는 자원이 될 것이다.
(2단계: 생성형 AI 평가 및 다층적 괴리 분석) GPT-4o, HyperCLOVA X 등 대표적인 LLM을 대상으로 평가를 수행한다. 프롬프트 기반의 직접 평정과 임베딩 기반 유사도 측정 방식을 병행하여 AI의 인식 패턴을 산출한다. 이후 인간의 평정 결과와 AI의 예측 결과 간의 상관관계를 분석하여, AI가 한국어의 어떤 품사나 의미 영역에서 인간과 다른 인식을 보이는지 ‘문화적 맹점(Cultural Blind Spots)’을 규명한다. 본 연구는 세계 최대 규모의 단일 언어 유의어 인식 데이터를 활용하여 한국형 AI(소버린 AI)의 질적 고도화에 기여할 것이다.
키워드
한국어 의미 감수성, 한국적 AI 정체성, 생성형 AI, 벤치마크, 문화적 정렬
Korean Semantic Sensitivity, Korean AI Identity, Generative AI, Benchmark, Cultural Alignment