송상헌 / 고려대학교 / 언어모델을 활용한 한국 정치 텍스트 분석 / 2.4천만 / 12개월 / 2025 중견연구자지원사업
연구목표:
본 연구는 한국어 언어모델을 활용하여 한국 정치 텍스트의 이념적 스펙트럼을 분석하고, 모델에 내재한 정치적 편향성을 체계적으로 측정하는 것을 목표로 한다. 한국 정치의 특수성을 반영한 벤치마크를 개발하여 기존의 편향성 연구가 주로 영어와 서구권 데이터에 한정된 한계를 보완하고자 한다. 이를 위해 다음 두 가지 측면에서 연구 목표를 설정하였다.
첫째, 국내 주요 정당의 강령, 정책자료집, 언론 기사 등 다양한 정치 도메인 텍스트를 수집하고, 이를 기반으로 정치적 성향을 예측할 수 있는 벤치마크를 구축한다. 특히, 한국 정치가 지닌 ‘진보’와 ‘보수’라는 이분법적 구도를 고려해 이진 분류 방식을 적용하고, 프롬프트 기반의 평가 방식을 통해 언어모델의 예측 성능을 검증할 계획이다. 이를 통해 언어모델이 특정 정치적 주제에서 보이는 편향을 더욱 구체적으로 파악하고, 학습 데이터의 구성과 편향성 사이의 관계를 체계적으로 탐구하고자 한다.
둘째, 언어모델이 내재한 정치적 편향을 탐지하고 이를 완화하기 위한 방법론을 개발한다. 이를 위해 인코더와 디코더 기반의 언어모델을 비교하고, 강화학습(RLHF) 등의 최신 기법을 적용해 특정 정치 성향의 과도한 반영을 방지하는 방안을 모색할 것이다. 또한, 인구통계학적 특성을 고려해 언어모델의 정치적 편향이 어떤 방식으로 변하는지 분석하고, 이를 바탕으로 한 공정성 평가 기준을 마련할 계획이다. 이 과정에서 편향성이 나타나는 텍스트 요소를 시각화하고, 정량화된 지표를 통해 편향성의 정도를 객관적으로 평가하도록 한다.
위 목표를 실행하기 위해 본 연구는 총 1년에 걸쳐 진행될 예정이다. 연구 초반에는 국내 정치 텍스트의 체계적인 수집 및 전처리를 통해 학습 데이터를 구축하고, 이어서 언어모델의 학습과 편향성 측정을 수행할 계획이다. 연구 후반에는 모델의 예측 성능과 편향성 완화 방안을 평가하고, 이를 바탕으로 최종 벤치마크와 보고서를 작성할 계획이다. 종합적으로는 상기 연구 목표의 달성을 통해 한국어 언어모델의 정치 편향을 공정하게 평가하고 완화할 수 있는 강건한 벤치마크를 제시함으로써 전산사회언어학 분야의 연구에 이바지하고자 한다.
기대효과:
본 연구는 우선 전산언어학과 정치학 간의 학제적 연구를 통해 다음과 같은 학문적·사회적 기여를 할 것으로 기대된다. 첫째, 한국어 전산언어학 분야에서 융복합적 연구의 선도적 사례를 제시함으로써, 전산언어학이 다양한 분야와 결합해 발전할 수 있는 가능성을 보여준다. 둘째, 한국어 언어모델의 추론 능력을 평가할 수 있는 새로운 도메인을 제공하여, 언어모델의 성능을 보다 구체적이고 정밀하게 검증할 수 있다. 본 연구는 한국어의 언어적 특성과 한국 정치의 특수성을 종합적으로 반영해, 양 분야의 연구 발전에 기여할 것이다. 이는 전산언어학과 타 분야 간 융복합 연구의 모범 사례가 될 수 있다.
또한, 본 연구에서 수집 및 활용하는 정치 텍스트는 언어모델의 정치적 이슈와 이념에 대한 추론 성능을 실증적으로 검증하는 데 활용된다. 이를 통해 언어모델의 활용 범위를 확장하고, 급변하는 정치 환경과 인공지능 사용의 확산이라는 현 한국의 상황에 부합하는 연구임을 증명한다.
본 연구의 결과물은 다음과 같은 방식으로 활용될 수 있다. 첫째, 한국어 기반의 정치 페르소나 언어모델 개발에 적용할 수 있다. 각 정당의 이념과 입장을 모방한 페르소나 언어모델을 통해 특정 주제에 대해 정당의 성향에 맞는 입장을 표현할 수 있다. 이를 통해 유권자가 입력한 키워드나 이슈에 대해 마치 정당의 대변인이나 대표가 응답하는 것처럼 답변을 생성할 수 있다. 이러한 모델은 정당별 모의 토론회 개최나 유권자의 정책 이해를 돕는 데 활용될 수 있다.
둘째, 한국 정치 온라인 데모 시스템 구축에 활용될 수 있다. 본 시스템은 입력된 텍스트의 정치적 속성을 분석하고 시각화할 수 있는 예측 모델과, 주어진 키워드에 따라 입장별 텍스트를 자동 생성하는 생성 모델로 구성된다. 이러한 실질적이고 구체적인 시스템은 정치학 연구자들과 일반 대중에게 유용한 자원이 될 수 있다.
아울러, 본 연구와 관련된 공개 워크숍 및 강연을 통해 연구 성과와 기술을 널리 알리고, 언어모델과 인공지능에 대한 지식을 확산하고자 한다. 또한, 학문 후속 세대가 연구 보조 인력으로 참여함으로써 데이터 분석 역량을 강화하고, 한국어 인공지능 관련 연구 경험을 쌓을 수 있도록 지원할 것이다.
마지막으로, 본 연구에서 개발된 모든 도구와 자원은 과학적 재현 가능성을 보장하기 위해 완전 공개를 원칙으로 한다. 소스코드와 구축된 데이터셋은 공유 플랫폼인 GitHub 등을 통해 공개될 예정이며, 이를 통해 후속 연구에 활용될 수 있도록 할 것이다. 또한, 이러한 자원은 다른 언어 및 문화권의 언어모델과 비교·교차 검증 및 번역 문장에 대한 연구에도 활용될 수 있다. 나아가, 국제 협력 연구로 확장될 가능성도 열어 두고 있다.
연구요약:
본 연구는 전산언어학적 관점에서 한국 정치 텍스트의 이념적 스펙트럼을 분석하고, 한국어 언어모델이 내재한 정치적 편향성을 체계적으로 측정하고자 한다. 특히, 한국 정치의 특수성을 반영한 벤치마크를 구축함으로써 기존 연구가 주로 영어와 서구권 데이터에 한정된 한계를 보완하고자 한다.
우선, 본 연구는 한국 주요 정당의 강령, 정책자료집, 언론 기사 등 다양한 출처에서 정치 텍스트를 체계적으로 수집하고, 이를 기반으로 정치적 성향을 예측하는 언어모델을 개발한다. 특히, ‘진보’와 ‘보수’라는 이분법적 구도를 반영해 이진 분류 방식을 적용하며, 특정 정치적 발화가 어느 정당에 가까운지를 예측할 수 있도록 한다. 정치 발화에 사용되는 단어나 표현이 각 정당별로 어떻게 차이를 보이는지를 분석하고, 이를 통해 정치 스펙트럼을 정량적으로 평가할 수 있는 방법론을 탐구할 계획이다. 예를 들어, 경제, 외교, 사회 이슈에서 사용되는 특정 어휘와 문체를 분석해 정당 간의 언어적 특징을 비교하고, 이를 바탕으로 정치 성향을 예측할 수 있는 지표를 개발한다.
둘째, 한국어 언어모델이 특정 정치적 편향을 내재하고 있는지를 평가하기 위해, 한국 정치에서 주요한 이슈(예: 소득세, 부동산, 대북정책 등)를 선정하고 언어모델의 응답을 분석한다. 이를 위해 인코더 기반의 마스킹 언어모델과 디코더 기반의 생성형 언어모델을 모두 활용해, 각 정치적 주제에 대한 응답이 얼마나 중립적이고 공정한지 평가할 계획이다. 이 과정에서 학습 데이터의 구성과 정치 편향 간의 관계를 탐구하고, 언어모델이 특정 정치적 입장을 과도하게 반영하거나 왜곡하는 경우 이를 완화하는 방법론을 모색한다.
연구 방법의 측면에서는 연구자의 전산언어학적 전문성과 기존 선행 연구를 바탕으로 신뢰성 있는 데이터를 구축하고, 다양한 베이스라인 모델을 설정해 성능을 비교 평가할 예정이다. 편향성을 평가할 때는 정치적으로 민감한 주제를 중심으로, 정당별 입장 차이를 반영해 정량적인 지표로 측정할 계획이다. 또한, 연구의 재현 가능성과 투명성을 확보하기 위해 수집된 데이터와 분석 결과를 GitHub 등 공유 플랫폼을 통해 공개하고, 이를 기반으로 후속 연구의 기반을 마련하고자 한다.
본 연구는 1년에 걸쳐 단계적으로 진행된다. 연구 초반에는 데이터 수집 및 전처리를 통해 학습 데이터를 구축하고, 중반에는 언어모델의 학습과 정치적 편향성 측정 실험을 수행한다. 연구 후반에는 편향성 완화 방안을 평가하고 최종 벤치마크를 완성할 계획이다. 이를 통해 한국어 전산사회언어학 분야에 기여하고, 정치 텍스트를 활용한 다양한 응용 분야로의 확장 가능성을 모색하고자 한다.
키워드:
한국어 언어모델, 한국 정치 텍스트, 정치 편향, 다차원 이진 분류, 전산사회언어학
Korean Language Models, Korean Political Texts, Political Bias, Multidimensional Binary Classification, Computational Sociolinguistics