구건우 / 동국대학교 / Gen-AI의 언어학자로서의 가능성: 이론언어학적 접근을 통한 평가 / 2억 / 60개월 / 2025년도 (A유형) 인문사회학술연구교수 예비선정
연구목표:
최근 인공지능 기술의 진보로 인해 우리의 언어 사용에 큰 변화가 일어나고 있다. 2022년 11월에 출시된 ChatGPT는 영어 작문 분야에서 원어민 수준의 작문 능력을 발휘하고 있으며, 이는 전통적으로 인공지능으로 구현하기 어려웠던 영역이다. ChatGPT가 외견상 탁월한 작문 능력을 보이고 있음을 감안하고, 그리고 이 기술이 대학과 연구 분야뿐만 아니라 일반 대중에게도 널리 채택되고 있음을 고려할 때, ChatGPT 또는 이의 기술적 기반이 되는 인공신경망 언어모델(artificial-neural language model, ANLM)을 안전하고 신뢰할 수 있으며 윤리적으로 사용할 수 있음을 보장하기 위하여, 인공신경망 언어모델의 언어 능력과 언어 기능적 인지 능력을 정밀하게 평가할 필요가 있다고 판단된다.
본 연구는 언어학의 오랜 전통을 계승하여 (인간) 언어 연구에서의 형식주의와 기능주의의 보완적 시각을 바탕으로 생성형 인공지능: Generative Pre-trained Transformer(GPT)-3.5/4/4.5/5(출시예정), ChatGPT, Gemini, Claude, Grok 등을 포함하여(이들은 Chat을 기반하고 있어 통칭적으로 Gen-AI으로 칭함) 통사적, 의미적 측면에서의 언어 능력뿐만 아니라 언어의 기능을 온전하게 실현시키는 인지 능력을 평가하는 데 목적이 있다. (통사 및 의미를 아우르는) 형식적 언어/문법 능력은 주어진 언어를 생산하고 이해하는 데 필요한 일련의 핵심적 능력, 언어지식으로 정의된다. 즉, 언어 능력에는 언어 규칙뿐만 아니라(Chomsky, 1957; Comrie, 1989; Jackendoff and Pinker, 2005 등), 언어를 지배하는 문법 규범이 아닌 구문(construction)에 대한 통계-기반 규칙성/패턴에 관한 지식이 포함된다(Jackendoff and Pinker, 2005; Goldberg, 2019, Bybee and Hopper, 2001a 등). 다시 말해, 형식적 언어 능력으로 잘 알려진 능력에는 언어의 어휘와 어휘를 어떻게 생산적으로 구성하여 문법적 발화를 형성할 수 있는지에 관한 지식을 포함한다. 그러나 유능한 언어 사용자는 더 나아가서, 언어의 규칙과 구문에 대한 통계-기반 패턴에 능숙할 뿐만 아니라, 보고 느끼거나 들을 수 있는 것에 대해 말하고, 다양한 주제에 대해 추론을 하고, 요청을 하고, 언어 행위를 수행하고, 유혹/변명하는 등 일상생활을 하면서 언어를 사용한다. 즉, 우리는 언어 기능적 인지 능력을 가지고 감각과 기억과 같은 다른 지각 및 인지 시스템과 정보를 주고받으며, 보다 섬세한 사회 교류 능력으로 광범위한 의사소통 프레임워크에 참여하면서 언어를 사용한다. 본 연구는 인간 언어를 재현하는 ChatGPT와 같은 인공지능의 빠른 발전을 목도하면서, 인간 언어 (사용) 능력을 아우르는 형식적, 의미적 언어/문법 능력과 의미-화용 인터페이스 인지 능력의 측면에서 인공신경망 언어모델이 언어를 처리할 때 우리 인간 언어의 언어학적 이론을 기반할 수 있는가? 혹은, 그들만의 언어학적 이론을 제시할 수 있는지를 분석할 예정이다.
기대효과:
본 연구는 통사적, 의미적 언어 능력과 화용적 능력 관련 등, 새로운 유형의 인공 언어학습자로 간주될 수 있는 인공신경망 언어모델의 언어 처리에 관한 언어학 및 NLP간의 통합 연구이다. 연구 주제로서, (i)통사이론: 이동이론, 결속이론, 통제이론 (ii)의미이론: 양화사이론, 부정극어이론 (iii)의미-화용 인터페이스: 간접 화행. 총 세 가지의 언어처리에 관련한 형식적, 의미적 언어 능력, 그리고 형식적 추론, 맥락적 추론을 아우르는 화용 그리고 인지 능력에 관하여 주제로 삼는다.
본 연구는 2가지 학문적 측면에서 기여도가 클 것으로 기대한다. 첫째, 본 연구는 제시된 연구 주제에 관한 사람과 인공신경망 언어모델의 언어처리에 대한 기존 선행 연구들을 검토하여 관련된 이슈 및 쟁점들을 체계적으로 정리하여 본 연구의 가이드라인으로 활용함과 동시에 관련 후속 연구의 주요 참고 자료로 활용될 수 있다. 둘째, 제시된 연구 주제에 관한 기존 언어학 및 인지과학의 연구 결과와 인공신경망 언어모델 관련 새로운 연구 결과의 세부적인 비교 검토를 통해 사람의 언어 (사용) 능력의 본질을 심화하여 이해하고, 이와 대비한 인공신경망 언어모델의 언어처리적 차별성을 포착하게 될 것이다. 이와 같은 연구 방법론은 언어 체계뿐 아니라 새롭게 다가온 인간의 지능을 재현하는 인공신경망 언어모델 연구의 전범을 제시할 수 있고 더 나아가 언어학적 연구를 넘어 (인공지능에 대한) 언어의 인지과학적 연구를 질적으로 제고하는 역할을 할 것이다. 본 연구의 결과물들을 국내외 학술대회, 특히 ACL, EMNLP, PACLIC 등에서 발표하여 관련 분야의 해외 연구진들과의 학문적 교류를 확대하고, 나아가 SCI/SSCI/A&HCI 급의 국제 저명 학술지에 출판하는 것을 목표로 한다.
본 연구는 다음과 같은 분야에서 교육과의 연계에 활용 폭이 클 것으로 기대한다. 첫째, 본 연구를 통해 도출된 본 주제의 정리된 연구 결과물은, 언어학 교육과 관련된 전공 교육에 활용도가 클 것으로 기대된다. 특히, 본 연구는 전통적 언어학 교육을 넘어서 인공신경망 언어모델도 인간 언어학습자의 확장된 형태로 언어학습자로 간주하고 있다는 점에서, L1 모국어 화자와 대비하여 L2 학습자의 언어 지식 및 언어처리적 양상을 연구하듯이, 인공신경망 언어모델의 언어처리 양상을 인간의 언어처리적 양상과 대비하여 연구하는 인지과학적 연구 방법론을 적용하고 있다. 이와 같은 연구 방법론은 영어학/언어학 및 영어교육학 등의 교육에 유용하게 활용될 수 있을 것이다. 둘째, 통사/의미론, 언어처리에 관한 전산 심리/신경 언어학, NLP를 접목하는 본 연구는 전통적인 이론 및 응용 언어학을 계승하고 확대하여 언어처리에 관한 다면적이고 통합적인 접근을 시도함으로써 이와 관련된 연구 분야를 전공하는 대학원생 및 전문 연구자들에게 새로운 방향의 연구를 촉발할 수 있는 생산적인 주제를 제공하는 데 기여할 것이다. 따라서 본 연구의 진행 과정과 결과물은 직접적으로는 영어학/언어학/인지과학/전산언어학 석·박사 과정 강의에서 논문 주제로 활용될 수 있을 것이다. 또한 언어처리와 관련한 일련의 전공분야(심리학, 언어병리 등) 대학원생 및 연구진들에게 다학문적 접근으로서의 언어과학 분야의 융합 교육 및 공동 연구에 대한 동기를 제공할 수 있을 것으로 기대한다.
연구요약:
- 연구의 필요성과 목적
대규모 언어 모델(LLM)의 발전으로 최신 Generative-AI 모델(ChatGPT-4, Gemini, Claude 등)은 자연어 이해 및 생성에서 혁신적인 성과를 보이고 있다. 이러한 모델들은 트랜스포머(Transformer) 아키텍처를 기반으로 방대한 언어 데이터를 학습하여 문법적 정확성과 일관성을 유지하는 데 강점을 지닌다. 그러나 단순한 문장 생성 능력을 넘어 형식적 언어 분석을 수행할 수 있는지에 관한 연구는 충분히 이루어지지 않았다.
기존 연구들은 주로 문법적 수용성(grammaticality) 및 자연어 처리 능력 평가에 초점을 맞추어 왔으며(Warstadt et al., 2020; Wilcox et al., 2018), 통사론, 의미론, 화용론과 같은 언어학적 개념을 적용한 분석이 가능한지에 대한 연구는 부족한 실정이다. 언어학자는 단순한 문장 생성이 아니라 특정 언어 이론을 활용하여 언어 구조를 분석하고, 의미적 관계를 체계적으로 설명하며, 화용론적 요소를 고려하여 발화 의도를 해석하는 능력을 갖춘다. 최신 LLM 모델들이 이러한 수준의 메타언어적 능력(metalinguistic ability) 을 보유하고 있는지는 아직 명확히 검증되지 않았다.
본 연구는 LLM들이 단순한 문맥 예측을 넘어 언어학적 개념 및 이론을 적용하고 이론적·논리적 분석을 수행할 수 있는지를 평가하는 것을 목적으로 한다. 이를 통해 LLM이 단순히 데이터 패턴을 학습하여 응답하는 것인지, 실제로 언어 이론을 활용하여 구조적 분석을 수행할 수 있는지를 검토하고자 한다. - 연구내용 및 방법 본 연구는 통사·의미적 언어 능력과 화용적 능력 관련 등, 새로운 유형의 인공 언어학습자로 간주될 수 있는 LLM의 언어 처리에 관한 언어학 및 NLP간의 통합 연구이다. 연구 내용으로서, (i)통사이론: 이동이론, 결속이론, 통제이론 (ii)의미이론: 양화사이론, 부정극어이론 (iii)의미-화용 인터페이스: 간접 화행. 총 세 가지의 언어처리에 관련한 형식적, 의미적 언어 능력, 그리고 형식적 추론, 맥락적 추론을 아우르는 화용 그리고 인지 능력, 즉, 메타언어학적 능력에 관하여 주제로 삼는다. 본 연구는 Gen-AI의 메타언어적 능력을 평가하는 실험적 방법론을 제시하며, Gen-AI가 특정 언어 이론을 기반으로 언어를 분석할 수 있는지를 검증하는 것을 목표로 한다. 이를 위해 다음과 같은 실험 설계 및 분석 방법을 적용한다.
Gen-AI 비교 실험: ChatGPT, Gemini, Claude 등 최신 모델을 서로 비교하여 성능 평가.
프롬프트 기반 평가: 특정 언어 이론(통사론, 의미론, 화용론) 적용 여부를 판단하는 질문을 Chain-of-thought (CoT) 프롬프트를 적용하여 Gen-AI에게 제시하고 응답 분석.
범언어적 실험: 영어뿐만 아니라 한국어, 독일어 등의 다국어 환경에서 적용되는 이론을 채택하여 Gen-AI의 분석 능력 평가. 이러한 모델의 선정 이유는 해당 모델들의 답변을 실증적으로 언어 이론들을 바탕으로 언어를 구사할 수 있는지 확인하기 위함으로 Chat 기능이 있는 모델들을 선정하였다.
3~5년차 연구에서는 1~2년차 연구의 심화 연구 단계로 3년차에서는 통사 및 화용적 이론을 적용하는 연구를 진행하며, 4~5년차에서는 1~2년차에서의 통사·의미 이론을 확장하여 범언어적 연구를 진행할 예정이다.
키워드:
생성형 언어모델, 통사 이론, 의미 이론, 화용 이론, 메타언어적 능력, 자연어 이해 및 생성, 범언어적 분석, CoT-프롬프트 기반 평가, 결속 및 통제 이론, 양화사 이론, 부정극어, 간접 화행,
generative language models, syntactic theory, semantic theory, pragmatic theory, metalinguistic ability, natural language understanding & generating, cross-linguistic analysis, chain-of-thought prompting-based evaluation, binding & control theory, quantifier theory, negative polarity item, indirect speech act