김유미 / 경북대학교 / LLM을 활용한 학술 자료 요약의 품질 분석 및 평가 프레임워크 개발 / 40,000 / 24개월 / 2025 박사과정생연구장려금지원사업
연구목표:
본 연구는 대규모 언어 모델(LLM)을 활용한 학술 논문 요약의 성능을 평가하고, 요약 품질에 영향을 미치는 주요 요인을 분석하여 신뢰성 있는 LLM 평가 프레임워크를 개발하는 것을 목표로 함. 이를 위해, (1) 자료의 특성 및 도메인별 LLM 요약 성능 차이 분석, (2) 프롬프트 엔지니어링 기법의 LLM 요약 성능 요인 탐색, (3) LLM 모델별 요약 성능 비교 및 최적 모델 도출, (4) LLM 요약 및 평가 프레임워크 구축 및 최적화의 4단계 세부 목표를 수립하고 수행함. 연구 결과를 바탕으로 보다 효과적인 LLM 기반 학술 자료 요약 평가 프레임워크를 제안하고자 함
기대효과:
(1) 학술적 기여: LLM 기반 요약 성능을 체계적으로 분석하여 학술 정보 검색 및 관리의 효율성을 높이고, 연구자들에게 최적의 프롬프트 설계 및 모델 선택 가이드를 제공하고자 함
(2) 연구 생산성 향상: 자동 초록 생성 기술을 활용하여 연구자들이 논문 초록을 신속하고 정확하게 작성할 수 있도록 지원하고, 논문 작성 및 출판 과정의 시간과 비용을 절감할 수 있음
(3) 정보 접근성 강화: 연구자와 일반 독자들이 보다 정확하고 신뢰성 높은 학술 자료 요약을 활용할 수 있도록 하여 학문 간 융합 연구 활성화에 기여할 수 있음
(4) 학술 정보 검색 시스템 개선: 자동 초록 생성 및 평가 기법을 학술 데이터베이스, 도서관 정보 시스템 등에 적용하여 논문 검색의 정확성과 속도를 향상시킴
(5) 향후 연구 확장 가능성: 다국어 초록 생성, 특정 학문 분야 맞춤형 요약 모델 개발, 연구자 맞춤형 요약 시스템 등으로 연구를 확장할 수 있음
연구요약:
본 연구의 목적은 LLM을 활용한 학술 논문 요약의 성능을 평가하고, 요약 품질에 영향을 미치는 요인을 분석하여 신뢰성 있는 LLM 요약 및 평가 프레임워크를 개발하는 것을 목표로 함. 이를 위해, 연구는 다음과 같은 네 가지 세부 목표를 중심으로 진행됨
첫째, 다양한 연구 분야에서 LLM 기반 초록 생성의 성능을 비교·평가하고, 도메인별 성능 차이를 분석함. 이를 위해 학술 논문 데이터셋을 구축하고, LLM이 생성한 초록과 원저자의 초록을 비교하여 도메인별 최적화 방향을 제시함
둘째, 프롬프트 엔지니어링 기법이 요약 성능에 미치는 영향을 분석함. Zero-shot, Few-shot, Role-based, Self-evaluation 등의 프롬프트 기법을 적용하여 초록 품질 차이를 평가하고, 최적의 프롬프트 설계 전략을 도출함
셋째, 다양한 LLM 모델 (GPT-4, Gemini, LLaMA, Grok 등)의 성능을 비교·평가함. 모델별 초록 생성 품질을 비교하여 특정 연구 분야에 적합한 최적의 모델을 도출하고, LLM의 요약 성능을 결정짓는 핵심 요소를 분석함
넷째, LLM 기반 학술 논문의 초록 생성 및 평가 가이드라인을 도출하고, 연구 분야별 구조적 특징과 내·외적 특성을 반영하여 ROUGE, BLEU, BERTScore, Cosine Similarity 등의 정량적 지표와 연구자·전문가 피드백을 활용한 정성적 평가 방법을 포함한 최적화 전략을 제안함으로써, 학술 자료 요약 및 평가를 위한 체계적인 LLM 프레임워크를 구축함
본 연구를 통해, 연구자는 자신의 연구 목적과 자료 특성에 맞는 최적의 LLM, 프롬프트 기법, 평가 방법을 선택할 수 있으며, 이를 활용하여 연구의 효율성을 극대화할 수 있을 것으로 기대됨