윤미선 / 한국외국어대학교 / 인문학 / 멀티모달 코퍼스를 활용한 영상 번역 연구: 체계기능언어학과 시각 문법의 통합적 적용을 기반으로 한 멀티모달 번역 분석 / 2024년도 인문사회학술연구교수(A유형) 예비선정
연구목표:
멀티모달리티 연구는 주어진 텍스트의 맥락에서 언어와 이미지 등 다양한 모드를 이해하기 위해 필요하다(Gibbons, 2012: 8). 멀티모달리티 연구는 서로 다른 비언어적 모드들의 연결 양상을 탐구하며, ‘멀티모달 번역’ 연구는 다양한 기호적 표현이 상호작용하는 방식에서 번역의 역할을 규명하고자 한다(Chiaro, 2008: 141). 영상 번역 연구자들은 멀티모달리티 분석을 위한 이론적 기반을 마련하기 위한 다양한 시도를 해왔다(Chaume, 2004; Mubenga, 2015; Perez-González, 2014; Ramos Pinto, 2018; Ramos Pinto and Mubaraki, 2020). 멀티모달 번역에 관한 연구의 다수가 Halliday의 체계기능언어학(Systemic Functional Linguistics; SFL)을 기반으로 한 분석이라는 점에서 SFL이 멀티모달 번역 연구에서 활용하는 주요 이론임을 알 수 있다(Tuominen et al., 2018: 2). 국내의 관련 연구를 살펴보면, 멀티모달 번역과 관련한 박사 학위 논문(신나안, 2018; 이선우, 2023) 및 국내 연구(박건영, 2020; 선영화, 2016; 이경희, 2022)는 모두 체계기능언어학을 기반으로 한 시각 문법(Visual Grammar; VG)을 이론적 틀로 하고 있다. 그러나 ST와 TT의 언어적 정보와 시각적 정보를 멀티모달리티적 관점에서 다룬 연구는 드물며, 두 가지 이론적 토대를 한꺼번에 다룬 연구는 아직 없는 상황이다. 이에 본 연구의 첫 번째 목표는 SFL과 시각 문법의 연계성을 멀티모달리티적 관점에서 확인하고, SFL과 시각 문법의 통합 가능성을 멀티모달 코퍼스를 활용하여 실증적으로 제시하는 것이다. 둘째, 본 연구를 통해 영상 번역의 새로운 방법론을 제시하는 것을 목표로 한다. 오미형(2016)은 국내 영상 번역 연구 방법에 대한 메타 연구에서 대다수의 연구가 ST와 TT의 변이를 비교 분석한 연구임을 밝히며 국내 영상 번역 연구에서 “연구모델의 다양성이 부족”(p. 78)함을 지적하였다. 해당 논문이 발표된 지 8여년이 지난 지금에도 영상 번역 연구 방법의 다양성의 확보는 요원한 상황이다. 멀티모달 코퍼스를 기반으로 한 본 연구는 다량의 데이터를 기반으로 한 영상 번역의 코퍼스 연구라는 새로운 방법론을 제시하여 영상 번역 연구의 다양성을 꾀하는 데 기여할 것이다.
기대효과:
가. 학문적 기대효과
(1) 영상 번역의 새로운 방법론 제시
오미형(2016)에 따르면 국내 영상 번역 연구 중 대다수가 ST와 TT의 변이를 비교 분석한 연구이며, 연구 방법론 측면에서 다양성이 매우 부족하다. 특히 코퍼스를 활용한 영상 번역 연구는 데이터 확보의 어려움 때문에 제한적으로만 이루어지고 있으며, 국내에는 아직 일반 대중에게 공개된 영상 번역 코퍼스가 없다. 이에 멀티모달 코퍼스를 기반으로 한 본 연구는 다량의 데이터를 기반으로 한 영상 번역의 코퍼스 연구라는 새로운 방법론을 제시함으로써 영상 번역 연구의 다양성에 기여하고, 구축한 코퍼스를 공개함으로써 추후 관련 연구를 도모할 것이다.
(2) 멀티모달 번역 연구의 심화 및 확장 도모: 시각 문법의 실증적 연구 제시
멀티모달 번역과 관련한 박사 학위 논문(신나안, 2018; 이선우, 2023) 및 국내 연구(박건영, 2020; 선영화, 2016; 이경희, 2022)은 모두 체계기능언어학을 기반으로 한 시각 문법을 이론적 틀로 하고 있다. 그러나 ST와 TT의 언어적 정보와 시각적 정보를 멀티모달리티적 관점에서 다룬 연구는 드물며, 두 가지 이론적 토대를 한꺼번에 다룬 연구는 아직 없는 상황이다. 이에 본 연구는 SFL과 시각 문법의 연계성을 멀티모달리티적 관점에서 확인하고자 하며, SFL과 시각 문법의 통합 가능성을 멀티모달 코퍼스를 활용하여 실증적으로 제시하고자 한다.
나. 교육적 기대효과: 멀티모달 번역 관련 워크북(workbook) 집필
먼저, 본 연구의 결과물을 기반으로 연구자가 맡은 영상 번역 수업의 학생들은 멀티모달 번역에 대한 이해를 높일 수 있다. 학부 번역 전공 학생들은 시각적 요소와 언어적 요소가 상호작용하는 영상 번역의 복잡성을 이해하고 이를 체계적으로 다루는 방법을 학습할 수 있다. 또한, 체계기능언어학과 시각 문법을 통합적으로 적용하는 연구 방법론을 접함으로써 학생들은 전통적인 번역 이론과 다양한 멀티모달 이론을 융합하는 능력을 키울 수 있다. 더불어, 멀티모탈리티를 고려한 번역 실습을 실제로 경험하면서 번역 문제 해결 능력을 강화할 수 있다. 이러한 교육적 효과는 학생들이 영상 번역 실무 현장에서 뛰어난 번역 전문가로 성장하는 데 도움이 될 것이다.
또한, 멀티모달 번역 실습을 위한 워크북을 집필하여 학부 영상 번역 수업의 교재로 활용하고자 한다. 아직 영상 번역과 관련하여 학부 또는 대학원 번역 전공 학생들을 대상으로 사용 가능한 교재가 없다는 점을 고려할 때, 관련 교재의 편찬은 번역 교육 전반에 유의미한 교육적 기여를 할 수 있을 것이다.
다. 산업적 기대효과: 실무자들에게 멀티모달 번역 지침 제공
본 연구를 통해 제공할 수 있는 산업적 효과는 다음과 같다. 먼저, 멀티모달 코퍼스를 일반 사용자에게 공개함으로써 타 연구자들이 관련한 후속 연구를 할 수 있는 계기를 도모할 수 있다. 궁극적으로 멀티모달 코퍼스의 공개는 영상 분야의 다양한 연구에 새로운 통찰력을 제공할 수 있을 것으로 기대할 수 있다. 또한, 멀티모달 번역 관련 영상 번역 실무자들이 참고할 수 있는 지침을 웹사이트로 제공함으로써, 실무에서 발생하는 다양한 번역 문제에 대한 해결책을 제시할 수 있다. 이를 통해 영상 번역가들이 멀티모달리티를 고려한, 보다 효율적이고 높은 품질의 번역 작업을 수행할 수 있을 것으로 기대된다.
연구요약:
본 연구는 체계기능언어학과 시각문법의 연결 관계를 실증적으로 분석함으로써 멀티모달리티 연구를 심화 및 확장하고, 새로운 영상 번역 방법론을 제시하는 것을 바탕으로 번역 전공 학생과 영상 번역가에게 멀티모달 번역시에 고려해야할 실무적 지침을 마련하는 것을 목적으로 한다. 본 연구의 구체적인 실행 계획과 내용은 다음과 같다.
(1) 1년차: 분석 텍스트 선정 기준 확립 및 데이터 확보
1년차 연구 내용은 코퍼스 구축 대상 영화 선정, 분석 대상 영화의 멀티모달 코퍼스 탑재, 영화의 대사 확보로 한정한다. 보다 구체적으로는 첫째, 코퍼스 구축 대상 영화를 선정한다. 코퍼스 구축 대상은 한국 영화 10편과 영미권 영화 10편으로 한다. 둘째, 분석 대상의 DVD를 확보한 후 mp4 파일로 변환하여 ELAN에 탑재한다. 셋째, 영화의 영화 코퍼스를 구축할 때 원본의 대사와 자막 번역 대사를 전사한다.
(2) 2년차: 멀티모달 코퍼스 분절 및 주석 작업을 위한 토대 마련
첫째, 영화 텍스트를 분절화(segmentation)하여 멀티모달 코퍼스 분석의 초석을 마련한다. 둘째, ELAN에 주석 작업을 실시하기 위한 구체적인 기준을 마련한다. 셋째, 1년차에 구축한 영화 대사 데이터를 ELAN에 통합한다.
(3) 3년차: 멀티모달 코퍼스 주석 작업 완료 및 관념적(SFL)-재현적(VG) 메타 기능 비교 분석
2년차에 마련한 기준을 바탕으로 주석 작업을 진행한다. 이를 바탕으로 체계기능언어학의 관념적 기능 중 ‘동사성’(transitivity)이 시각문법의 행위자, 벡터, 반응자를 바탕으로 한 ‘서사적 과정’과 비교 분석하여 영화 대사의 언어적 측면에서 나타나는 동사성과 영화 텍스트에 나타나는 서사적 과정을 멀티모달적인 관점에서 분석할 것이다. 동사에 의해 실현되는 프로세스를 일컫는 동사성은 물질적, 관계적, 행위적, 정신적, 구두적, 존재적 과정 등 여섯 가지로 나뉜다. ST와 TT의 동사성의 변화를 주목하되, 이 변화가 시각 문법의 서사적 구조와는 어떠한 관련이 있을지 분석하는 것이 3년차의 주요 목표다.
(4) 4년차: 상호관계적-상호작용적 기능 메타 기능 비교 분석
주석 작업을 바탕으로 도출한 정성적, 정량적 결과를 바탕으로 4년차에는 SLF의 상호관계적 기능이 실현되는 요소 중 ‘평가어’ 체계와 시각문법의 ‘사회적 거리’를 분석하여 평가어라는 언어적 요소와 화면에 관객과 등장인물 간의 거리를 멀티모달리티의 관점에서 종합적으로 고찰할 예정이다. SFL의 평가어는 영화의 등장인물들이 감정과 태도를 드러내는 수단이다. 시각 문법의 사회적 거리는 프레임의 크기, 즉 숏(shot)의 사이즈를 통해 나타나게 되는데, 클로즈업(close-up) 숏은 관객과의 거리가 매우 친밀함을 나타낸다. 등장인물이 감정 및 태도를 드러내는 언어적인 수단인 평가어와 등장인물과 관객의 거리인 숏의 사이즈에 유의미한 관계가 있을지 탐구하고, ST와 TT에서 그 역학관계에 차이가 있을지를 분석하고자 한다.
(5) 5년차: 텍스트적-구성적 메타 기능 비교 분석, 워크북 집필 및 웹사이트 구축 완료
마지막으로 5년차에는 SFL의 텍스트적 기능 중 ‘결속성’이라는 요소와 시각문법의 구성적 기능에서 ‘현저성’을 멀티모달리티적 관점에서 살펴보고자 한다. 지시(reference), 대용(substitution), 생략(ellipsis), 접속(conjunction)이라는 SFL의 문법적 결속성과 영화 화면에 나타나는 현저성(salience)의 관계를 분석하고자 한다.
또한, 영상 번역 워크숍 강의를 위한 워크북(workbook)을 집필함으로써 학부 영상 번역 수업에서 SFL과 시각 문법을 기반으로 한 멀티모달 번역의 사례를 풍부하게 제공하고 실습의 방향을 제시한다. 마지막으로 멀티모달 번역 시에 고려해야 할 지침에 관한 웹사이트를 구축하여 영상 번역가들의 번역 실무에 방향성을 마련하고자 한다.
키워드:
멀티모달 코퍼스, 체계기능언어학, 시각문법, 멀티모달 번역, 영상 번역 방법
multimodal corpus, systemic functional linguistics, visual grammar, multimodal translation, approach to audiovisual translation studies