Reproducibility, verifiability, and computational historical research

“Digital humanities methods have been at the heart of a recent series of high-profile historical research projects. But these approaches raise new questions about reproducibility and verifiability in a field of research where grounding one’s conclusions in a body of historical evidence is crucial. While there have been extensive debates about the nature and methods of historical research since the nineteenth century, the underlying assumption has generally been that documenting one’s sources in a series of footnotes is essential to enable other researchers to test the validity of the research. Even if this approach never amounted to “reproducibility” in the sense of scientific experimentation, it might still be seen as broadly analogous, since the evidence can be reassembled to see the basis for the explanations that were offered and to test their validity. This essay examines how new digital methods like topic modelling, network analysis, knowledge graphs, species models, and various kinds of visualizations are affecting the process of reproducing and verifying historical research. Using examples drawn from recent research projects, it identifies a need for thorough documentation and publication of the different layers of digital research: digital and digitized collections, descriptive metadata, the software used for analysis and visualizations, and the various settings and configurations.”

한국어 초록(deepl 번역)
“디지털 인문학 방법은 최근 일련의 유명한 역사 연구 프로젝트에서 핵심적인 역할을 해왔습니다. 그러나 이러한 접근 방식은 역사적 증거에 근거하여 결론을 내리는 것이 중요한 연구 분야에서 재현성과 검증 가능성에 대한 새로운 의문을 제기합니다. 19세기 이래로 역사 연구의 본질과 방법에 대한 광범위한 논쟁이 있어 왔지만, 일반적으로 다른 연구자들이 연구의 타당성을 테스트할 수 있도록 하기 위해서는 각주로 출처를 문서화하는 것이 필수적이라는 가정이 지배적이었습니다. 이러한 접근 방식이 과학적 실험의 의미에서 ‘재현성’에 해당하지 않더라도, 증거를 재조합하여 제공된 설명의 근거를 확인하고 그 타당성을 테스트할 수 있기 때문에 대체로 유사한 것으로 볼 수 있습니다. 이 글에서는 토픽 모델링, 네트워크 분석, 지식 그래프, 종 모델, 다양한 종류의 시각화 등 새로운 디지털 방법이 역사적 연구를 재현하고 검증하는 과정에 어떤 영향을 미치는지 살펴봅니다. 최근 연구 프로젝트에서 도출한 사례를 사용하여 디지털 및 디지털화된 컬렉션, 설명 메타데이터, 분석 및 시각화에 사용된 소프트웨어, 다양한 설정 및 구성 등 디지털 연구의 다양한 계층에 대한 철저한 문서화 및 공개가 필요하다는 것을 확인합니다.”

Leave a Comment