http://wyd.pkudh.xyz/ 북경대학교 디지털인문학센터(北京大学数字人文研究中心)에서 만든 고적 자동 정리 플랫폼(古籍自动整理平台) 하루 사용량 제한와 글자수 제한이 존재하지만, 테스트 결과 양호한 결과를 얻었음. 특히 따로 학습을 하지 않았을 것으로 생각되는 한국식 한문에도 나름 괜찮은 결과였던 것이 인상적임. + 테스트 01 – 조선왕조실록 원문출처: https://sillok.history.go.kr/id/kea_10009013_002 원문: ○平安道助戰節制使康純辭, 上引見。 純啓曰: “本道受敵初面, 且軍人鮮少, 氷合之時, 尤爲可慮, 本道子弟, 宿衛於京者, 竝令入送防戍何如?” 上曰: “予意亦然。 凡防禦之備, 鍊軍之事, … 더 읽기
한국어 형태소 분석기 kiwi 업데이트. 주목할 만한 기능은 Subword Tokenizer. 서브워드는 기존 사전기반 형태소 분석이 아니라, 모델이 자주 같이 나오는 음절(혹은 다른 단위)을 단어로 인식해 묶는 방식. BERT, GPT 등 딥러닝 기반 자연어처리 모델에서는 서브워드 토크나이저를 사용 중. 기능 추가/개선 https://github.com/bab2min/Kiwi/releases/tag/v0.15.0
영문학자이자 DH연구자인 Ted Underwood의 컬럼. 소설 나레이션에 등장한 시간의 경과를 GPT-4 모델로 자동 측정한 사례. 기존 빈도기반 모델보다 더 좋은 성능을 기록함. Using GPT-4 to measure the passage of time in fiction – The Stone and the Shell (tedunderwood.com)
ChatGPT를 활용한 지식 그래프 자동 생성 튜토리얼 https://medium.com/@vespinozag/graphgpt-convert-unstructured-natural-language-into-a-knowledge-graph-cccbee19abdf
데이터 분석가와 개발자를 위한 오픈소스 플랫폼으로 뉴스데이터와 타 분야 데이터를 융합할 수 있는 분석 및 개발 환경을 제공합니다. https://github.com/KPF-bigkinds/BIGKINDS-LAB
디지털인문학 연구에는 좋은 서버 컴퓨터가 있으면 매우 효율적입니다. 특히 GPU와 대용량 메모리가 중요한데, NIPA에서 무료 서버를 대여해주는 사업을 몇년전부터 계속 하고 있습니다. 대학(원)의 경우 재직증명서가 있으면 신청가능합니다 (학생은 교수 재직증명서 함께 제출) https://www.nipa.kr/home/2-2/12380
사고전서 텍스트로 학습한 GPT-2 기반 생성 모델 https://github.com/SIKU-BERT/sikuGPT
바이칼에이아이에서 만든 한국어 형태소 분석기 바른(bareun) 이 공개됐습니다. 한국언론진흥재단에서 제공한 대용량의 한국어 기사(1억 어절)를 학습해서 다른 형태소 분석기 대비 성능이 매우 뛰어나다고 합니다. 파이썬, R, Java, JavaScript 에서 모두 사용가능합니다. https://bareun.ai/
웹진 한국연구에 실린 공공데이터 활용과 XML 구조 https://www.webzineriks.or.kr/post/%EB%94%94%EC%A7%80%ED%84%B8-%EC%9D%B8%EB%AC%B8%ED%95%99-%EC%97%B0%EA%B5%AC%EB%A5%BC-%EC%9C%84%ED%95%9C-%EA%B3%B5%EA%B3%B5%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%99%9C%EC%9A%A9-2—%EA%B9%80%EB%B3%91%EC%A4%80