인간 VS 챗GPT 번역 블라인트 테스트 결과 공개

인간과 ChatGPT의 번역 결과에 대한 블라인드 테스트가 공개되었습니다.

최근 문화체육관광부 산하 한국문학번역원에서 영미권에 수출할 예정인 조선 시대 장유의 시 ‘홀로일 때 삼가라(愼獨箴·신독잠)’에 대해 전문 번역가가 번역한 영어 버전과 챗GPT로 번역한 버전을 놓고 국내 영문과 교수 16명을 대상으로 블라인드 테스트를 실시했습니다. 누가 번역했는지는 가린 채 한글 원문과 두 번역본만 보여주며 어느 번역이 더 좋은지 물은 결과, 교수 12명이 챗GPT 번역을 선택했고, 2명은 인간 번역을 택했고 나머지 2명은 ‘판단 불가’를 선언했습니다.

과연 번역은 이제 바둑처럼 ChatGPT에게 무너진 것일까요?

전문가들은 챗GPT 같은 대형 언어 모델(LLM)은 맥락을 잘 이해하게 설계돼 있어 애당초 번역에 강점을 가진 데다, 학습량이 쌓여 성숙 단계에 있다고 평하는데요. 전문가들은 “적어도 한국어-영어 번역에선 인간 번역가를 대신할 수 있는 수준”이라며 “웹상에 공개된 데이터는 이미 다 학습했다고 봐야 하고 이를 통해 학습량이 임계점을 넘었다”고 언급하기도 합니다.

AI의 번역 기량이 올라오다 보니 민음사·문학동네 같은 대형 출판사의 아성으로만 여겨졌던 ‘세계 문학 전집’을 펴내는 출판사가 생겨나고 있습니다. 예를 들어 저작권 보호 시효(저자 사후 70년)가 끝난 거장들의 작품을 AI를 이용해 돈 들이지 않고 번역하는 것입니다. 

다만 환각현상이 발생하기 때문에, 터무니없는 번역에 대해서 감수하는 과정이 중요하게 될 것입니다. 즉 초안 번역은 ChatGPT가 잘해줄 수 있지만 상품으로 판매하기 위해서 마지막 감수를 인간이 직접 할 필요가 있습니다.

특히 AI를 이용한 엉터리 논문과 리뷸이 속추하는 형태인데요. 허위 출처나 도표 오류 등이 발생하게 됩니다. 즉 AI를 활용해서 번역을 하는 것도 동일한 문제를 항상 검토하는 과정이 필요합니다.

이와 연계되어 최근 AI 학습에 대한 연구도 지속하고 있는데요.

특히 최근 OECD에서 발행한 디지털 교육 전망 2026에서 인사이트를 얻을 수 있는데요.

특히 우리가 수업중에 교수님이 알려주시면 쉽게 풀리던 문제도 집에 와서 혼자 풀려면 잘 안되는 것처럼 생성형 AI를 학습에 사용할때, 당연히 답지를 보고 하는 것처럼 사용하면 학습이 잘되는 것처럼 느껴지지만, AI가 없는 혼자 있는 환경에서는 오히려 성적이 떨어집니다.

즉 AI만을 맹신할 것이 아니라 항상 AI의 답변을 비판적으로 검토할 수 있는 역량을 가져야지 AI를 바르게 사용할 수 있을 것 인데요.

https://www.oecd.org/en/publications/oecd-digital-education-outlook-2026_062a7394-en.html

OECD Digital Education Outlook 2026

다만 정말 번역 같은 경우에 직구에 사용하거나 이런걸 테스트해보면 일반적인 용도에서는 충분한 성능을 보여준다고 생각합니다. 특히 타오바오 등에서 구매할 때 예전에는 정말 어려웠는데, 요즘에는 구글 번역기 등에서 이미지도 잘 인식하고 바로 번역해주니 참 편리하다는 생각을 했는데요.

실제 전문가들이 판단했을 때도 AI로 번역하는 것이 상당 수준에 올라와있다고 판단 하는것 같습니다. 하지만 언제나 오역이 존재할 수 있기 때문에 기본적으로 환상 현상에 대한 대비는 필수라고 볼 수 있습니다.