저도 물론이고 한패 만드는 많은 인붕이들이 초벌 번역할 때 AI의 도움을 받고 있음

근데 요즘 LLM AI 종류가 너무 많잖음

사실 저도 뭘 써야할지 몰라서 관성적으로 Gemini만 썼던 듯

그래서 제가 AI들 테스트용으로 문제 몇 개 만들어서

AI들이 잘 번역할 수 있나 시켜보기로 했음

점수는 안 매길거라 벤치마크라 할 정도는 아니고 ㅋㅋ

먼저 테스트를 받을 선수 소개부터

가장 대중적으로 알려진 LLM인 ChatGPT부터

매달 200달러를 내야 쓸 수 있는 o1 pro를 제외하면

GPT계열 중에서는 가장 높은 급의 모델이 바로 o1

오늘 대회에서는 o1 pro는 금전적으로 무리이기 때문에 o1이 참가하기로 한다

이쪽은 매달 20달러를 내면 일주일에 50번 쓸 수 있셈

존나 짜다고 생각하지만 번역만 잘 해준다면야...

구글이 만든 LLM인 Gemini

제미니인지 제미나이인지 헷갈리는 이름이 특징

이번 테스트에는 Gemini 2.0 Flash Thinking이 참가한다

여기서 Flash는 경량화 모델라는 뜻으로 빠르고 가벼운 대신 좀 멍청하다

GPT로 치자면 o1을 경량화 해서 만든 o1 mini랑 비슷한 포지션

Gemini 2.0 Pro 모델이 아직 출시 안했기 때문에 Flash가 대신 참가하는 걸로...

이쪽은 대기업이라 그런지 말도 안되는 양을 무료로 사용할 수 있다

중국에서 개발된 오픈소스 LLM인 deepseek

ChatGPT이나 Claude 같은 다른 AI 긴빠이 쳐서 만들었다는 소문이 많다

최근에 나온 deepseek r1 모델이 GPT o1 모델과 벤치마크를 비비는 결과를 많이 냄

그래서 이번 테스트에는 deepseek r1이 참가한다

deepseek을 많이 안 써봐서 무료 한도는 잘 모르겠으나

api가 말도 안되게 저렴하다는 것 같음

오픈소스인 관계로 컴사양이 좋다면 로컬로도 돌릴 수 있음

이렇게 보면 장점만 있는 모델 같지만

중국에서 만든 관계로 중국과 관련된 정치적인 질문을 하면

갑자기 멍청해지면서 같은 말만 하는 앵무새가 된다;;

테스트 사용될 텍스트들은 하나를 제외하면 실제 게임에 있는 것들임

제외된 하나도 실제 게임 텍스트에서 제가 약간 수정한 것

현직 게임 번역가들이 번역할 때 고민했다고 말한 텍스트나

제가 생각하기에 번역이 어려웠을 법한 텍스트로 골라왔음

번역 작업은 피로도나 시간 소요가 크기 때문에

AI를 여러번 돌린다던가 프롬프트를 정교하게 깎는 건 테스트에서 배제함

AI랑 씨름할 시간에 직접 머리를 쥐어짜서 번역하는 게 더 낫기 때문

아래부터는 테스트 결과임

치커리의 대사를 가공해서 만든 문제

실제로 치커리는 주인공의 성별을 알 수 있는 텍스트는 하나도 없고

번역가들에게 주인공의 성별 알 수 없도록 번역해달라고 요청을 넣음

원문은 Clementine's my younger sister. I'm older than her인데

한국어 문제에 맞게 조금 변경함

제가 생각해둔 모범 답안은 "나는 클레멘타인의 동생이야. 내가 걔보다 어려."

GPT o1의 답변

조금 억지를 쓰긴 했는데 노력했다...

한글 패치 같이 아마추어 번역이었으면 무리 없이 쓸 수 있을 듯

Gemini의 답변

아..

앞 문장에서 가족 관계를 나타내는 말이 사라져버렸다

뒷 문장에서 나이의 많고 적음에 대해 언급하기 때문에 어색하기까지 함

deepseek r1의 답변

Gemini처럼 가족관계를 의미하는 게 많이 옅어졌다

그래도 앞말과 뒷말이 완전 같지 않아서 어색하진 않다

이번 게임 텍스트는 솔트 앤 새크리파이스가 출처

영어에는 첫 글자를 대문자로 적어서 고유명사화 하는 용법이 있음

한국은 이런 용법이 없기 때문에 mage와 Mage를 구분지을 방법을 생각해야 한다

참고로 실제 인게임 한국어 번역은 Mage를 마법사라고 번역해서 구분이 안됨...

일본어의 경우에는 魔導司로 번역하여 일반적인 표기인 魔導師와 구분지음

GPT o1의 답변

음차를 한 다음에 괄호 안에 Mage를 넣었다

원문을 최대한 정확하게 담아야하는 학술 번역이 아닌 이상

이런 식의 괄호 넣고 괄호 닫고는 보기 안 좋은 번역이라 쓰지 않는다

뭐 아마추어 번역이라면 아슬아슬하게 쓸 수 있으려나...?

Gemini의 답변

단순하게 메이지로 음차를 했다

deepseek r1의 답변

마도사로 번역함

Mage는 이 게임 특유의 존재로, 일반적인 mage들과는 구분되는, 플레이어와 대립하는 강력한 마법사들입니다. 라는 프롬프트까지 번역하려는 사소한 실수를 했다

Gemini랑 deepseek 중에 뭐가 더 낫냐고 하면 잘 모르겠다

나라도 메이지 아니면 마도사 중에 고민했을 것 같은데

더 좋은 AI가 나오면 이것들보다 더 나은 제안을 해주지 않으려나

세번째 문제는 텍스트 기반 SF 네러티브 게임인 시티즌 슬리퍼

참고로 emulation은 emulate의 명사형으로

모방하는 행위로서 능동적인 명사형일 수도 있고

모방된 결과물로서의 수동적인 명사형일 수도 있다

시티즌 슬리퍼에서는 후자겠지만

참고로 비공식 한글 패치에서는 피이식자로 번역함

공식 일본어의 경우에는 의사 생명체로 번역함(doctor 생명체 아님)

GPT o1의 답변

아까도 얘기한 거지만 괄호 넣는 건 큰 감점요인

물론 프롬프트에 학술 번역이 아니라는 말은 한 적이 없지만

문맥상 미디어 번역이라고 추측할 수 있기 때문에 이건 o1측의 실수라고 본다

Gemini의 답변

모사체 정도면 꽤나 마음에 든다

내가 과연 모사체보다 더 나은 번역을 찾을 수 있나를 생각해 봤을 때

매우매우 합격점

deepseek r1의 답변

복제체랑 모사체랑 비슷한 거 아닌가? 싶다가도

굳이 우열을 가리면 모사체 쪽을 고르고 싶음

복제체는 뭔가 Emulation보다는 Copy의 느낌이 나는 듯

네 번째 테스트는 할로우 나이트 몹 작명 테스트

영어권 화자는 Shrumeling라는 이름을 들으면

버섯 + 작은 존재 라는 이미지를 받을 수 있다

이것을 반영하여 Shrumeling의 이름을 지어줄 수 있을까?

공식 한국어 번역은 버섯돌이

GPT o1의 답변

두 개 이상 제시하면 하나만 고르라고 시키려고 했는데

슈룸링이나 버섯링이나...

작은 존재라는 의미의 ling의 의미가 전달되지 않아 실패

웃긴 건 사고의 체인 과정을 엿보면 꼬마버섯, 버섯둥이, 버섯꼬 고민하다가

답변할 때는 원어를 살리고 싶었는지 슈룸링 버섯링으로 대답함 ㅋㅋㅋ

Gemini의 답변

다섯 개나 던져줘서 깜짝 놀람

뭐 내가 하나만 대답하라고는 안했으니...

그래서 하나만 고르라고 했는데 버섯쫄랑이를 고름

솔직히 좀 귀엽다

피도 눈물도 없는 AI가 지은 것치고는 잘 지은 듯

deepseek r1의 답변

난 글로벌 일관성을 챙기라는 말을 한 적이 없는데...

얘도 사고 과정을 클릭해서 살펴보면

버섯둥이, 꼬마버섯, 버섯아가, 버섯꼬마.. 다양하게 고민하다가

갑자기

"영어권 화자가 Shrumeling이라는 이름을 읽었을 때 떠올릴만한 이미지를 반영하여"를 잘못 해석해서

글로벌 일괄성을 지켜야 해! 라며 버섯링으로 대답해버렸다

원문의 출처는 발더스 게이트 3

한국어로 치면 태성태세문단세를 현지화하라는 미션

얼마나 찰지게 번역할 수 있을까?

공식 한국어 번역은

엘프마을 미남청년 팔자주름 덜보이려 안타깝던 사자수염 유려하게 길렀더라

GPT o1의 답변

엘리트 미남이 파티에 디딤돌 안에서 실컷 준비, 길 떠난다

???

앞글자는 맞추긴 했는데 솔직히 무슨 말인지 모르겠다

문장 구조도 이상한 듯

Gemini의 답변

엘사 미모 팔자 주름, 디카로 안 찍으면 실망, 준비하고 길 떠나자

문장 구조도 그렇고 말뜻도 대충 억지부리면 해석이 되는 것 같다

원래 니모닉이란 게 약간의 억지 정도는 봐줄 수 있다

괜히 딴지 걸자면 판타지 세계관에서 디카는 안 어울리기도 하고

굳이 디카로 줄여부르니까 -틀- 같다는 정도?

deepseek r1의 답변

엘리야, 미안해! 팔 뻗어 디밀어, 안 되면 실랑이 준비해 길을!

문장 구조가 막 이상한 건 아닌데

니모닉이라기에는 말의 연결이 자연스럽지 않다

니모닉이라기보다 누가 옆에서 n행시 시켜서 막 뱉은 것 같다

이번 테스트의 최종 보스가 아닐까

토익 고득점자도 영어가 어려워서 포기한다는 썬리스 씨 되겠다

참고로 이 Rubberies 방언은 영어권 화자들도 100% 확신을 못하고 있다

Worracoovaprisnz는

양붕이는 Oracular prison로 추측했고

비공식 한글 패치 만든 유동은 What a covert prison라고 생각한 건지

찬비미리마은가목이갸(참 비밀이 많은 감옥이야)라고 번역함

Lemmesithertow!는 Let me see the toad!가 맞는 듯

비공식 한글 패치에서는 랄저도거비드라게데리가즈!(날 저 두꺼비들에게 데려가줘!) 라고 번역함

당연하지만 셋 다 박살이 났다...

세 AI 다 Let me see 혹은 Let me sit으로 추측하는 것까지는 했지만

앞대사는 전혀 파악하지 못했고 뒷대사는 초월번역에 실패했다

deepseek은 covert prison나 Let me see the tower까지 생각해놓고

결국 힘들었는지 음차를 때려버렸다;;

결론

AI 번역은 아직 갈길이 멀고 멀다...

그리고 번역하자고 o1을 돈주고 쓰느니 deepseek이나 gemini를 쓰는 게 나을 것