[UzDaily] 우즈벡어 텍스트, AI 모델 처리 비용이 2.17배 더 비싼 이유

핵심 요약
고르고나 AI의 연구에 따르면 라틴 문자로 쓰인 우즈벡어 텍스트는 영어 대비 OpenAI, Anthropic, Google, Qwen, DeepSeek 등 주요 AI 서비스에서 1.55~2.17배 더 많은 토큰을 소비하여 처리 비용이 높아진다. 이는 훈련 데이터에 영어가 압도적으로 많아 우즈벡어 단어가 평균 거의 3개 토큰으로 분할되기 때문이다.

타슈켄트(수도) - 고르고나 AI의 연구 '한 가지 의미, 다양한 가격: 우즈벡어는 AI에 얼마나 드는가?'에 따르면, 라틴 문자로 쓰인 우즈벡어 텍스트는 영어 동등 텍스트 대비 OpenAI, Anthropic, Google, Qwen, DeepSeek 등 5개 주요 AI 제공자에서 1.55~2.17배의 토큰을 필요로 하여 처리 비용이 더 비싸다.

연구진은 1,337개의 병렬 텍스트(동일 내용의 번역본)를 15개의 토크나이저로 처리하여 검증했다. 언어 모델은 문자나 단어가 아닌 '토큰'(텍스트를 분할하는 최소 단위)으로 작동한다. 훈련 데이터에 영어가 훨씬 많아 영어 단어는 보통 1개 토큰인 반면, 접미사를 가진 우즈벡어 단어는 평균 거의 3개 토큰으로 분할된다.

AI 제공자들은 언어에 관계없이 토큰당 동일한 요금을 부과한다. 따라서 우즈벡어가 영어의 2배 토큰을 필요로 하면 비용도 2배가 된다. 또한 문맥 창(context window)에 담을 수 있는 문서 수가 절반이 되고, 같은 속도의 응답 생성에 2배 시간이 걸린다.

FLORES 뉴스 데이터셋(뉴스 기사, 백과사전 항목, 여행 가이드 포함)에서 비용 차이는 OpenAI의 1.78배에서 DeepSeek의 2.13배까지 다양했다. 같은 데이터셋의 러시아어 텍스트는 영어 대비 1.35~1.60배 더 비쌌고, 우즈벡어는 러시아어 대비 1.24~1.54배 더 비쌌다.

형태론만으로는 문제를 설명할 수 없다. 2026년 분석에서 동일한 30개 문장을 GPT-4o 토크나이저로 테스트한 결과, 영어는 348토큰, 러시아어 551토큰, 터키어 609토큰, 라틴 문자 우즈벡어 763토큰, 키릴 문자 우즈벡어 814토큰이 필요했다. 터키어도 라틴 문자의 교착어(어근과 접미사로 이루어진 언어)이지만 토큰이 5분의 1 적었다. 15개 토크나이저 중 13개에서 터키어가 우즈벡어보다 저렴했다.

연구진은 추가 비용이 모국어 사용자 수가 아닌 훈련 단계에서 모델이 접한 우즈벡어 텍스트의 양과 토크나이저 어휘에서 차지하는 공간에 의해 결정된다고 주장한다.

모델 선택이 최종 비용에 가장 큰 영향을 미친다. Claude Opus 5.5와 GPT-5.6 Sol은 공식 토큰당 가격이 같지만, 영어로 100만 단어인 텍스트를 우즈벡어로 처리하면 Claude는 $14.78, GPT는 $8.70으로 1.7배 차이가 난다. Claude의 토크나이저는 영어 텍스트에서는 OpenAI 대비 1.57배, 라틴 문자 우즈벡어에서는 1.70배 더 많은 토큰을 사용한다.

2026년 10월 14일 공식 가격 기준으로, 같은 우즈벡어 텍스트 처리 비용은 Claude Haiku 5.5의 $0.37에서 Claude Opus 5.5의 $14.78까지 다양하다. 연구진은 백만 토큰당 가격이 아닌 특정 텍스트 처리 비용으로 모델을 비교할 것을 권장한다.

AI의 우즈벡어 응답 생성도 영어보다 비싸다. GPT-5.6 Luna와 Claude Haiku 5.5에 각각 3,904개의 지시문(4개 언어 변형으로 단락 요약 및 질문 상세 답변)을 주었을 때, 보이는 우즈벡어 응답은 영어 대비 1.7~1.8배 비쌌다. Claude Haiku 5.5는 응답 전 사고 과정(reasoning)을 자동 수행했는데, 우즈벡어에서 더 자주 일어났다(요약 28% vs 영어 10%, 질문 답변 95% vs 영어 63%). 이 사고 과정은 사용자에게 보이지 않지만 출력 토큰으로 청구된다. 사고 과정을 포함하면 우즈벡어 응답이 영어 대비 2.1~2.3배 더 비싸진다.

우즈벡어 키릴 문자와 라틴 문자의 비용 차이는 모델에 따라 다르다. Claude는 두 문자에 동일한 요금을 부과하지만, 다른 제공자에서는 키릴 문자가 7~23% 더 비싸며, DeepSeek에서 가장 큰 차이를 보인다.

우즈벡어의 특수 글자 oʻ과 gʻ에 사용되는 아포스트로피도 비용을 증가시킨다. 현재 4가지 다른 문자로 입력되는데, 토크나이저가 서로 다른 기호로 인식한다. NTREX 뉴스 데이터셋에서 원래 철자는 OpenAI에서 0.6%, Claude에서 1.9%, Qwen에서 4.2% 더 비쌌다. Gemini는 아포스트로피를 단일 형태로 정규화해 차이가 없었다.

2026년 10월 21일 서명되고 2027년 4월 22일 시행되는 신 문자 체계 전환에 따르면, oʻ과 gʻ는 ö과 ğ로, sh와 ch는 ş와 ç로, ng는 별도 문자가 아닌 조합으로 변경된다. 새로운 철자 체계에서 텍스트는 문자 수 기준 약 4% 짧아진다.

출처: UzDaily 원문 보기 · 발행: Thu, 12 Nov 2026 14:15:00 +0500