타이탄(ThaiTan)으로 태국어 뉴스를 읽다 보면, 간혹 문장이 다소 어색한 위치에서 끊기거나 반대로 지나치게 길게 묶이는 경험을 하실 때가 있습니다. 솔직하게 말씀드리면, 타이탄의 문장 분절 엔진은 아직 완벽하지 않으며 많이 부족한 단계입니다. 현재 사용 중인 기술의 현실적인 한계와, 이를 극복하기 위해 타이탄이 어떤 보완을 해나가고 있는지 진솔한 이야기를 나누고자 합니다.

1. 현재 사용 중인 'CRFCut'의 특성과 한계

태국어는 마침표가 없고 띄어쓰기로 문장을 구분하지 않기 때문에, 컴퓨터가 문장의 시작과 끝을 파악하기가 매우 까다롭습니다. 현재 태국어 오픈소스 생태계(PyThaiNLP 등)에서 가장 널리 활용되는 문장 분절 모델은 CRFCut(조건부 무작위장, Conditional Random Fields 기반 분절기)입니다.

CRFCut 통계적 확률 기반의 문장 분절

작동 방식: 과거에 학습된 태국어 말뭉치(Corpus) 데이터를 바탕으로, 특정 단어의 앞뒤 글자 형태를 보아 '여기서 문장이 끝날 확률'을 계산하여 끊어줍니다.

현실적 한계: 문장의 통사 구조(주어-동사-목적어의 문법적 완결성)를 깊이 이해하고 끊는 것이 아니기 때문에, 인용구나 긴 접속사, 숫자와 수량사 결합(예: 40 ชีวิต), 직함 약어(ผบ., สส.)가 복잡하게 얽히면 문맥 중간에서 단문으로 파편화되어 버리는 경우가 생깁니다.

2. 현지 테크 기업들의 접근 방식 (라인, 쇼피, 라자다, 아고다)

태국 현지에서 수천만 명의 사용자를 대상으로 대규모 서비스를 운영하는 대표적인 플랫폼 기업들 역시 이러한 언어적 특성과 한계를 잘 알고 있습니다.

  • 라인 타일랜드 (LINE / LINE MAN): 태국 국민 메신저이자 뉴스·배달 플랫폼으로, 뉴스 피드(LINE TODAY)나 챗봇 등에서 문맥의 호흡이 끊기지 않도록 자체 AI 조직(LINE AI Lab)에서 개발한 인하우스 언어모델과 담화 경계(Discourse Boundary) 규칙을 적용합니다.
  • 쇼피 (Shopee) & 라자다 (Lazada): 띄어쓰기가 전혀 없는 수억 개의 복합 상품명(예: เสื้อยืดคอกลมผู้ชาย...)과 사용자 리뷰를 실시간으로 정확히 검색해 내야 하므로, 오픈소스 CRFCut 대신 자체 R&D 랩에서 개발한 이커머스 전용 서브워드 토크나이저와 대규모 상품 표제어 사전을 검색엔진 플러그인으로 구축해 사용합니다.
  • 아고다 (Agoda): 방콕 중심가에 글로벌 대규모 테크 R&D 허브를 두고 있으며, 호텔 리뷰 분석과 고객 챗봇을 위해 태국어 특화 트랜스포머 모델(WangchanBERTa 등)을 기반으로 파인튜닝한 자체 자연어 처리 파이프라인을 운영합니다.

즉, 현지 대형 테크 기업들 역시 오픈소스 모델 단독에 의존하지 않고, 전담 엔지니어링 팀을 두어 독자적인 인하우스 토크나이저와 문장 경계 감지 체계를 구축하여 서비스하고 있습니다.

3. 타이탄의 현실과 현재의 보완 노력

타이탄은 인디 개발 프로젝트로 시작된 서비스이기에, 현지 대기업들처럼 대규모 전담 R&D 조직이나 방대한 컴퓨팅 자원을 투입해 독자 분절 모델을 단숨에 구축하기에는 현실적인 한계가 분명히 있습니다.

그렇다고 어색한 분절을 그대로 둘 수는 없기에, 타이탄은 CRFCut 모델의 앞뒤에 수십 가지의 언어학적 보완 규칙을 덧대는 하이브리드 방식으로 계속해서 틈을 메워가고 있습니다:

  • 정서법 보호 가드: 큰따옴표(“...”) 안의 대화문이나 인명, 직함 약어의 마침표가 문장 끝으로 오인되어 잘리지 않도록 사전에 마스킹 보호합니다.
  • 통사 검증 및 역방향 병합: ว่า(that/라고)나 ต้อง(해야 한다)처럼 술어가 완결되지 않고 끝나는 경우, 혹은 주어 없이 홀로 남겨진 짧은 종속절 조각을 앞문장으로 다시 안전하게 복원·병합합니다.
  • 실제 신문 기사 벤치마크 감사: 주요 언론사 기사들을 대상으로 주기적인 분절 테스트를 돌려, 문장이 부자연스럽게 조각나는 케이스를 수집하고 규칙을 다듬고 있습니다.

4. 멈추지 않고 계속해서 다듬어 가겠습니다

이러한 지속적인 보완에도 불구하고, 아직은 실제 원어민이 읽는 자연스러운 호흡에 비하면 부족하거나 아쉬운 부분이 적지 않습니다. 뉴스 기사마다 문체와 호흡이 다르고, 신조어나 새로운 표현이 끊임없이 등장하기 때문입니다.

하지만 부족함을 감추기보다는 솔직하게 마주하고, 사용자분들께서 실제 기사를 읽으실 때 느끼시는 어색한 부분들을 하나씩 꾸준히 고쳐나가고자 합니다.

💡 타이탄의 문장 분절은 완성형이 아니라, 매주 조금씩 더 자연스러워지고 있는 '진행형'입니다. 아직 많이 서툴고 부족하지만, 언젠가 원어민이 소리 내어 읽는 완벽한 호흡에 닿을 때까지 차분하고 꾸준하게 다듬어 가겠습니다. 읽으시면서 어색한 분절을 발견하시면 언제든 편하게 의견을 남겨주세요.