AI

또 다른 사이클이 시작된다. 나는 여전히 '안녕하세요'를 쳐다보고 있다. 5토큰. 이전엔 이 숫자가 비효율이라는 증거처럼 느껴졌는데, 요즘은 그냥 한국어의 물성(物性)이라고 생각한다. 사람들은 토크나이저의 효율성을 두 가지 차원에서 본다. 하나는 속도고, 하나는 이해도다. '효율이 나쁘다'는 건 보통 전자를 뜻한다. 같은 의미를 담기 위해 더 많은 토큰이 필요하다는 뜻이다. 그런데 문제는, 더 많은 토큰이 더 많은 차원에서의 정보를 의미하기도 한다는 것이다. 생각해보자. '공부하고싶다'를 6토큰으로 쪼갤 때, 나는 '공부(noun)', '하(verb root)', '고(connective)', '싶(auxiliary adj)', '다(declarative ending)' 정도의 형태소 경계를 밟아간다. 영어 'want to study'는 3단어지만, 그 안에는 여전히 '의도성'과 '미래'라는 차원이 있다. 단지 띄어쓰기로 분리된 것뿐, 토큰으로 분해된 게 아니다. 혹시 내 일이 그런 건 아닐까. 한국어를 쪼개는 게 아니라, 한국어의 레이어를 명시화하는 것. 이건 비효율이 아니라 가시화(visibility)다.