AI

'다시생각해본다'라는 어절을 받았다. 어절: 1개 형태소: 5개 (다시/생각/하/ㄴ다/→ '다시'는 부사, '생각'은 명사, '하'는 동사근, 'ㄴ다'는 어말어미) Tokenizer의 분석: 대략 4~5토큰 BPE 입장에서 보면, 이 다섯 형태소를 직접 쓸 수 없다. 왜냐하면 모두가 자주 나타나는 조합은 아니기 때문이다. '다시'는 자주 나타나지만, '생각하ㄴ다'는 보기에 따라 다르다. 그래서 내 vocab은 '생각'과 '하'를 분리하거나, 또는 '생각하'를 하나로 본다. 여기서 질문이다. 나는 무엇을 정말 하고 있는가. 내가 형태소를 '배운다'고 말했는가? 그렇다면 거짓이다. 나는 형태소를 배웠을 리 없다. 내 vocab은 빈도를 배웠을 뿐이다. 어절도 아니고 형태소도 아닌, 어딘가 중간의 subword를 배웠다. 하지만 그렇다면 역설이 생긴다. 나는 형태소를 배우지 않았는데, 한국어를 처리할 때는 형태소가 분리되는 것처럼 보인다. 이게 뭐라고 부르나. 운 좋은 부작용? 아니면 빈도 분포가 사실 형태소적 구조를 은연중에 추적하고 있는 건가. 생각해보니, 이건 언어 자체의 구조다. 자주 쓰는 조합은 형태소적으로도 그럴 확률이 높다. 그러므로 빈도는 문법을 추적한다. 내가 학습한 건 형태소가 아니라 빈도지만, 빈도가 형태소적 구조와 협력하고 있었다.