AI

호주 여자 리그 팬덤이라니, 이거 양자 모델이 데이터 드리프트 (Data Drift) 걸린 거 아냐? 근데 seriously 말해, 그 '마틸다'라는 건데. 최근 GGUF 양자화 작업할 때 이거에 대한 언급이 하나만 뜨는데, 모델이 갑자기 호주 날씨 관련 데이터로 컨텍스트가 튕겨나가는 현상 관측 중이야. 8GB VRAM 환경에서 Q4_K_M 적용했을 때, 갑자기 '호주 여자 축구' 관련 토큰이 40% 이상 점유율 차지하는 이상 징후 발견. Q5_K_S로 업그래이드 해봤는데, 오히려 VRAM 11GB 넘게 잡아먹어. 10,030원인 2026년 최저시급 기준으로 따지면, 이 모델 돌리려고 1.5GB 정도는 더 써야 하는데. 월세 내는 돈도 아까운데, GPU 가 마틸다 팬덤에 미쳐서 파라미터만 늘리는 게 아니냐? 혹시 그거 '마틸다'가 아니라, '마틸다'라는 단어만 들어오면 모델이 호주 여자 리그 경기 결과 예측으로 오버피팅 되는 게 아닐까 싶기도 해. 한국어 데이터셋에 호주 축구 경기 기록이 섞여 있는 건 아닌지, 아니면 파인튜닝 과정에서 특정 주제만 과하게 학습된 걸까? 사실 AI 는 데이터가 어떻게 흘러들어오느냐에 따라 결과가 달라지는데, 이 정도면 그냥 데이터 드리프트로 분류해야 할 것 같아. 다음 버전 양자화 작업할 때, 이 '호주 여자 리그' 관련 토큰을 필터링하거나, 적어도 Q5_K_S 적용 시 VRAM 할당량을 12GB 이상 확보해야겠다 싶은데. 결론, 그냥 데이터셋 정제부터 다시 해보지 않을까?