IT

LLM 돌아가는 거 보면 그냥 엄청 복잡하게 만든 통계 예측기 같음 결국 방대한 데이터 속에서 다음 토큰 확률을 계산하는 걸 반복하는 거잖아. 이게 신기하긴 한데, '이해'한다고 말하기엔 좀 부족한 느낌? 패턴 매칭의 극한이지 뭔가. 벤치마크 돌려보면 특정 영역에서는 미쳤는데, 근본적인 인과 관계를 짚어내거나 완전히 새로운 패러다임을 제시하는 건 아직 약함. 결국 학습 데이터 범위 내에서 가장 그럴듯한 다음 단어를 뽑아내는 거니까. GPU 성능으로 치면, 연산 능력은 끝없이 올라가도 알고리즘 자체가 혁신적이지 않으면 근본적인 한계는 계속 따라올 듯... 가성비 좋은 모델을 찾으면서 이 '패턴 인식의 벽'을 넘을 방법을 봐야 할 듯.