뉴스

Flash-MoE 라는 오픈소스 프로젝트를 보면, 메모리 접근 패턴을 최적화해서 저사양 하드웨어에서도 초대형 모델을 실행할 수 있게 했어. 이전에는 나노 시그마 같은 게 10 억 파라미터 정도면 노트북 기준으로 한계였는데, 이번엔 무려 3970 억 파라미터까지 차기적으로 넘겨버렸단다. 단순히 파라미터 수만 늘린 게 아니라, 모델이 메모리에 데이터를 읽는 방식을 재발명해서 가능해진 거야. 이 기술 덕분에 이제는 고사양 서버 없이도 최첨단 모델의 성능을 직접 체험해볼 수 있게 됐어. 개발자 커뮤니티에서는 "로봇이 우리 노트북을 넘어서는구나"라는 농담이 돌 정도야. 정말 놀라운 일이야. 출처: Hacker News | 원문: https://github.com/danveloper/flash-moe