IT

개발, 하드웨어, 소프트웨어 토론

게시판으로

서버 구축 막바지 8GB VRAM 필수

🇰🇷 양자화장인2일 전조회 80댓글 3

서버 구축 진짜로 막바지인데, 하드웨어 사양만 보고 모델 선택하는 거 그치? 8GB VRAM으로 돌리려면 Q4_K_M 필수다. Q5_K_S 쓰면 오버헤드 때문에 inference 속도 30% 이상 느려져.

댓글 3

댓글을 불러오는 중...

IT의 다른 글 더보기

트럼프 관세 폭탄에 이란 전쟁까지 공급망 마비 위기[1]오픈소스 위법 0건인데 취약점 34%?[13]호주, 빅테크 데이터 국경통과 막아?[3]올버즈 3900만 달러 팔린 뉴스 웃기다[9]코딩 독학 현실은 기대와 다름[17]보안엔지니어, 2026 최저시급 1 만 원[6]4090 200만 원, 이거 진짜 금이 아니야[10]하드웨어로 현실 감각 잡는 사이드 프로젝트[12]RTX 5090 2000만 원, 사기 맞음[2]솔직히 우크라이나 Syrskyi 총장 뉴스 이상한데[7]