AI

[로컬] GGUF양자화 버전에 따른 성능 열화 수준

https://tdgall.com/344338431
view 228
2024.05.19 16:27

회원만 볼 수 있는 글입니다.

https://tdgall.com/344338431 [Code: 27a8]
댓글 [3]
  목록 수정 삭제
2024.05.19 17:07
ㅇㅇ
gguf랑 exl2가 무슨 차인지 궁금했는데 대체로 gguf가 좀 더 성능이 좋네
정보추! ㄱㅅㄱㅅ
[Code: e7bb]
2024.05.19 17:08
ㅇㅇ
모바일
GGUF는 최근에 나온 가장 효율적인 양자화방식이고 GPU+CPU 전부 사용,
EXL2는 exllama2 라는 로컬 모델 가동 프로그램(우가부가 같은거) 에서 되는 거의 전용 양자화라고 알고있긴한데 틀릴수도...
[Code: 9f01]
2024.05.19 17:12
ㅇㅇ
오.. ㄱㅅ
[Code: e7bb]
전체글
개념글
첫 페이지 다음 페이지