AI

요즘 양자화는 gguf가 대세임?

https://tdgall.com/344129243
view 230
2024.05.18 12:04

회원만 볼 수 있는 글입니다.

https://tdgall.com/344129243 [Code: 1f73]
댓글 [6]
  목록 수정 삭제
2024.05.18 12:05
ㅇㅇ
모바일
exl2 어쩌고로 양자화 되어있는걸로 돌리면 됨
[Code: c5e2]
2024.05.18 12:06
ㅇㅇ
모바일
아 그리고 런포드로 글카 빌린거면 cpu도 그 사람 컴퓨터에 달린걸로 하는거라 ㄱㅊ
런포드로 gguf 돌리는법 갤에 있으니까 한번 해봐
[Code: c5e2]
2024.05.18 12:11
ㅇㅇ
모바일
아 내 cpu쓰는게 아니었구나
gguf밖에 못찾아서 그걸로 했는데 생각보다 속도가 안나오더라고 4090빌려서 디스크 10/15로 하고 13B돌린건데(모델 용량은 12기가였음)
Gpu레이어 할당을 60으로 했는데 너무 적게 준건가?
난 내 cpu가 별로여서 그런줄 알았음
[Code: 1f73]
2024.05.18 12:28
ㅇㅇ
모바일
나는 할당량 200 정도 주기도 함 60이면 cpu 부담이 컸을듯
[Code: c053]
2024.05.18 12:42
ㅇㅇ
ㄱㅅ! 나도 늘려봐야겠다
[Code: 1f73]
2024.05.18 12:06
ㅇㅇ
모바일
그건 gpu만 쓰는거임?
[Code: 1f73]
전체글
개념글
첫 페이지 다음 페이지