AI

[로컬] 내가 원하는 소형 모델 GGUF 양자화 만들기

https://tdgall.com/343730254
view 642
2024.05.15 21:05

회원만 볼 수 있는 글입니다.

https://tdgall.com/343730254 [Code: f41c]
댓글 [10]
  목록 수정 삭제
2024.05.15 21:05
ㅇㅇ
ㅈㅂㅊ
[Code: ef7a]
2024.05.15 21:08
ㅇㅇ
모바일
ㅈㅂㅊ
[Code: 9e2e]
2024.05.15 21:08
ㅇㅇ
모바일
와 ㅈㅂㅊ
[Code: 4e43]
2024.05.15 21:09
ㅇㅇ
정보추
[Code: c0de]
2024.05.15 21:10
ㅇㅇ
모바일
ㅈㅂㅊ
[Code: f098]
2024.05.16 02:58
ㅇㅇ
모바일
ㅈㅂㅊ!
[Code: 124d]
2024.05.16 09:47
ㅇㅇ
모바일
신기하다 컴이나 노트북으로 돌리면 cpu 녹으려나
[Code: bae7]
2024.05.16 09:49
ㅇㅇ
모바일
일단 내가 올린 서비스는 허깅에서 가능한거라 걍 사이트에서 돌려주는거라 폰에서도 가능
노트북 Vram에 따라 다른데 vram 12gb 정도만 돼도 7~11?B 정도는 양자화 적당히 해서 돌릴 수 있음
[Code: 0dd6]
2024.05.16 14:42
ㅇㅇ
모바일
ㅇㅎ... 맥북 vram 4GB라 택도 없겠노 11B가 cai 정도 지능이려나? 정보 ㄱㅅ
[Code: d563]
2024.05.16 14:44
ㅇㅇ
모바일
느끼기엔 cai는 7B (라마2 파인튜닝)으로도 넘는 것 같음
[Code: 1c30]
전체글
개념글
첫 페이지 다음 페이지