AI

ㅈㅁ vram 48GB이 라마2 70B 가능하다는데 맞음?

https://tdgall.com/343869910
view 161
2024.05.16 18:41

회원만 볼 수 있는 글입니다.

https://tdgall.com/343869910 [Code: 5307]
댓글 [4]
  목록 수정 삭제
2024.05.16 18:48
ㅇㅇ
모바일
Vram이랑 완전히 정비례하는거 아님 그리고 양자화하면서 압축되니까
[Code: eb55]
2024.05.16 19:20
ㅇㅇ
모바일
오 그렇구나 ㄱㅅㄱㅅ
[Code: 8968]
2024.05.16 18:53
ㅇㅇ
모바일
gguf는 gpu+cpu 같이 돌리는거 양자화 많이 된거 하면 사양 좀 딸려도 돌릴 수 있어
[Code: 2ead]
2024.05.16 19:26
ㅇㅇ
모바일
B는 모델에 학습된 데이터의 양이라서 비례하는건 아님
[Code: 1de8]
전체글
개념글
첫 페이지 다음 페이지