AI

70B 돌리기 쉽지 않다

https://tdgall.com/344442005
view 291
2024.05.20 01:37

회원만 볼 수 있는 글입니다.

https://tdgall.com/344442005 [Code: f42b]
댓글 [12]
  목록 수정 삭제
2024.05.20 01:39
ㅇㅇ
무슨 모델 돌리길래?
[Code: 3836]
2024.05.20 01:40
ㅇㅇ
모바일
루미 70b랑 아스토리아 70b
[Code: f42b]
2024.05.20 01:43
ㅇㅇ
난 a6000 하나로 70b 잘 돌렸는데.. 아니면 걍 gptq나 exl2로 돌리는건 어떰? 아스토리아는 없긴 한데
[Code: 3836]
2024.05.20 01:47
ㅇㅇ
모바일
exl2로 해볼까.. 도전해봄
[Code: f42b]
2024.05.20 01:41
ㅇㅇ
모바일
커맨드 R+도 양자화하면 48Vram으로 돌리기 가능은 할텐데
속도가 얼마나 나오길래?
[Code: 6f53]
2024.05.20 01:44
ㅇㅇ
모바일
속도가 왔다갔다 하는데 답변 한번 받는데 1분 이상 걸림
[Code: f42b]
2024.05.20 01:42
ㅇㅇ
모바일
메모리 큰 GPU면 괜찮음
[Code: d526]
2024.05.20 01:45
ㅇㅇ
모바일
메모리가 vram 말하는거지?
[Code: f42b]
2024.05.20 02:29
ㅇㅇ
모바일
ㅇㅇㅇ 세팅이 어떤지 모르겠는데 A6000 48이면 충분한것같은데...초당 몇토큰나오는데?
qptq보다 exl2이 부담적어
[Code: 20d7]
2024.05.20 02:58
ㅇㅇ
초당 한 5토큰 나온 것 같음.. gguf로 돌리긴 했는데 exl2한번 시도해보려고
혹시 용량 얼마나 넉넉하게 빌림? 난 42기가짜리 모델 돌리려고 컨테이너 디스크 10/볼륨 디스크 60 이렇게 빌렸는데 잘 안 돌아가더라고.. gpu 레이어 할당은 200으로 했음
[Code: 9b50]
2024.05.20 04:24
ㅇㅇ
모바일
10은 나와야하는데 환경마다 달라서 뭐라 말은 못하겠다 일일히 조정해봐야할듯 오프로드 안되는 선에서 최대로 해보는 수밖에..
[Code: 5f37]
2024.05.20 04:30
ㅇㅇ
ㅇㅇ 댓 ㄳㄳ!
[Code: 29f3]
전체글
개념글
첫 페이지 다음 페이지
글쓰기
글쓰기 설정