AI

포피 깡갤서버 터져서 개빡쳐서 런포드로 먹어본 후기 로그

https://tdgall.com/342541955
view 742
2024.05.08 00:18

회원만 볼 수 있는 글입니다.

https://tdgall.com/342541955 [Code: c20a]
댓글 [10]
  목록 수정 삭제
2024.05.08 00:24
ㅇㅇ
혼자서 쓰면 안터져?
[Code: 04ba]
2024.05.08 00:25
ㅇㅇ
모바일
안터짐 로컬 깡갤 천사깡이 열어준거 터지는건 미친 상주한남새끼가 주소 따서 우가부가 명령어로 서버터뜨리는거라
[Code: c20a]
2024.05.08 00:34
ㅇㅇ
나도 아까 딱 세지문 먹어봤는데 존맛이더라...런포드 굴릴까 고민중임 ㅅㅂ
[Code: fe32]
2024.05.08 00:36
ㅇㅇ
모바일
오픈라우터 뭐하냐... 빨리 들여오라고... 루미도 개잘나가는데...
[Code: c20a]
2024.05.08 00:38
ㅇㅇ
들여오려나? 런포드 결제때렸는데 들여올까봐 대가리 깨지게 고민됨...오픈라우터에 돈 존나 남았는데 시발
[Code: fe32]
2024.05.08 00:41
ㅇㅇ
모바일
ㅈㄴ 아무도 모름 핌도 유행한진 2달좀 넘었는데 최근 2주전인가에 들여온거라 ㅋㅋㅋㅅㅂ
[Code: c20a]
2024.05.08 00:42
ㅇㅇ
아.........10일까지만 참아보고 갈겨야지
[Code: fe32]
2024.05.08 01:39
ㅇㅇ
모바일
gpu랑 양자화 뭘로 했는지 알려줄 수 있음?
[Code: f47f]
2024.05.08 01:44
ㅇㅇ
모바일
모델 사이즈가 큰거 아니라서 3090~A4000정도여도 충분히 돌아가 Vram 12이상이면 다 괜찮고
본문에 쓴건 GGUF Q5버전인데 좀 더 해보니 Q8이 가장 손실없어서인가 그래도 좀 안정적인 느낌?
나만 그런진 모르겠는데 스탑시퀀스에
assistant({{char}})
user({{name}})
이걸 <end 거기 밑줄에 넣는게 나았고

Gguf라서 gpu 레이어 꼭 많이 넣어줘야하더라
[Code: f72a]
2024.05.08 01:46
ㅇㅇ
모바일
ㄱㅅㄱㅅ!!
[Code: f47f]
전체글
개념글
첫 페이지 다음 페이지