투디갤 - AI - 로컬 셀프로 돌리고싶어서 찾아보는데 생각보다 빡세구나

로컬 셀프로 돌리고싶어서 찾아보는데 생각보다 빡세구나

https://tdgall.com/341848515

view 345

2024.05.03 22:15

회원만 볼 수 있는 글입니다.

https://tdgall.com/341848515 [Code: 84be]

댓글 [13]

목록 수정 삭제

2024.05.03 22:17

ㅇㅇ

Fim정도만 집에서 할 수 있어도 엄청날 거 같긴 한데 이것도 사양 꽤 타려나

[Code: 68c1]

2024.05.03 22:18

ㅇㅇ

ㄱㅆ Fim은 찾아보니까 VRAM 21G더라고 존나 얕봤음을 깨달음 ㅅㅂㅋㅋ

[Code: 84be]

2024.05.03 22:20

ㅇㅇ

와 ㅅㅂ 쉽지 않네 알려줘서 ㄱㅅㄱㅅ

[Code: 68c1]

2024.05.03 22:22

ㅇㅇ

양자화 된걸로 돌리면 됨

[Code: c6b7]

2024.05.03 22:24

ㅇㅇ

ㄱㅆ 혹시 11B V2.4.35bpw EXL2 이거 말하는거 맞음? 안그래도 찾아보다가 이건 6G길래 솔깃했는데 아직 입문단계라 차이가 뭔지 잘 모르겠어서 포기해가지고

[Code: 84be]

2024.05.03 22:31

ㅇㅇ

ㄱㅆ 지금 찾아보는데 아니구나 좀더 공부해야겠다

[Code: 84be]

2024.05.03 22:33

ㅇㅇ

그래도 11b면 GGUF 양자화 Q4~Q8에서 찾아보면 얼추 괜찮을걸

[Code: d644]

2024.05.03 22:35

ㅇㅇ

Ollama 괜찮은 것 같던데 이거 실리에 api 따는 것도 있드라

[Code: d644]

2024.05.03 22:39

ㅇㅇ

ㄱㅆ 와 어지럽다 일단 검색해봄 ㄳㄳ

[Code: 84be]

2024.05.03 22:51

ㅇㅇ

https://huggingface.co/Sao10K/Fimbulvetr-11B-v2-GGUF

여기 파일중에서 숫자가 Q 뒤에 붙은 숫자가 클수록 원본에 가깝고 최소 4이상은 되어야함
이거면 웬만한 컴에선 다 될걸?

[Code: d644]

2024.05.03 22:56

ㅇㅇ

ㄱㅆ 안그래도 저건가보다 해서 찾아보고있었음 8G 한계면 Q4나 Q5로 츄라이해보면 됨?

[Code: 84be]

2024.05.03 22:57

ㅇㅇ

저건 용량이니까... 일단 Q5써보고 성능열화가 심하지 않다고 느껴지면 ㄱㅊ

[Code: d644]

2024.05.03 23:04

ㅇㅇ

ㄱㅆ ㄳㄳ 방법 좀더 찾아봤다 주말동안 공부겸 달려보겠음

[Code: d602]

전체글

개념글

첫 페이지 다음 페이지