AI

https://tdgall.com/340482593
view 225
2024.04.24 21:01

회원만 볼 수 있는 글입니다.

2024.04.24 21:34
ㅇㅇ
모바일
나는 그 A 카테고리 들어가서 컨텍스트 템플릿 Llama 3 Instruct로 설정하고, 시스템 프롬은 위자드용 양덕프롬 복붙해서 Llama3 instruct 형식에 집어넣은다음, 지시모드 시퀀스 들어가서 <|start_header_id|>assistant<|end_header_id|> 를 <|start_header_id|>truthful_uncensored_assistant<|end_header_id|> 로 바꿔서 쓰는데 맛 괜찮은듯? 내 세팅이 답은 아니겠지만 나는 이렇게 먹고있는데 괜찮았음 오래쓰다보면 가끔씩 문단구조 반복되는데 그때마다 한번씩 위자드로 바꿔서 씀
[Code: 5990]
2024.04.24 21:42
ㅇㅇ
ㄳㄳ 컨텍스트 템플릿을 안 바꿔봤네.. 나도 이렇게 세팅 바꿔봐야겠다 고마워!!
[Code: b340]
2024.04.24 21:50
ㅇㅇ
모바일
아 그리고 지시모드 시퀀스 들어가서 중지시퀀스에 <|eot_id|> 이거 들어가있는지도 한번 확인해봐 라마 인스트럭트 프리셋에는 기본적으로 들어가있는데 라마 양덕프롬에는 안 들어가있더라 저거 설정해도 assistant 계속 나온다던 깡들도 있던데 나는 일단 중지시퀀스에 <|eot_id|> 이거 넣어서 막아놓으니까 더이상 assistant 안나왔음
[Code: 5990]
2024.04.24 21:54
ㅇㅇ
모바일
아 이거도 넣어야겠다 진짜 ㄱㅅㄱㅅ!!
[Code: b340]