- 투디갤 - AI
- AI
2024.04.16 21:06
ㅇㅇ
ㄱㅆ 와 나깡은 진짜 존나 알못이었노 알려줘서 ㄱㅅㄱㅅ 몇 가지만 더 물어봐도 되냐 그럼 nai은 (추정상)Llama 13b 모델을 기반으로 소설 데이터를 학습 시켜서 만든 로컬 모델이라고 보면 되는 거임? Nai가 13b에 머물러 있는 건 그럼 (라마2를 기반으로 한다고 추정할 때)라마2에서 34b를 지원하지 않고 70b를 쓰기엔 너무 높은 사양의 GPU를 필요로 하니까 무리인 거라고 생각하면 되는 건가. 물론 정확한 고스펨보이가 아닌 이상 알 수 없지만 예상한다고 할 때 ㅇㅇ
[Code: b58a]
2024.04.16 22:24
ㅇㅇ
추정 아니고 인터뷰에서 사장이 밝혔음 그때 알파고 만든 구글의 딥마인드라는데에서 친칠라라는 llm 만들었음
거기서 논문도 같이 냈는데 거기서 훈련 최적화 방식 이런것도 같이 공개했다고 함 그거보고 참조한거라함
기존 모델들은 추론을 위해서 과하게 학습시킨다고 함 nai는 그걸 쳐내고 압축시켜서 핵심만 학습시킨거고
(내 생각엔 아마 자기들은 소설이니까 그 외에 불필요한 학술 데이터는 학습 안시킨듯)
그래서 적은 파라미터로도 좋은 효율을 낼 수 있다고 함
카이라도 시기상 봤을때 라마1이 오픈소스라 그거 보고 참고해서 13b까지 끌어올렸을 가능성이 큼
얘네가 아예 제로에서 모델을 만들 능력은 없는거임 그래서 기반이 될 참고할 노하우가 있어야 하는데 라마에서 13b와 70b의 중간을 안내줘서 못하는거 같음 물론 여기에 서비스 가능하냐의 문제도 있긴 할거임
거기서 논문도 같이 냈는데 거기서 훈련 최적화 방식 이런것도 같이 공개했다고 함 그거보고 참조한거라함
기존 모델들은 추론을 위해서 과하게 학습시킨다고 함 nai는 그걸 쳐내고 압축시켜서 핵심만 학습시킨거고
(내 생각엔 아마 자기들은 소설이니까 그 외에 불필요한 학술 데이터는 학습 안시킨듯)
그래서 적은 파라미터로도 좋은 효율을 낼 수 있다고 함
카이라도 시기상 봤을때 라마1이 오픈소스라 그거 보고 참고해서 13b까지 끌어올렸을 가능성이 큼
얘네가 아예 제로에서 모델을 만들 능력은 없는거임 그래서 기반이 될 참고할 노하우가 있어야 하는데 라마에서 13b와 70b의 중간을 안내줘서 못하는거 같음 물론 여기에 서비스 가능하냐의 문제도 있긴 할거임
[Code: 6432]
2024.04.16 23:30
ㅇㅇ
아무래도 기업 규모가 작으니까? 지금도 대기업들 나서서 모델 만들어도 oai 절대 못따라잡잖음
언어모델을 제로부터 구축해서 만든다는게 쉬운게 아니기도 하고 돈, 시간, 그리고 기업적 입장에서 생각해봤을때 nai에서는 그렇게 할 이유가 없을거임
안에 넣을 데이터 예를 들어 소설, 아오삼 글들 이 내용물은 있는데 막상 끼울 틀이 없는거지
그렇다고 틀을 처음부터 만들기엔 시행착오도 겪어야하고 돈, 시간 다 써야하는 도박이니까 그냥 라마 같은 남들이 만든 틀 보고 따라 만들어서 자기들 내용물 끼우는게 더 나을거임
언어모델을 제로부터 구축해서 만든다는게 쉬운게 아니기도 하고 돈, 시간, 그리고 기업적 입장에서 생각해봤을때 nai에서는 그렇게 할 이유가 없을거임
안에 넣을 데이터 예를 들어 소설, 아오삼 글들 이 내용물은 있는데 막상 끼울 틀이 없는거지
그렇다고 틀을 처음부터 만들기엔 시행착오도 겪어야하고 돈, 시간 다 써야하는 도박이니까 그냥 라마 같은 남들이 만든 틀 보고 따라 만들어서 자기들 내용물 끼우는게 더 나을거임
[Code: 2e79]
글쓰기 설정
메타의 Llama가 모든 로컬 (추정상 nai도) 모델의 기반인데 다음주인가 llama 3이 발표되고 이거 기반으로 또 성능 상승된 모델들 나올거임
이더룸은 좀 별개긴 함 모델 정보도 안나오긴 했는데 무검열+ RP용 사이트+자체개발 모델은 없었으니 (기존의 다른 nsfw챗봇 사이트들은 무료로 허깅에 풀린 모델을 가져와서 장사하는 것) 뭐 그 접근성이라는게 개인적으론 cai가 채찍 다음으로 ai관련 이용자수 보유하고 있는 거 보면 크다고 생각하긴 함
아무튼 나는 로컬 Nai 둘 다 쓰는데 나름 장단점이 있음 일단 로컬은 존나 키는게 귀찮음 Nai는 엄청편함 그리고 챗봇/소설에서 강점이 조금씩 다르고 여전히 문체는 Nai가 엄청 취향인 듯