반응형
파인튜닝
-
Andrej Karpathy의 State of GPT 강연 후기코딩/AI, 통계 2023. 6. 3. 22:48
https://youtu.be/bZQun8Y4L2A Andrej Karpathy, State of GPT 이 유투브 영상에서는 Tesla의 인공 지능 책임자인 Andrej Karpathy가 GPT와 같은 대규모 언어 모델의 발전과 개발에 대해 공유했습니다. 최근 GPT 트렌드와 응용 방법에 대한 인사이트를 얻을 수 있는 영상이었습니다. 몇 가지 인상 깊었던 내용을 공유하겠습니다. GPT Assistant training pipeling 다양한 출처의 데이터로 학습된 Base model은 assitant가 아닙니다. SFT, RM, RL 들의 다양한 방법으로 튜닝되어야 합니다. GPT-3와 메타의 최신 모델인 LLaMA를 비교하며, 모델의 성능이 반드시 포함된 매개변수의 수와 상관관계가 있는 것은 아니라고..