AI Bot Search

Chat GPT를 사용하면 Generative Pre-Trained Transformer와 채팅할 수 있습니다.

일반적으로 ChatGPT라고 하는 Chat Generative Pre-Trained Transformer는 2022년 11월 OpenAI에서 출시한 챗봇입니다. OpenAI의 GPT-3 대규모 언어 모델 제품군 위에 구축되었으며 다음과 같이 미세 조정(전이 학습에 대한 접근 방식)되었습니다. 감독 및 강화 학습 기술 모두.

ChatGPT는 2022년 11월 30일에 프로토타입으로 출시되었으며 많은 지식 영역에 걸쳐 상세한 응답과 명확한 답변으로 빠르게 주목을 받았습니다. 그것의 불균등한 사실적 정확성은 중요한 결점으로 확인되었다. ChatGPT 출시 후 OpenAI의 가치는 290억 달러로 평가되었습니다.

훈련

ChatGPT는 지도 학습과 강화 학습을 사용하여 GPT-3.5 위에서 미세 조정되었습니다. 두 접근 방식 모두 인간 트레이너를 사용하여 모델의 성능을 개선했습니다. 감독 학습의 경우 트레이너가 사용자와 AI 비서의 양쪽 역할을 하는 대화가 모델에 제공되었습니다. 강화 단계에서 인간 트레이너는 먼저 모델이 이전 대화에서 생성한 응답의 순위를 매겼습니다. 이러한 순위는 PPO(Proximal Policy Optimization)의 여러 반복을 사용하여 모델이 추가로 미세 조정되는 '보상 모델'을 만드는 데 사용되었습니다. 근접 정책 최적화 알고리즘은 신뢰 지역 정책 최적화 알고리즘에 비용 효율적인 이점을 제공합니다. 더 빠른 성능으로 계산 비용이 많이 드는 많은 작업을 무효화합니다. 이 모델은 Azure 슈퍼컴퓨팅 인프라에서 Microsoft와 협력하여 학습되었습니다.

또한 OpenAI는 ChatGPT를 추가로 교육하고 미세 조정하는 데 사용할 수 있는 ChatGPT 사용자로부터 데이터를 계속 수집합니다. 사용자는 ChatGPT에서 받은 응답에 찬성 또는 반대 투표를 할 수 있습니다. 찬성 또는 반대 투표 시 추가 피드백으로 텍스트 필드를 채울 수도 있습니다.