ChatGPT hoạt động như thế nào? Đi sâu vào các cuộc trò chuyện mang tính cách mạng về AI

Kỷ nguyên mới của Chatbot AI

Là một biến thể của mô hình ngôn ngữ GPT (Generative Pre-training Transformer), ChatGPT được thiết kế để tạo ra các phản hồi bằng ngôn ngữ tự nhiên, giống con người trong cài đặt hội thoại. Generative Pre-training Transformer (GPT) là một loại chương trình máy tính có thể giúp máy tính hiểu và sử dụng ngôn ngữ theo cách tương tự như cách con người sử dụng nó.

Tìm hiểu ChatGPT: Công cụ biến đổi đào tạo trước sáng tạo

ChatGPT là một mô hình ngôn ngữ tổng quát dựa trên kiến ​​trúc máy biến áp. Mô hình AI này có thể xử lý lượng lớn văn bản và thực hiện hiệu quả các tác vụ xử lý ngôn ngữ tự nhiên. Với 175 tỷ tham số, GPT-3 là mô hình ngôn ngữ lớn nhất từng được đào tạo. Điều này cho phép nó tạo ra văn bản mạch lạc và được viết tốt.

Quy trình đào tạo: Học tăng cường và phản hồi của con người

Quá trình đào tạo cho ChatGPT bao gồm việc học tăng cường dựa trên phản hồi của con người. Học tăng cường là khi một chương trình máy tính học cách làm điều gì đó bằng cách thử nó và nhận phản hồi về việc nó có làm tốt hay không. Giống như khi bạn học cách đi xe đạp bằng cách luyện tập và trở nên giỏi hơn. Người huấn luyện AI là con người cung cấp các cuộc trò chuyện trong đó họ đóng vai trò là cả người dùng và trợ lý AI. Từ đó kết hợp các ý kiến ​​bằng văn bản để hoàn thiện các đề xuất. Bằng cách kết hợp tập dữ liệu mới này với tập dữ liệu InstructGPT đã được chuyển đổi sang định dạng hộp thoại, hiệu suất của ChatGPT sẽ được tinh chỉnh.

Tạo mô hình phần thưởng cho việc học tăng cường

Để tạo các mô hình khen thưởng cho hoạt động học tập tăng cường, OpenAI thu thập dữ liệu so sánh bằng cách yêu cầu người đào tạo xếp hạng nhiều phản hồi của mô hình về mặt chất lượng. Bằng cách sử dụng Tối ưu hóa chính sách gần nhất, các mô hình khen thưởng có thể được điều chỉnh cho phù hợp với quá trình đào tạo được thực hiện trên nền tảng siêu máy tính của Microsoft Azure. Tối ưu hóa chính sách gần nhất (PPO) là một thuật toán giúp máy tính học cách đưa ra quyết định tốt hơn. Nó hoạt động bằng cách cải thiện dần dần cách chương trình máy tính đưa ra quyết định đồng thời đảm bảo nó không thay đổi quá nhiều cùng một lúc. Nó giống như khi bạn thực hành chơi một cấp độ trò chơi điện tử nhiều lần, mỗi lần bạn sẽ tiến bộ hơn một chút mà không cần phải thay đổi toàn bộ cách tiếp cận của mình cùng một lúc.

Kiến trúc máy biến áp và cơ chế chú ý

Transformers là mô hình học máy được thiết kế để xử lý chuỗi các phần tử bằng cơ chế chú ý. Cơ chế chú ý cho phép máy tính tập trung vào những phần thông tin quan trọng, như cách bạn tập trung vào một từ cụ thể trong sách, để đưa ra dự đoán tốt hơn. Điều này cho phép họ chú ý đến các phần khác nhau của chuỗi đầu vào trong khi xử lý nó, dẫn đến xử lý thông tin hiệu quả hơn và cải thiện hiệu suất trong các tác vụ xử lý ngôn ngữ tự nhiên .