Cách cải thiện độ tin cậy của ChatGPT: Kỹ thuật và mẹo

Ví dụ về ít cú đánh

Chúng ta có thể nhắc người mẫu giải thích câu trả lời của mình theo nhiều cách, bao gồm cả việc sử dụng một vài ví dụ ngắn gọn. Kỹ thuật này bao gồm việc trình diễn một số ví dụ và được các nhà nghiên cứu của Google nghiên cứu. Sử dụng phương pháp này, chúng tôi có thể tạo tập dữ liệu giải thích có thể được sử dụng để tinh chỉnh mô hình để đạt hiệu suất tối đa.

Mô hình tinh chỉnh

Bạn sẽ cần tinh chỉnh một mô hình riêng biệt để có được hiệu suất tốt nhất có thể trong một nhiệm vụ. Eric Zelikman, Yuhuai Wu và những người khác đã xuất bản một phương pháp cải tiến vào năm 2022 sử dụng lời nhắc vài lần để tạo ra một tập dữ liệu giải thích có thể dùng để tinh chỉnh mô hình. Mục đích là tạo ra những lời giải thích cho ứng viên bằng cách sử dụng một vài lời nhắc ngắn gọn và chỉ duy trì những lời giải thích dẫn đến phản hồi chính xác.

Nhắc nhở suy luận lựa chọn

Chia lời nhắc duy nhất để tạo phần giải thích và câu trả lời thành các phần nhỏ hơn là một phần mở rộng của phương pháp chuỗi suy nghĩ. Lời nhắc ("dấu nhắc lựa chọn") trước tiên sẽ chọn một tập hợp con các sự kiện có liên quan từ văn bản. Lời nhắc tiếp theo (“dấu nhắc suy luận”) sẽ kết thúc dữ liệu đã chọn. Bằng cách xen kẽ các tín hiệu này, người ta có thể tạo ra một vòng lặp lý luận dẫn đến kết luận.

Nhắc nhở ít nhất đến nhiều nhất

Nhắc nhở ít nhất đến nhiều nhất là một phương pháp chia nhỏ các nhiệm vụ lý luận thành các nhiệm vụ phụ đáng tin cậy và dễ quản lý hơn. Để nhắc mô hình như ChatGPT, LLM, với nội dung như “Để giải một câu hỏi, trước tiên chúng ta cần giải:” mục tiêu là gợi ra một nhiệm vụ phụ từ nó. Sau đó, mô hình có thể giải quyết sau khi hoàn thành nhiệm vụ phụ đó.

Lời nhắc Maiutic

Ngược lại với các kỹ thuật trước đây, vốn cố gắng tối đa hóa khả năng đưa ra câu trả lời đúng, một phương pháp khác sử dụng GPT-3 để tạo ra một cây giải thích có thể có (cả đúng và không chính xác), sau đó phân tích mối quan hệ của chúng để đoán xem tập hợp nào đúng. Kỹ thuật này được đặt ra là nhắc nhở maieutic. Nó hoạt động bằng cách xây dựng một cây maieutic, trong đó mỗi nút là một câu lệnh có thể đúng hoặc sai.

Người xác minh

Một kỹ thuật thiết yếu khác để cải thiện hiệu suất nhiệm vụ là đào tạo mô hình xác minh hoặc phân biệt đối xử để đánh giá kết quả đầu ra của mô hình tổng hợp chính. Nếu bộ phân biệt đối xử từ chối đầu ra, bạn có thể lấy mẫu lại mô hình tổng quát cho đến khi nhận được đầu ra chấp nhận được.

Phần kết luận

Nghiên cứu về LLM rất tích cực và phát triển nhanh chóng. Các nhà nghiên cứu không chỉ muốn tiếp tục cải tiến các mô hình. Nhưng họ cũng tiếp tục nâng cao hiểu biết của chúng ta về cách sử dụng chúng một cách tốt nhất. Mặc dù các phương pháp hay nhất trong tương lai có thể làm lu mờ các kỹ thuật cụ thể được đề cập ở đây nhưng các nguyên tắc chung đằng sau chúng có thể vẫn là một phần quan trọng trong bộ công cụ của bất kỳ người dùng chuyên nghiệp nào. Bằng cách sử dụng các phương pháp này và luôn cập nhật những phát triển mới, chúng tôi có thể tăng độ tin cậy của ChatGPT và các LLM khác.