DataHour: Giảm 80% ảo giác ChatGPT

Khả năng quan sát, điều chỉnh và kiểm tra

Bước đầu tiên để giảm ảo giác là cải thiện khả năng quan sát của mô hình. Điều này liên quan đến việc xây dựng các vòng phản hồi để nắm bắt phản hồi của người dùng và hiệu suất của mô hình trong sản xuất. Điều chỉnh bao gồm cải thiện phản hồi kém bằng cách thêm nhiều dữ liệu hơn, khắc phục các sự cố truy xuất hoặc thay đổi lời nhắc. Việc kiểm tra là cần thiết để đảm bảo những thay đổi sẽ cải thiện kết quả và không gây ra sự thoái lui. Những thách thức phải đối mặt trong khả năng quan sát bao gồm việc khách hàng gửi ảnh chụp màn hình về những phản hồi không tốt, dẫn đến sự thất vọng. Để giải quyết vấn đề này, nhật ký có thể được theo dõi hàng ngày bằng cách nhập dữ liệu và mã bí mật.

Gỡ lỗi và điều chỉnh mô hình ngôn ngữ

Quá trình gỡ lỗi và điều chỉnh mô hình ngôn ngữ bao gồm việc hiểu đầu vào và phản hồi của mô hình. Để gỡ lỗi, việc ghi nhật ký là cần thiết để xác định lời nhắc thô và lọc nó thành các phần hoặc tham chiếu cụ thể. Nhật ký cần phải dễ thực hiện và dễ hiểu đối với bất kỳ ai. Việc điều chỉnh liên quan đến việc xác định số lượng tài liệu sẽ được đưa vào mô hình. Các số mặc định không phải lúc nào cũng chính xác và tìm kiếm tương tự có thể không mang lại câu trả lời đúng. Mục đích là tìm ra lý do tại sao có sự cố xảy ra và cách khắc phục.

Tối ưu hóa nhúng OpenAI

Các nhà phát triển ứng dụng truy vấn cơ sở dữ liệu vector phải đối mặt với những thách thức trong việc tối ưu hóa hiệu suất của các phần nhúng OpenAI được sử dụng trong ứng dụng. Thử thách đầu tiên là xác định số lượng tài liệu tối ưu để chuyển vào mô hình, vấn đề này được giải quyết bằng cách kiểm soát chiến lược phân đoạn và đưa ra siêu tham số có thể kiểm soát được cho số lượng tài liệu.

Thử thách thứ hai là sự biến đổi của lời nhắc, được giải quyết bằng cách sử dụng thư viện nguồn mở có tên Better Nhắc để đánh giá hiệu suất của các phiên bản lời nhắc khác nhau dựa trên mức độ phức tạp. Thử thách thứ ba là cải thiện kết quả từ phần nhúng OpenAI, được cho là hoạt động tốt hơn so với trình biến đổi câu trong các tình huống đa ngôn ngữ.

Kỹ thuật phát triển AI

Bài viết thảo luận về ba kỹ thuật khác nhau được sử dụng trong phát triển AI. Kỹ thuật đầu tiên là sự bối rối, được sử dụng để đánh giá hiệu suất của lời nhắc đối với một nhiệm vụ nhất định. Kỹ thuật thứ hai là xây dựng một gói cho phép người dùng thử nghiệm các chiến lược nhắc nhở khác nhau một cách dễ dàng. Kỹ thuật thứ ba là chạy một chỉ mục, bao gồm việc cập nhật chỉ mục với dữ liệu bổ sung khi thiếu thứ gì đó hoặc không lý tưởng. Điều này cho phép xử lý các câu hỏi năng động hơn.

Sử dụng API GPT-3 để tính toán độ phức tạp

Diễn giả thảo luận về trải nghiệm của họ khi sử dụng API GPT-3 để tính toán mức độ phức tạp dựa trên truy vấn. Họ giải thích quy trình chạy lời nhắc thông qua API và trả về xác suất nhật ký cho mã thông báo tiếp theo tốt nhất. Họ cũng đề cập đến khả năng tinh chỉnh một mô hình ngôn ngữ lớn để bắt chước một phong cách viết cụ thể, thay vì nhúng thông tin mới.

Đánh giá câu trả lời cho nhiều câu hỏi

Văn bản thảo luận về những thách thức trong việc đánh giá câu trả lời cho hơn 50 câu hỏi cùng một lúc. Việc chấm điểm thủ công mọi phản hồi tốn rất nhiều thời gian, vì vậy công ty đã cân nhắc sử dụng công cụ đánh giá tự động. Tuy nhiên, một khuôn khổ quyết định có/không đơn giản là không đủ vì có nhiều lý do khiến một câu trả lời có thể không đúng. Công ty đã chia quá trình đánh giá thành các thành phần khác nhau nhưng nhận thấy rằng một lần chạy công cụ đánh giá tự động là thất thường và không nhất quán. Để giải quyết vấn đề này, họ đã chạy nhiều bài kiểm tra cho mỗi câu hỏi và phân loại các câu trả lời là hoàn hảo, gần như hoàn hảo, không chính xác nhưng chứa một số thông tin chính xác hoặc hoàn toàn không chính xác.

Giảm ảo giác trong các mô hình NLP

Diễn giả thảo luận về quy trình giảm ảo giác trong các mô hình xử lý ngôn ngữ tự nhiên. Họ chia quá trình ra quyết định thành bốn loại và sử dụng tính năng tự động cho danh mục trên 50. Họ cũng triển khai quy trình đánh giá vào sản phẩm cốt lõi, cho phép chạy và xuất các đánh giá sang CSB. Diễn giả đề cập đến kho lưu trữ GitHub để biết thêm thông tin về dự án. Sau đó, họ thảo luận về các bước họ đã thực hiện để giảm ảo giác, bao gồm khả năng quan sát, điều chỉnh và thử nghiệm. Họ đã có thể giảm tỷ lệ ảo giác từ 40% xuống dưới 5%.

Phần kết luận

Giảm ảo giác ChatGPT trong các mô hình NLP là một quá trình phức tạp liên quan đến khả năng quan sát, điều chỉnh và thử nghiệm. Các nhà phát triển cũng phải xem xét sự thay đổi kịp thời, tối ưu hóa các phần nhúng và đánh giá phản hồi cho nhiều câu hỏi. Các kỹ thuật như bối rối, xây dựng gói để thử nghiệm các chiến lược nhanh chóng và chạy chỉ mục cũng có thể hữu ích trong việc phát triển AI. Tương lai của sự phát triển AI nằm ở những yếu tố nhỏ, riêng tư hoặc dành riêng cho nhiệm vụ.

Hãy đăng ký tài khoản ChatGPT Plus ngay hôm nay để tận dụng sức mạnh trí tuệ nhân tạo và nâng cao hiệu suất làm việc của bạn!

Bài học chính

• Giảm ảo giác ChatGPT trong các mô hình NLP liên quan đến khả năng quan sát, điều chỉnh và thử nghiệm.
• Các nhà phát triển phải xem xét sự thay đổi kịp thời, tối ưu hóa các phần nhúng và đánh giá phản hồi cho nhiều câu hỏi.
• Các kỹ thuật như bối rối, xây dựng gói để thử nghiệm các chiến lược nhanh chóng và chạy chỉ mục cũng có thể hữu ích trong việc phát triển AI.
• Tương lai của sự phát triển AI nằm ở những yếu tố nhỏ, riêng tư hoặc dành riêng cho nhiệm vụ.

Các câu hỏi thường gặp