Tạo Chatbot mạnh mẽ với ChatGPT bằng tài liệu của bạn

Hãy suy nghĩ sáng tạo

Với tư cách là người quản lý sản phẩm, tôi dành phần lớn thời gian để đọc tài liệu nội bộ và đánh giá của khách hàng. Tôi ngay lập tức cân nhắc việc thuê ChatGPT làm trợ lý cá nhân để giúp tôi tổng hợp phản hồi của khách hàng hoặc tìm tài liệu sản phẩm cũ có liên quan cho tính năng này.

Để đạt được mục tiêu, ban đầu tôi đã cân nhắc việc sửa đổi mô hình GPT bằng dữ liệu của riêng mình. Tuy nhiên, việc tinh chỉnh khá tốn kém và cần một bộ dữ liệu lớn kèm theo các ví dụ. Ngoài ra, mỗi khi bạn thực hiện các thay đổi đối với tài liệu, bạn không thể thực hiện các điều chỉnh cuối cùng.

Kỹ thuật nhanh chóng

Nhắc nhở là một cách cung cấp nhiệm vụ và hướng dẫn cho AI để thực hiện một nhiệm vụ. AI thực hiện công việc sau khi chúng tôi cung cấp cho nó một bộ lệnh (lời nhắc). Lời nhắc có nhiều loại khác nhau và điều này phụ thuộc vào ứng dụng của chúng. Chúng có thể là những hướng dẫn nhỏ, câu hỏi, đoạn văn hoặc cuộc thăm dò ý kiến. Lời nhắc có thể dễ dàng hoặc phức tạp. Kỹ thuật nhắc nhở là phương pháp đưa ra lời nhắc một cách phù hợp để các công cụ AI trả lời các truy vấn một cách chính xác.

Kỹ thuật nhắc nhở, bao gồm bối cảnh trong lời nhắc, là chiến lược thứ hai nảy ra trong đầu bạn. Ví dụ: tôi có thể chèn văn bản của tài liệu gốc trước câu hỏi thay vì hỏi trực tiếp. Tuy nhiên, mô hình GPT có khoảng chú ý ngắn và chỉ có thể xử lý 4.000 mã thông báo đầu tiên hoặc ba nghìn từ của lời nhắc.

Vì chúng tôi có hàng chục nghìn email từ khách hàng cung cấp phản hồi và hàng trăm tài liệu về sản phẩm nên không thể truyền tải hết ngữ cảnh trong lời nhắc. Vì chi phí phụ thuộc vào số lượng mã thông báo bạn sử dụng nên sẽ rất tốn kém nếu bạn nhập ngữ cảnh dài dòng vào API.

Tôi sẽ hướng dẫn bạn quy trình sử dụng LlamaIndex & GPT để tạo chatbot Hỏi đáp bằng cách sử dụng dữ liệu của riêng bạn trong phần tiếp theo.

Hỏi đáp Phát triển Chatbot bằng tài liệu của bạn

Với sự trợ giúp của LlamaIndex và GPT, chúng tôi sẽ tạo một chatbot Hỏi đáp (text-davinci-003) trong phần này cho phép bạn đặt câu hỏi cho chatbot về tài liệu của bạn và nhận phản hồi bằng ngôn ngữ tự nhiên.

Điều kiện tiên quyết

Chúng ta cần chuẩn bị sẵn sàng cho phần hướng dẫn trước khi bắt đầu bằng cách:

• Bạn có thể tìm Khóa API OpenAI của mình tại https://platform.openai.com/account/api-keys.
• Một kho lưu trữ tài liệu của bạn. LlamaIndex hỗ trợ nhiều nguồn dữ liệu khác nhau, bao gồm Notion, Google Docs, Asana, v.v. Chúng tôi sẽ chỉ sử dụng tệp văn bản thuần túy cho mục đích trình diễn trong bài viết này.
• Cài đặt Python cục bộ, như Jupyter Notebook.

Các bước để làm theo:

Quá trình này rất đơn giản và chỉ cần một vài bước:

• Tạo chỉ mục dữ liệu tài liệu với LlamaIndex.
• Sử dụng ngôn ngữ tự nhiên để tìm kiếm chỉ mục.
• Truy xuất các thành phần thích hợp bằng LlamaIndex và chuyển nó đến dấu nhắc GPT.
• Hỏi GPT và tạo phản hồi bằng cách sử dụng ngữ cảnh thích hợp

Chuyển đổi dữ liệu tài liệu gốc của bạn bằng LlamaIndex thành một chỉ mục được vector hóa, có thể được truy vấn rất nhanh. Dựa trên mức độ trùng khớp của truy vấn và dữ liệu, nó sẽ sử dụng chỉ mục này để tìm các phần thích hợp nhất. Chúng tôi tải thông tin vào lời nhắc được gửi tới GPT để GPT có nền tảng cần thiết để trả lời câu hỏi của bạn.

Thiết lập môi trường Python

Cài đặt thư viện là bước đầu tiên. Chỉ cần nhập lệnh sau vào sổ ghi chép Juptyer. Cài đặt LlamaIndex và OpenAI bằng các lệnh này.

Đã nhập các thư viện vào Python và tạo tệp new.py để thiết lập khóa API OpenAI của bạn.

Tạo và lưu trữ chỉ mục

Sau khi nhập các thư viện cần thiết và cài đặt chúng, chúng tôi phải tạo chỉ mục cho tài liệu của bạn.

Bạn có thể tải tài liệu của mình từ chuỗi hoặc bằng cách sử dụng phương thức SimpleDirectoryReader do LllamaIndex cung cấp.

Sau khi tải tài liệu, tiếp theo chúng ta sẽ dễ dàng tạo chỉ mục bằng:

Sử dụng các kỹ thuật sau để lưu trữ chỉ mục và truy xuất nó sau này.

Tìm nạp câu hỏi chỉ mục và nhận phản hồi

Tìm kiếm chỉ mục thật dễ dàng.

LlamaIndex sẽ nhận được lời nhắc của bạn trong nội bộ, tìm kiếm chỉ mục cho các phần thích hợp, sau đó chuyển cả lời nhắc và các phần thích hợp của bạn tới GPT. Chúng ta có thể thấy rằng bot đã trả lời chính xác truy vấn của chúng ta vì nó đã xác định chính xác tác giả của tài liệu.

Con đường phía trước

Như chúng ta đã thấy ở trên, kết quả đầu ra mà chúng ta nhận được từ bot là chính xác vì nó đã xác định chính xác tác giả của tài liệu. Chúng ta có thể nhập bất kỳ câu hỏi nào liên quan đến công ty hoặc tác giả và bot sẽ trả lời chính xác nhờ thư viện power llama_index.

Các quy trình trên chỉ đơn giản thể hiện cách sử dụng LlamaIndex và GPT ban đầu rất cơ bản để trả lời các câu hỏi. Tuy nhiên, có nhiều hơn nữa bạn có thể làm. Bạn thực sự có thể thiết lập LlamaIndex để sử dụng mô hình ngôn ngữ lớn thay thế (LLM), sử dụng loại chỉ mục khác cho nhiều công việc khác nhau, thay thế chỉ mục hiện có bằng chỉ mục mới, v.v.

Phần kết luận

Bài đăng này đã trình bày cách sử dụng Python và một số công nghệ AI mạnh mẽ để xây dựng trợ lý ảo dựa trên giấy tờ kinh doanh của riêng bạn. Với sự trợ giúp của bot này, bạn có thể trả lời nhanh chóng và chính xác các câu hỏi của khách hàng, tăng cường sự tương tác và dịch vụ khách hàng. Bạn có thể thiết kế một chatbot đáp ứng nhu cầu cụ thể của mình bằng cách cá nhân hóa các câu trả lời của bot dựa trên các nguồn lực đặc biệt của doanh nghiệp bạn.

Những điểm chính rút ra từ bài viết là:

• Chatbots hiện đang nhận được sự quan tâm lớn từ các công ty, doanh nghiệp và nhờ có thư viện đơn giản của Open-AI nên việc tạo chatbot giờ đây trở nên cực kỳ dễ dàng
• Chúng ta cũng có thể huấn luyện chatbot đọc tài liệu được cung cấp và trả lời các truy vấn dựa trên tài liệu
• Những chatbot này có thể giúp doanh nghiệp tiết kiệm chi phí và giúp họ nâng cao hiệu quả.

Các câu hỏi thường gặp