Hướng dẫn toàn diện về học tăng cường với phản hồi của con người

Các phương pháp kết hợp HF vào RL

Chúng tôi đã khám phá và biết về các loại HF có thể được triển khai trong tác nhân RL. Bây giờ hãy xem cách chúng ta có thể kết hợp các HF này vào tác nhân RL . Một số chiến lược đã được thực hiện và nhiều chiến lược mới đang được đưa ra theo thời gian. Chúng ta hãy khám phá một số cách tiếp cận này một cách ngắn gọn.

Học tập tương tác

Các phương pháp học tập tương tác liên quan đến việc tác nhân học tập tương tác trực tiếp với các chuyên gia hoặc người dùng là con người. Sự tương tác này có thể xảy ra theo nhiều cách khác nhau, chẳng hạn như tác nhân yêu cầu con người cho lời khuyên, làm rõ hoặc sở thích trong khi học. Tác nhân tích cực tìm kiếm phản hồi và điều chỉnh hành vi của mình dựa trên đầu vào. Sơ đồ IRL được hiển thị bên dưới ( src )

• Học tập tích cực: Tác nhân chọn các trường hợp có thông tin hoặc truy vấn con người để lấy phản hồi về các điểm dữ liệu cụ thể nhằm tăng tốc quá trình học tập.
• Học trực tuyến: Tác nhân nhận được phản hồi theo thời gian thực từ con người, liên tục điều chỉnh chính sách của mình dựa trên phản hồi nhận được.

Học bắt chước

Học tập bắt chước, hay học hỏi từ các cuộc biểu tình, đề cập đến việc đạt được một chính sách bằng cách mô phỏng hành vi của chuyên gia. Con người chuyên gia cung cấp quỹ đạo hoặc hành động mẫu và tác nhân có thể bắt chước hành vi đã được chứng minh. Một sơ đồ được hiển thị dưới đây. ( src )

• Nhân bản hành vi: Tác nhân học cách bắt chước hành vi đã được chứng minh bằng cách ánh xạ các quan sát vào hành động. Nó nhằm mục đích phù hợp với nỗ lực của chuyên gia mà không xem xét tín hiệu khen thưởng cơ bản.
• Học tăng cường ngược: Tác nhân suy ra chức năng khen thưởng cơ bản từ các minh chứng của chuyên gia, cho phép nó tìm hiểu chính sách phù hợp với sở thích của chuyên gia.

Kỹ thuật khen thưởng

Kỹ thuật khen thưởng liên quan đến việc sửa đổi tín hiệu khen thưởng để hướng dẫn việc học của tác nhân. Các chuyên gia con người thiết kế các chức năng định hình hoặc cung cấp các phần thưởng bổ sung nhằm khuyến khích hành vi mong muốn hoặc trừng phạt các hành động không mong muốn. Sự tích hợp tổng quát của chức năng khen thưởng được hiển thị dưới đây. ( src )

• Định hình phần thưởng: Phần thưởng đã định hình được thêm vào tín hiệu phần thưởng nội tại của môi trường để cung cấp hướng dẫn bổ sung cho đại lý.
• Mô hình phần thưởng: Các chuyên gia con người lập mô hình rõ ràng chức năng phần thưởng dựa trên sở thích hoặc kiến ​​thức về miền của họ, cho phép tác nhân học hỏi từ mô hình phần thưởng của chuyên gia.

Học tập dựa trên sở thích

Phương pháp học tập dựa trên sở thích bao gồm việc thu thập các so sánh hoặc xếp hạng các hành động hoặc chính sách khác nhau từ người đánh giá. Tác nhân học cách tối ưu hóa hành vi của mình dựa trên các ưu tiên được quan sát. Một sơ đồ được hiển thị dưới đây. ( src )

• So sánh theo cặp: Con người đưa ra các ưu tiên bằng cách so sánh các cặp hành động hoặc chính sách và chỉ ra lựa chọn ưa thích của họ.
• So sánh dựa trên thứ hạng: Con người xếp hạng các lựa chọn khác nhau dựa trên mức độ mong muốn của họ, đưa ra thứ tự hành động hoặc chính sách tương đối.

Phản hồi bằng ngôn ngữ tự nhiên

Điều này cho phép con người giao tiếp bằng cách sử dụng các hướng dẫn, phê bình hoặc giải thích bằng ngôn ngữ tự nhiên với tác nhân học tập. Sau đó, tác nhân sẽ xử lý văn bản đầu vào và điều chỉnh hành vi của nó cho phù hợp. Một sơ đồ được hiển thị dưới đây. ( src )

• Học tăng cường dựa trên văn bản: Tác nhân kết hợp các hướng dẫn hoặc phản hồi bằng ngôn ngữ tự nhiên để hướng dẫn việc ra quyết định.
• Nền tảng ngôn ngữ: Tác nhân học cách liên kết phản hồi bằng văn bản với các trạng thái hoặc hành động cụ thể để hiểu và phản hồi các hướng dẫn của con người.

Bộ sưu tập và chú thích HF

Bây giờ chúng ta có thể hiểu các loại HF và bộ sưu tập HF có hệ thống từ con người và các chuyên gia. Phản hồi được thu thập là vô giá trong việc hiểu hành vi mong muốn, điều chỉnh các chính sách và đẩy nhanh quá trình học tập. Sau khi đầu vào được thu thập, nó sẽ trải qua chú thích tỉ mỉ, bao gồm các hành động, trạng thái, phần thưởng hoặc sở thích được gắn nhãn. Chú thích cung cấp sự trình bày có cấu trúc của phản hồi, giúp thuật toán RL dễ dàng học hỏi từ kiến ​​thức chuyên môn của con người được gói gọn trong dữ liệu. Bằng cách tận dụng phản hồi có chú thích của con người, các tác nhân RL có thể điều chỉnh quy trình ra quyết định của họ sao cho phù hợp với kết quả mong muốn và cải thiện hiệu suất, cuối cùng là thu hẹp khoảng cách giữa ý định của con người và trí thông minh của máy.

Thuật toán cho RLHF

Q-Learning với phản hồi của con người

Q-learning với phản hồi của con người là một cách tiếp cận học tập tăng cường kết hợp với sự hướng dẫn của con người để cải thiện quá trình học tập. Trong Q-learning truyền thống, một tác nhân học bằng cách tương tác với môi trường và cập nhật giá trị Q của nó dựa trên phần thưởng. Tuy nhiên, trong Q-learning với phản hồi của con người, con người cung cấp thông tin bổ sung, chẳng hạn như phần thưởng, lời phê bình hoặc thứ hạng, để hướng dẫn tác nhân học tập. Phản hồi này của con người giúp đẩy nhanh quá trình học tập, giảm thời gian khám phá và tránh những hành động không mong muốn. Tác nhân kết hợp phản hồi của con người với hoạt động khám phá để cập nhật giá trị Q và cải thiện chính sách của mình. Q-learning với phản hồi của con người cho phép học tập hiệu quả và hiệu quả hơn bằng cách tận dụng kiến ​​thức chuyên môn và sở thích của con người.

Dưới đây là đoạn mã về cách bạn có thể thực hiện Q-learning với HF.

Học nghề

Học tập là một kỹ thuật trong học máy cho phép một tác nhân học hỏi từ các minh chứng của chuyên gia. Ngược lại với học tăng cường truyền thống, trong đó tác nhân học thông qua thử và sai, học tập tập trung vào việc bắt chước hành vi của các chuyên gia con người. Quan sát các màn trình diễn của chuyên gia, tác nhân suy ra chức năng hoặc chính sách khen thưởng cơ bản và nhằm mục đích tái tạo hành vi đã được chứng minh. Cách tiếp cận này là công cụ trong các lĩnh vực phức tạp, nơi có thể khó xác định rõ ràng chức năng khen thưởng. Học tập trong quá trình học nghề cho phép các tác nhân học hỏi từ kiến ​​thức và chuyên môn tích lũy của con người, tạo điều kiện cho việc học tập hiệu quả và chất lượng cao.

Dưới đây là ví dụ về mã Python dành cho Học nghề bằng thuật toán Học tăng cường nghịch đảo (IRL).

Học tăng cường sâu với phản hồi của con người

Học tăng cường sâu (DRL) với phản hồi của con người kết hợp các kỹ thuật học sâu với học tăng cường và hướng dẫn của con người. Cách tiếp cận này sử dụng mạng lưới thần kinh sâu như một công cụ xấp xỉ hàm để học hỏi từ môi trường và phản hồi của con người. Phản hồi của con người có thể được cung cấp dưới nhiều hình thức khác nhau, chẳng hạn như trình diễn, định hình phần thưởng, phê bình hoặc xếp hạng ưu tiên. Mạng sâu, thường là mạng Q sâu (DQN), được đào tạo để tối ưu hóa chính sách của nó bằng cách tích hợp các phần thưởng môi trường và tín hiệu phản hồi của con người. Sự kết hợp giữa kiến ​​thức chuyên môn của con người và học tập tăng cường sâu này cho phép các tác nhân tận dụng sức mạnh của mạng lưới thần kinh sâu đồng thời hưởng lợi từ hướng dẫn và kiến ​​thức do con người đánh giá cung cấp, dẫn đến việc học tập hiệu quả hơn và cải thiện hiệu suất trong các môi trường phức tạp.

Dưới đây là ví dụ về mã Python cho Học tăng cường sâu với phản hồi của con người bằng thuật toán Deep Q-Network (DQN).

Phương pháp tìm kiếm chính sách Kết hợp phản hồi của con người

 Các phương pháp tìm kiếm chính sách kết hợp phản hồi của con người nhằm mục đích tối ưu hóa chính sách của tác nhân học tập tăng cường bằng cách tận dụng chuyên môn của con người. Các phương pháp này liên quan đến việc cập nhật lặp đi lặp lại phương pháp tiếp cận dựa trên các tín hiệu phản hồi của con người như trình diễn, phê bình hoặc sở thích. Một mô hình tham số, thường thể hiện chính sách và phản hồi của con người, hướng dẫn khám phá và khai thác không gian chính sách. Ngoài ra, bằng cách kết hợp phản hồi của con người, chúng tôi có thể tăng tốc việc tìm hiểu các phương pháp tìm kiếm chính sách, cải thiện hiệu quả mẫu và điều chỉnh hành vi của tác nhân theo sở thích của con người. Sự kết hợp giữa tìm kiếm chính sách và phản hồi của con người cho phép tác nhân được hưởng lợi từ kiến ​​thức phong phú và hướng dẫn mà người đánh giá con người cung cấp. Do đó, dẫn đến tối ưu hóa chính sách hiệu quả và đáng tin cậy hơn.

Dưới đây là ví dụ về mã Python cho phương pháp Tìm kiếm chính sách kết hợp Phản hồi của con người

Học tăng cường dựa trên mô hình với phản hồi của con người

 Học tăng cường dựa trên mô hình với phản hồi của con người bao gồm việc kết hợp hướng dẫn và chuyên môn của con người vào tòa nhà và sử dụng mô hình môi trường đã học. Cách tiếp cận này kết hợp các kỹ thuật RL dựa trên mô hình với phản hồi của con người, chẳng hạn như trình diễn hoặc phê bình, để cải thiện độ chính xác và khả năng khái quát hóa của mô hình đã học. Chúng tôi có thể sử dụng phản hồi của con người để tinh chỉnh các dự đoán của mô hình và hướng dẫn quá trình ra quyết định của tác nhân. Ngoài ra, bằng cách tận dụng kiến ​​thức của con người và RL dựa trên mô hình với phản hồi của con người, chúng tôi có thể nâng cao hiệu quả mẫu, tăng tốc quá trình học tập và cho phép tối ưu hóa chính sách tốt hơn. Sự tích hợp phản hồi của con người trong khuôn khổ RL dựa trên mô hình này cho phép các tác nhân tận dụng thế mạnh về chuyên môn của con người và các mô hình đã học. Do đó, dẫn đến việc ra quyết định hiệu quả và mạnh mẽ hơn trong môi trường phức tạp.

Đây là một ví dụ về mã Python cho Học tăng cường dựa trên mô hình với phản hồi của con người.

Những thách thức của RLHF

Chúng ta phải giải quyết những thách thức mà Học tăng cường với phản hồi của con người đưa ra để tích hợp và sử dụng sự hướng dẫn của con người một cách hiệu quả. Một số thách thức chính bao gồm:

1. Chất lượng phản hồi và tính nhất quán: Phản hồi của con người có thể chủ quan và không nhất quán, khiến việc diễn giải và sử dụng hiệu quả trở nên khó khăn. Những người khác nhau có thể có những sở thích khác nhau, dẫn đến những hướng dẫn trái ngược nhau. Đảm bảo phản hồi chất lượng cao và đáng tin cậy trở nên quan trọng để đào tạo các mô hình học tăng cường chính xác và mạnh mẽ.
2. Khả năng mở rộng và chi phí: Việc thu thập và chú thích phản hồi của con người có thể tốn nhiều tài nguyên, thời gian và chi phí. Khi độ phức tạp của các nhiệm vụ và môi trường tăng lên, việc thu thập phản hồi đầy đủ và đa dạng trở nên khó khăn hơn, đặc biệt là với các hệ thống quy mô lớn hoặc thời gian thực.
3. Đánh đổi giữa khám phá và khai thác: Cân bằng giữa khám phá và khai thác trong học tập tăng cường là rất quan trọng để học các chính sách tối ưu. Việc kết hợp phản hồi của con người mà không làm suy yếu hoạt động khám phá sẽ trở thành một thách thức. Việc phụ thuộc quá nhiều vào sự hướng dẫn của con người có thể hạn chế khả năng khám phá và khám phá các giải pháp mới của tác nhân.
4. Khái quát hóa và chuyển giao học tập: Phản hồi của con người thường cụ thể đối với một nhiệm vụ hoặc môi trường cụ thể. Việc khái quát hóa hướng dẫn của con người đối với các tình huống hoặc lĩnh vực mới trở nên không hề đơn giản. Việc đảm bảo rằng các chính sách và mô hình đã học có thể chuyển tải kiến ​​thức từ bối cảnh này sang bối cảnh khác là một thách thức đáng kể.
5. Tính chủ quan và thiên vị: Phản hồi của con người có thể mang tính chủ quan và bị ảnh hưởng bởi sở thích cá nhân, thành kiến ​​hoặc các yếu tố phụ thuộc vào bối cảnh. Giải quyết sự thiên vị trong phản hồi và đảm bảo tính công bằng và toàn diện trở thành những cân nhắc thiết yếu.
6. Phản hồi chậm trễ và phản hồi không nhất quán: Việc nhận được phản hồi theo thời gian thực từ con người có thể không phải lúc nào cũng khả thi. Sự chậm trễ phản hồi có thể cản trở quá trình học tập, đặc biệt là trong môi trường năng động. Ngoài ra, sự không nhất quán hoặc phản hồi thay đổi theo thời gian có thể thách thức việc duy trì sự mạch lạc của chính sách.

Hiểu được những hạn chế và thành kiến ​​tiềm ẩn của phản hồi của con người là rất quan trọng để tích hợp thực tế vào các hệ thống học tập tăng cường.

Ứng dụng của RLHF

Học tăng cường với phản hồi của con người đã tìm thấy các ứng dụng trong nhiều lĩnh vực khác nhau, nơi sự hướng dẫn và kiến ​​thức chuyên môn của con người có giá trị để nâng cao quá trình học tập và cải thiện hiệu suất của các hệ thống thông minh. Một số lĩnh vực phổ biến mà bạn có thể tìm thấy các ứng dụng của học tăng cường với phản hồi của con người bao gồm:

1. Robotics: Thứ nhất, người ta có thể sử dụng Học tăng cường với phản hồi của con người trong robot cho các nhiệm vụ như thao tác robot, nắm bắt vật thể và vận động. Các chuyên gia về con người có thể đưa ra những minh chứng hoặc phê bình để hướng dẫn robot học tập và cải thiện hiệu suất của nó trong môi trường thế giới thực.
2. Chơi trò chơi: Ngoài ra, chúng ta có thể sử dụng phương pháp học tăng cường với phản hồi của con người để đào tạo các tác nhân chơi trò chơi . Các chuyên gia về con người có thể cung cấp các minh chứng hoặc xếp hạng để nâng cao khả năng ra quyết định, chiến lược và cách chơi tổng thể của tác nhân.
3. Xe tự hành: Người ta có thể áp dụng Học tăng cường với phản hồi của con người vào hệ thống xe tự hành. Phản hồi của con người có thể giúp huấn luyện phương tiện điều hướng các tình huống giao thông phức tạp, cải thiện độ an toàn và xử lý các tình huống lái xe đầy thử thách.
4. Hệ thống đối thoại: Ngoài ra, chúng ta có thể đào tạo các tác nhân đàm thoại để đào tạo bằng cách sử dụng phương pháp học tăng cường với phản hồi của con người trong hệ thống đối thoại và xử lý ngôn ngữ tự nhiên . Đánh giá, phê bình hoặc sở thích của con người có thể hướng dẫn phản hồi của tác nhân, cải thiện tính mạch lạc của cuộc đối thoại và nâng cao sự hài lòng của người dùng.
5. Chăm sóc sức khỏe: Hơn nữa, chúng ta có thể khám phá Học tăng cường bằng phản hồi của con người trong các ứng dụng chăm sóc sức khỏe , chẳng hạn như lập kế hoạch điều trị cá nhân hóa, chẩn đoán y tế và khám phá thuốc. Phản hồi của con người có thể hỗ trợ tối ưu hóa các quyết định điều trị và cải thiện kết quả của bệnh nhân.
6. Hệ thống đề xuất: Cuối cùng, chúng tôi có thể sử dụng phương pháp học tăng cường bằng phản hồi của con người trong hệ thống đề xuất để tìm hiểu sở thích của người dùng và đưa ra các đề xuất được cá nhân hóa. Phản hồi của con người dưới dạng xếp hạng, đánh giá hoặc tùy chọn rõ ràng có thể hướng dẫn hệ thống đưa ra đề xuất chính xác và phù hợp hơn.

Đây chỉ là một vài ví dụ và các ứng dụng của học tăng cường với phản hồi của con người đang mở rộng trên nhiều lĩnh vực khác nhau, bao gồm giáo dục , tài chính , nhà thông minh, v.v.

ChatGPT: Câu chuyện thành công ở RLHF

Hãy nhớ cách chúng tôi bắt đầu với ChatGPT? Bây giờ chúng ta đã hoàn toàn hiểu tất cả các khái niệm liên quan đến RLHF, hãy bắt tay vào học tập ngày hôm nay và hoàn thành việc hiểu cách ChatGPT hoạt động! Thật thú vị phải không?

Mô hình ngôn ngữ lớn (LLM) ban đầu trải qua quá trình đào tạo không giám sát trên lượng lớn dữ liệu văn bản để hiểu các mẫu ngôn ngữ. Giới thiệu RLHF để giải quyết các hạn chế như đầu ra chất lượng thấp và không liên quan. Điều này liên quan đến việc đào tạo mô hình khen thưởng bằng cách sử dụng những người đánh giá con người xếp hạng văn bản do LLM tạo dựa trên chất lượng. Mô hình phần thưởng dự đoán những điểm số này, nắm bắt được sở thích của con người. Trong vòng phản hồi, LLM hoạt động như một tác nhân RL, nhận lời nhắc và tạo văn bản, sau đó mô hình phần thưởng sẽ đánh giá. LLM cập nhật kết quả đầu ra dựa trên điểm thưởng cao hơn, cải thiện hiệu suất thông qua học tập tăng cường. RLHF tăng cường LLM bằng cách kết hợp phản hồi của con người và tối ưu hóa kết quả đầu ra văn bản.

Dưới đây là sơ đồ về cách hoạt động của ChatGPT.

Phần kết luận

Học tăng cường (RL) là một kỹ thuật học máy trong đó tác nhân biết đưa ra quyết định bằng cách tương tác với môi trường và nhận phản hồi dưới dạng phần thưởng hoặc hình phạt. Hiện tại, quá trình khám phá RL có thể diễn ra chậm và do đó, người ta mong muốn cải thiện nó bằng cách bổ sung thêm Yếu tố con người (HF). Bạn có thể kết hợp các HF này theo nhiều cách với thuật toán RL. Sau khi thu thập phản hồi, bạn phải chú thích đầy đủ và gắn nhãn nó là hành động, trạng thái và phần thưởng.

Do đó, một số thuật toán RLHF được thiết kế cho mục đích đó: Q-Learning với HF, Học nghề, DRL với HF và RL dựa trên mô hình với HF. Mặc dù có vẻ như việc bao gồm HF sẽ giải quyết được tất cả các vấn đề và hiện tại các mô hình RL của chúng tôi phải hoàn hảo nhưng vẫn tồn tại những thách thức tương tự, thách thức lớn nhất là chất lượng phản hồi, tính nhất quán và sai lệch trong phản hồi.

Những điểm chính rút ra từ blog bao gồm:

• Hiểu biết về tất cả các thuật ngữ quan trọng trong RL và cách tác nhân, môi trường, hành động và phần thưởng tương tác với nhau để giúp đạt được kết quả tối ưu
• Tại sao chúng ta cần Phản hồi của con người về Rl và cách nó cải thiện đầu ra của mô hình
• Các loại HF khác nhau, cụ thể là định hình phần thưởng, trình diễn, phê bình và lời khuyên, xếp hạng và ưu tiên cũng như khả năng sử dụng của chúng
• Các thuật toán cho RLHF và mã Python tương ứng
• Những thách thức của RLHF
• Ứng dụng của RLHF
• Hiểu biết về hoạt động của ChatGPT và cách nó kết hợp RLHF vào kiến ​​trúc của nó

Các câu hỏi thường gặp