Tiến sĩ ĐH Cambridge, chuyên gia AI Google - Sian Gooding chia sẻ những kiến thức chuyên sâu thực tế về dự án RLHF - Reinforcement Learning from Human Feedback của Google cùng sinh viên Trường Đại học FPT
Tại Talkshow “Reinforcement Learning (Học tăng cường) cho các mô hình ngôn ngữ (lớn) trong giáo dục”, Tiến sĩ ĐH Cambridge, Sian Gooding - chuyên gia AI Google cho biết, chúng ta đang đứng trước những thực trạng bất cập của mô hình ngôn ngữ lớn.
Chẳng hạn như GPT-3 được đào tạo trên một lượng lớn dữ liệu văn bản từ internet và có khả năng tạo ra văn bản giống con người, nhưng không phải lúc nào cũng có khả năng tạo ra đầu ra phù hợp với kỳ vọng của con người hoặc các giá trị mong muốn. Đôi khi các mô hình này thiếu hữu ích khi không bám sát hướng dẫn hoặc yêu cầu của người dùng. Đôi khi có khả năng gây ảo giác, tạo nên sự thật không tồn tại hoặc sai. Đôi khi thiếu khả năng diễn giải khi khiến người dùng khó hiểu làm thế nào mô hình đưa ra nội dung hoặc dự đoán cụ thể. Đôi khi nguy hiểm hơn là khả năng tạo đầu ra sai lệch hoặc độc hại: một mô hình ngôn ngữ được đào tạo về dữ liệu sai lệch/độc hại có thể tái tạo điều đó trong đầu ra, ngay cả khi hệ thống không được hướng dẫn rõ ràng để thực hiện điều đó.
Trước thực trạng bất cập này, dự án nghiên cứu AI của Google ứng dụng Học tăng cường từ phản hồi của con người (RLHF - Reinforcement Learning from Human Feedback) ra đời. RLHF là một kỹ thuật đào tạo các mô hình ngôn ngữ lớn sử dụng phương pháp học tăng cường để trực tiếp tối ưu hóa mô hình ngôn ngữ với phản hồi con người.
Học tăng cường từ phản hồi của con người tập trung vào việc tạo mô hình phần thưởng, lời chú giải của con người cho máy học. Qua đó, có thể nắm bắt các văn bản phức tạp, nhiều sắc thái khó mã hóa bề ngoài thông qua các số liệu. Chia sẻ tại Trường Đại học FPT, Tiến sĩ ĐH Cambridge, chuyên gia AI Google - Sian Gooding cho biết dự án nghiên cứu RLHF của Google thực hiện phân tích các đặc điểm văn bản tương quan với thỏa thuận của người chú thích và có thể ứng dụng mô hình RLHF trong lĩnh vực giáo dục.
Sinh viên Trường Đại học FPT tích cực hỏi đáp với diễn giả để hiểu sâu hơn về dự án Học tăng cường cho các mô hình ngôn ngữ (lớn) của Google
Chia sẻ sâu hơn về dự án tại Google, diễn giả cho biết Google đào tạo mô hình này bằng cách sử dụng Học tăng cường từ phản hồi của con người (RLHF), sử dụng các phương pháp tương tự như InstructGPT, nhưng có một vài điểm khác biệt trong thiết lập thu thập dữ liệu. Nhóm nghiên cứu đào tạo một mô hình ban đầu bằng cách sử dụng tinh chỉnh có giám sát: những người huấn luyện Al là con người cung cấp các cuộc hội thoại mà họ đóng vai cả hai bên - người dùng và trợ lý Al.
“Chúng tôi cung cấp cho các giảng viên quyền truy cập vào các gợi ý được viết theo mẫu để soạn câu trả lời. Chúng tôi trộn tập dữ liệu hội thoại mới này với tập dữ liệu InstructGPT đã chuyển đổi thành định dạng hội thoại. Để tạo một mô hình phần thưởng cho việc học tăng cường, chúng tôi cần thu thập dữ liệu so sánh, bao gồm hai hoặc nhiều phản hồi mô hình được xếp hạng theo chất lượng. Để thu thập dữ liệu này, chúng tôi thực hiện các cuộc trò chuyện mà người huấn luyện Al đã từng thực hiện với chatbot”, Tiến sĩ Sian Gooding trình bày tại buổi hội thảo.
Chuyên gia AI Google với những chia sẻ chuyên sâu về dự án nghiên cứu AI Học tăng cường từ phản hồi của con người
Diễn giả cũng cho biết thêm về quy trình của nghiên cứu dự án ứng dụng AI Học tăng cường từ phản hồi của con người gồm Phỏng vấn tận tình nhóm người tham gia; Xác định điểm đau; Thiết kế lại giao diện; Đo lường tương tác của người dùng. Cùng các bước thực hiện: Đào tạo trước mô hình ngôn ngữ mục tiêu; Đào tạo mô hình khen thưởng mục tiêu; Tinh chỉnh với học tăng cường bộ dữ liệu nhắc nhở trạng thái.
Nói về cơ hội các ứng dụng mô hình Học tăng cường từ phản hồi của con người vào giáo dục, Tiến sĩ Sian Gooding cho biết “Các mô hình ngôn ngữ, có khả năng cách mạng hóa ngành giáo dục, mang đến cho sinh viên trải nghiệm học tập cá nhân hóa và hiệu quả”. Có thể bằng cách tích hợp vào nền tảng của họ, các công ty sản phẩm có thể tạo nội dung giáo dục tùy chỉnh phù hợp với nhu cầu, trình độ kỹ năng và sở thích của mỗi học sinh. Để mang lại trải nghiệm học tập tích cực hơn, có thể ứng dụng tính năng đàm thoại với khả năng xử lý ngôn ngữ tự nhiên của mô hình RLHF, tạo điều kiện thuận lợi cho việc học đàm thoại, giúp giáo dục trở nên hấp dẫn và được chủ động hưởng ứng, tương tác hơn từ người học.
Chuỗi Talkshow “AI Research For Educational Technology” là cơ hội để khách mời và sinh viên Trường Đại học FPT phân hiệu TP. HCM được trực tiếp chia sẻ từ các chuyên gia, nhà nghiên cứu:
• Sian Gooding - Tiến sĩ Đại học Cambridge, chuyên gia về AI-NLP xử lý ngôn ngữ tự nhiên, diễn giải và ứng dụng AI cho giáo dục, hiện là Nhà nghiên cứu khoa học về AI tại Google Research với những nghiên cứu đột phá và đóng góp quan trọng cho lĩnh vực Trí tuệ nhân tạo tại Google
• Christopher Bryant - Tiến sĩ Đại học Cambridge, chuyên gia về AI-NLP xử lý ngôn ngữ tự nhiên, hiện là Cộng tác viên nghiên cứu lĩnh vực AI-NLP tại Đại học FPT, đồng thời là Nhà nghiên cứu khoa học tại Đại học Cambridge, Nhà nghiên cứu ứng dụng AI tại Writer Inc
• Nguyễn Hoàng Bảo Nguyên - Tiến sĩ Đại học Cambridge, hiện là Giảng viên - Nghiên cứu viên tại Đại học FPT, đồng thời duy trì các dự án nghiên cứu tại Đại học Cambridge và Đại học Quốc gia Úc
