SV FPT “Học tăng cường cho mô hình ngôn ngữ lớn” cùng chuyên gia AI Google

Sinh viên Trường ĐH FPT trải nghiệm nghiên cứu cùng chuyên gia AI qua chương trình Reinforcement Learning (Học tăng cường) cho các mô hình ngôn ngữ (lớn) trong giáo dục với diễn giả -Tiến sĩ ĐH Cambridge, chuyên gia AI Google - Sian Gooding.

SV FPT “Học tăng cường cho mô hình ngôn ngữ lớn” cùng chuyên gia AI Google - ảnh 1

Tiến sĩ ĐH Cambridge, chuyên gia AI Google - Sian Gooding chia sẻ những kiến thức chuyên sâu thực tế về dự án RLHF - Reinforcement Learning from Human Feedback của Google cùng sinh viên Trường Đại học FPT

Tại Talkshow “Reinforcement Learning (Học tăng cường) cho các mô hình ngôn ngữ (lớn) trong giáo dục”, Tiến sĩ ĐH Cambridge, Sian Gooding - chuyên gia AI Google cho biết, chúng ta đang đứng trước những thực trạng bất cập của mô hình ngôn ngữ lớn.

Chẳng hạn như GPT-3 được đào tạo trên một lượng lớn dữ liệu văn bản từ internet và có khả năng tạo ra văn bản giống con người, nhưng không phải lúc nào cũng có khả năng tạo ra đầu ra phù hợp với kỳ vọng của con người hoặc các giá trị mong muốn. Đôi khi các mô hình này thiếu hữu ích khi không bám sát hướng dẫn hoặc yêu cầu của người dùng. Đôi khi có khả năng gây ảo giác, tạo nên sự thật không tồn tại hoặc sai. Đôi khi thiếu khả năng diễn giải khi khiến người dùng khó hiểu làm thế nào mô hình đưa ra nội dung hoặc dự đoán cụ thể. Đôi khi nguy hiểm hơn là khả năng tạo đầu ra sai lệch hoặc độc hại: một mô hình ngôn ngữ được đào tạo về dữ liệu sai lệch/độc hại có thể tái tạo điều đó trong đầu ra, ngay cả khi hệ thống không được hướng dẫn rõ ràng để thực hiện điều đó.

Trước thực trạng bất cập này, dự án nghiên cứu AI của Google ứng dụng Học tăng cường từ phản hồi của con người (RLHF - Reinforcement Learning from Human Feedback) ra đời. RLHF là một kỹ thuật đào tạo các mô hình ngôn ngữ lớn sử dụng phương pháp học tăng cường để trực tiếp tối ưu hóa mô hình ngôn ngữ với phản hồi con người.

Học tăng cường từ phản hồi của con người tập trung vào việc tạo mô hình phần thưởng, lời chú giải của con người cho máy học. Qua đó, có thể nắm bắt các văn bản phức tạp, nhiều sắc thái khó mã hóa bề ngoài thông qua các số liệu. Chia sẻ tại Trường Đại học FPT, Tiến sĩ ĐH Cambridge, chuyên gia AI Google - Sian Gooding cho biết dự án nghiên cứu RLHF của Google thực hiện phân tích các đặc điểm văn bản tương quan với thỏa thuận của người chú thích và có thể ứng dụng mô hình RLHF trong lĩnh vực giáo dục.

SV FPT “Học tăng cường cho mô hình ngôn ngữ lớn” cùng chuyên gia AI Google - ảnh 2

Sinh viên Trường Đại học FPT tích cực hỏi đáp với diễn giả để hiểu sâu hơn về dự án Học tăng cường cho các mô hình ngôn ngữ (lớn) của Google

Chia sẻ sâu hơn về dự án tại Google, diễn giả cho biết Google đào tạo mô hình này bằng cách sử dụng Học tăng cường từ phản hồi của con người (RLHF), sử dụng các phương pháp tương tự như InstructGPT, nhưng có một vài điểm khác biệt trong thiết lập thu thập dữ liệu. Nhóm nghiên cứu đào tạo một mô hình ban đầu bằng cách sử dụng tinh chỉnh có giám sát: những người huấn luyện Al là con người cung cấp các cuộc hội thoại mà họ đóng vai cả hai bên - người dùng và trợ lý Al.

“Chúng tôi cung cấp cho các giảng viên quyền truy cập vào các gợi ý được viết theo mẫu để soạn câu trả lời. Chúng tôi trộn tập dữ liệu hội thoại mới này với tập dữ liệu InstructGPT đã chuyển đổi thành định dạng hội thoại. Để tạo một mô hình phần thưởng cho việc học tăng cường, chúng tôi cần thu thập dữ liệu so sánh, bao gồm hai hoặc nhiều phản hồi mô hình được xếp hạng theo chất lượng. Để thu thập dữ liệu này, chúng tôi thực hiện các cuộc trò chuyện mà người huấn luyện Al đã từng thực hiện với chatbot”, Tiến sĩ Sian Gooding trình bày tại buổi hội thảo.

SV FPT “Học tăng cường cho mô hình ngôn ngữ lớn” cùng chuyên gia AI Google - ảnh 3

Chuyên gia AI Google với những chia sẻ chuyên sâu về dự án nghiên cứu AI Học tăng cường từ phản hồi của con người

Diễn giả cũng cho biết thêm về quy trình của nghiên cứu dự án ứng dụng AI Học tăng cường từ phản hồi của con người gồm Phỏng vấn tận tình nhóm người tham gia; Xác định điểm đau; Thiết kế lại giao diện; Đo lường tương tác của người dùng. Cùng các bước thực hiện: Đào tạo trước mô hình ngôn ngữ mục tiêu; Đào tạo mô hình khen thưởng mục tiêu; Tinh chỉnh với học tăng cường bộ dữ liệu nhắc nhở trạng thái.

Nói về cơ hội các ứng dụng mô hình Học tăng cường từ phản hồi của con người vào giáo dục, Tiến sĩ Sian Gooding cho biết “Các mô hình ngôn ngữ, có khả năng cách mạng hóa ngành giáo dục, mang đến cho sinh viên trải nghiệm học tập cá nhân hóa và hiệu quả”. Có thể bằng cách tích hợp vào nền tảng của họ, các công ty sản phẩm có thể tạo nội dung giáo dục tùy chỉnh phù hợp với nhu cầu, trình độ kỹ năng và sở thích của mỗi học sinh. Để mang lại trải nghiệm học tập tích cực hơn, có thể ứng dụng tính năng đàm thoại với khả năng xử lý ngôn ngữ tự nhiên của mô hình RLHF, tạo điều kiện thuận lợi cho việc học đàm thoại, giúp giáo dục trở nên hấp dẫn và được chủ động hưởng ứng, tương tác hơn từ người học.

Chuỗi Talkshow “AI Research For Educational Technology” là cơ hội để khách mời và sinh viên Trường Đại học FPT phân hiệu TP. HCM được trực tiếp chia sẻ từ các chuyên gia, nhà nghiên cứu:

• Sian Gooding - Tiến sĩ Đại học Cambridge, chuyên gia về AI-NLP xử lý ngôn ngữ tự nhiên, diễn giải và ứng dụng AI cho giáo dục, hiện là Nhà nghiên cứu khoa học về AI tại Google Research với những nghiên cứu đột phá và đóng góp quan trọng cho lĩnh vực Trí tuệ nhân tạo tại Google

• Christopher Bryant - Tiến sĩ Đại học Cambridge, chuyên gia về AI-NLP xử lý ngôn ngữ tự nhiên, hiện là Cộng tác viên nghiên cứu lĩnh vực AI-NLP tại Đại học FPT, đồng thời là Nhà nghiên cứu khoa học tại Đại học Cambridge, Nhà nghiên cứu ứng dụng AI tại Writer Inc

• Nguyễn Hoàng Bảo Nguyên - Tiến sĩ Đại học Cambridge, hiện là Giảng viên - Nghiên cứu viên tại Đại học FPT, đồng thời duy trì các dự án nghiên cứu tại Đại học Cambridge và Đại học Quốc gia Úc

Tin tức mới nhất

MC Tùng Leo lần đầu làm đạo diễn triển lãm nội thất đầu tay cùng kiến trúc sư Naomi Thủy Nguyễn
Tin tức

MC Tùng Leo lần đầu làm đạo diễn triển lãm nội thất đầu tay cùng kiến trúc sư Naomi Thủy Nguyễn

Lần đầu tiên thử sức trong vai trò đạo diễn cho triển lãm nội thất, MC Tùng Leo đã cùng Kiến trúc sư Naomi Thủy Nguyễn tạo nên “Tui - Sắc Màu Cuộc Sống” tại Rose Villa Saigon.

27 phút trước
Cậu bé 17 tuổi mất mẹ, một mình chăm sóc bà ngoại 90 tuổi khiến nhiều người xót xa
Học đường

Cậu bé 17 tuổi mất mẹ, một mình chăm sóc bà ngoại 90 tuổi khiến nhiều người xót xa

2 giờ trước
Cộng đồng chung tay phủ xanh 2,75 Hecta rừng chỉ sau 16 giờ phát động chiến dịch 'Vì Một Việt Nam Hạnh Phúc'
Tin tức

Cộng đồng chung tay phủ xanh 2,75 Hecta rừng chỉ sau 16 giờ phát động chiến dịch "Vì Một Việt Nam Hạnh Phúc"

2 ngày trước
Khởi nghiệp với trà sữa thảo mộc viên nén, nam sinh lên ngôi Quán quân HUTECH Startup Wings 2025
Đời sống

Khởi nghiệp với trà sữa thảo mộc viên nén, nam sinh lên ngôi Quán quân HUTECH Startup Wings 2025

2 ngày trước
Top 300 thí sinh cao điểm nhất tổ hợp A01 thi tốt nghiệp THPT 2025
Học đường

Top 300 thí sinh cao điểm nhất tổ hợp A01 thi tốt nghiệp THPT 2025

3 ngày trước
Gieo mầm xanh hy vọng: Khởi động hành trình 'Vì Một Việt Nam Hạnh Phúc' tại Bản Liền
Tin tức

Gieo mầm xanh hy vọng: Khởi động hành trình "Vì Một Việt Nam Hạnh Phúc" tại Bản Liền

3 ngày trước
Nữ sinh Phú Thọ thủ khoa khối A với 3 điểm 10 được khen 'tài sắc vẹn toàn’
Học đường

Nữ sinh Phú Thọ thủ khoa khối A với 3 điểm 10 được khen 'tài sắc vẹn toàn’

3 ngày trước
Hiệp hội Phát triển Công Nghiệp Văn Hóa Việt Nam khẳng định vai trò kết nối, thúc đẩy kinh tế sáng tạo
Tin tức

Hiệp hội Phát triển Công Nghiệp Văn Hóa Việt Nam khẳng định vai trò kết nối, thúc đẩy kinh tế sáng tạo

5 ngày trước
Ngày vía Bồ tát Quán Thế Âm thành đạo 19.6 âm lịch: Từ bi hỷ xả là gì?
Nhà thông thái

Ngày vía Bồ tát Quán Thế Âm thành đạo 19.6 âm lịch: Từ bi hỷ xả là gì?

6 ngày trước
Ngành y khoa có mức học phí cao nhất, gần 816 triệu đồng năm học 2025-2026
Học đường

Ngành y khoa có mức học phí cao nhất, gần 816 triệu đồng năm học 2025-2026

7 ngày trước
Võ sĩ nhí với tiếng hét uy lực gây sốt mạng
Dễ thương

Võ sĩ nhí với tiếng hét uy lực gây sốt mạng

7 ngày trước
Câu chuyện con trai 'gả mẹ'  đi lấy chồng ở tuổi 53 gây xúc động mạnh
Yêu

Câu chuyện con trai "gả mẹ" đi lấy chồng ở tuổi 53 gây xúc động mạnh

2 tuần trước
Thi tốt nghiệp THPT trên máy tính: Rào cản lớn nhất là sự công bằng
Học đường

Thi tốt nghiệp THPT trên máy tính: Rào cản lớn nhất là sự công bằng

2 tuần trước
Cảnh báo tai biến tập gym: Hiểm họa cho người có bệnh nền và tập theo trend
Sức khỏe

Cảnh báo tai biến tập gym: Hiểm họa cho người có bệnh nền và tập theo trend

2 tuần trước
Điều kiện thực hiện thi tốt nghiệp THPT trên máy tính từ năm 2027
Học đường

Điều kiện thực hiện thi tốt nghiệp THPT trên máy tính từ năm 2027

2 tuần trước