Văn phòng của Danijar Hafner tại khu SoMa, San Francisco gần như chưa có đồ đạc. Công ty khởi nghiệp mới vẫn hoạt động kín tiếng, chưa có tên trên cửa và chỉ có thêm một người trong văn phòng vào ngày phóng viên đến thăm. Thứ nổi bật nhất là những robot hình người với nhiều kích cỡ, được treo trên các giá chạy dọc không gian.
Theo MIT Technology Review, Hafner đang tiếp tục hướng nghiên cứu lâu năm của mình: giúp trí tuệ nhân tạo hoạt động trong những môi trường chưa từng xuất hiện trong dữ liệu huấn luyện. Các robot hình người nhập từ Trung Quốc là bước phát triển tiếp theo, đưa công trình này từ môi trường mô phỏng ra thế giới vật lý.
Nội dung nghiên cứu: robot ứng phó với điều chưa từng gặp
Một robot được đưa vào nhà riêng không thể trông chờ mọi căn phòng đều giống dữ liệu đã học. Nó phải xử lý được mặt bằng, đồ nội thất và những tình huống chưa từng thấy. Khả năng phản ứng trước hoàn cảnh mới vì thế là điều cần thiết nếu robot muốn làm việc trong không gian của con người.
Hafner theo đuổi phương pháp học tăng cường dựa trên mô hình. Ông xây dựng các mô hình thế giới mô phỏng thực tại vật lý. Sau đó, ông huấn luyện tác tử bên trong các mô hình này. Tác tử coi mô hình như một môi trường thật để học cách hành động và dự đoán kết quả tiếp theo.
Cách tiếp cận này cho phép tác tử, hoặc robot do tác tử điều khiển, xử lý các nhiệm vụ phức tạp mà không cần trải qua quá trình thử sai trực tiếp vốn thường được dùng trong ngành robot. Trong nguyên lý tạo tác phẩm bằng tác tử, tác tử được bàn trong một bối cảnh khác; công trình của Hafner ở đây tập trung vào học tăng cường dựa trên mô hình, mô hình thế giới và khả năng lập kế hoạch.
Từ một thị trấn nông thôn đến phòng nghiên cứu Google
Hafner lớn lên tại một thị trấn nông thôn ở đông bắc Đức. Cha mẹ ông đều là nhạc công cổ điển. Ông học lập trình từ một người hàng xóm, sau đó theo các khóa học trực tuyến về trí tuệ nhân tạo khi còn học trung học.
Hafner cho biết ông luôn bị cuốn hút bởi cách tư duy vận hành. Trí tuệ nhân tạo cho ông một phương tiện để mô phỏng quá trình đó trên máy tính.
Theo MIT Technology Review, năm 2015 Hafner trở thành nhà nghiên cứu sinh viên tại Google Brain. Khi đó, ông đang học năm thứ hai ngành kỹ thuật tại Viện Hasso Plattner ở Potsdam. Sau đó, ông đảm nhiệm khoảng một chục kỳ thực tập và vị trí khác tại Google. Ông từng làm việc với Google Brain và Google DeepMind tại Anh, Canada và Mỹ. Hai đơn vị này về sau được hợp nhất dưới tên DeepMind.
Trong giai đoạn đó, Hafner làm việc cùng Geoffrey Hinton, người thường được gọi là một trong những cha đẻ của trí tuệ nhân tạo, và Ashish Vaswani, đồng tác giả công trình “Attention Is All You Need”. Công trình này mô tả kiến trúc Transformer được sử dụng trong các mô hình ngôn ngữ lớn hiện nay.
Một nhà nghiên cứu thuộc nhóm nổi bật nhất
Timothy Lillicrap, cựu quản lý và đồng tác giả của Hafner tại Google, đánh giá ông thuộc nhóm xuất sắc ngay cả trong một môi trường tập trung nhiều nhà nghiên cứu giỏi.
Theo Timothy Lillicrap, Hafner dễ dàng nằm trong nhóm nửa trên của 1% số nhà nghiên cứu thông minh mà ông từng làm việc cùng tại Google.
Lillicrap còn cho biết trong nhiều trường hợp, Hafner có thể một mình xây dựng những thứ vốn cần cả một đội ngũ kỹ sư thực hiện. Nhận xét này giúp lý giải vì sao các dự án của ông liên tục mở rộng từ thử nghiệm trong trò chơi sang điều khiển robot ngoài đời.
Chuỗi tác tử học cách lập kế hoạch trong trò chơi
Bước đột phá đầu tiên của Hafner là PlaNet, mô hình cho phép tác tử lựa chọn hành động bằng cách lập kế hoạch trước. Sau đó, Dreamer 2 trở thành tác tử đầu tiên đạt năng lực ngang con người trong các trò chơi Atari 2600 bằng một mô hình thế giới.
Dreamer 3 tiếp tục trở thành tác tử đầu tiên hoàn thành thử thách kim cương trong Minecraft. Tác tử này tự khai thác được đá quý trong trò chơi. Dreamer 4 tiến thêm một bước khi học từ tập dữ liệu ngoại tuyến gồm các video ghi lại quá trình chơi. Nó học cách khai thác kim cương mà không trực tiếp tương tác với trò chơi.
Những thử nghiệm này khác với một tác tử lập trình bằng trí tuệ nhân tạo vốn hoạt động chủ yếu với mã nguồn và công cụ phần mềm. Công trình của Hafner tập trung vào khả năng dự đoán diễn biến trong một môi trường, rồi chọn hành động dựa trên những gì tác tử hình dung có thể xảy ra.
Đưa tác tử từ mô phỏng ra đời thực
Gần đây, Hafner bắt đầu chuyển các tác tử từ thế giới ảo sang môi trường vật lý. Dự án DayDreamer sử dụng thuật toán Dreamer để robot tự vận hành trong những môi trường mới và phản ứng trước trải nghiệm chưa được huấn luyện riêng, chẳng hạn khi robot bị đẩy ngã.
Khả năng thích nghi này giải quyết một vấn đề khó của robot. Thế giới thật không ổn định và có nhiều biến số hơn trò chơi. Tác tử phải dự đoán điều sắp xảy ra, điều chỉnh kế hoạch và tiếp tục hành động khi hoàn cảnh thay đổi. Việc đánh giá tác tử trí tuệ nhân tạo vì vậy phải xem xét cách hệ thống phản ứng trước tình huống ngoài dữ liệu quen thuộc.
Công ty khởi nghiệp vẫn chưa tiết lộ tên
Theo MIT Technology Review, Hafner rời Google DeepMind vào mùa thu năm 2025 để thành lập công ty mới. Ở tuổi 31, ông chưa công bố tên doanh nghiệp. Ông cũng chưa mô tả cụ thể sản phẩm sẽ được phát triển. Những robot trong văn phòng cho thấy công trình đang hướng đến việc đưa khả năng lập kế hoạch của tác tử vào các hệ thống vật lý.
Khi nói về mục tiêu tiếp theo, Hafner chỉ tiết lộ rằng ông muốn giải quyết một vấn đề có thể thay đổi thế giới. Chưa có thêm thông tin để xác định vấn đề đó là gì hoặc khi nào sản phẩm đầu tiên sẽ xuất hiện.
Hãy tiếp tục theo dõi Sine để cập nhật hành trình đưa các tác tử biết lập kế hoạch từ mô phỏng vào robot đời thực.
