PrismML đưa LLM siêu nhỏ lên kính Qualcomm

PrismML đã đưa mô hình Bonsai 1 bit, 2 tỷ tham số lên kính thông minh dùng Snapdragon AR1. Mô hình chạy cục bộ, nhưng chưa có sản phẩm thương mại nào được công bố.

Kính thông minh chạy mô hình ngôn ngữ PrismML trên nền tảng Snapdragon
PrismML đưa mô hình Bonsai lên kính thông minh dùng Snapdragon.

PrismML đã đưa Bonsai, mô hình ngôn ngữ 1 bit có 2 tỷ tham số, lên kính thông minh sử dụng nền tảng Snapdragon AR1 thế hệ thứ nhất của Qualcomm. Mô hình chạy trực tiếp trên thiết bị, xử lý cả hình ảnh lẫn ngôn ngữ và cho phép người đeo đặt câu hỏi về những gì họ đang nhìn thấy. Hiện chưa có mẫu kính thương mại nào dùng PrismML được công bố.

PrismML là phòng nghiên cứu trí tuệ nhân tạo do các nhà nghiên cứu tại Caltech thành lập. Theo TechCrunch, Ion Stoica của Đại học California, Berkeley là cố vấn của tổ chức này.

Mô hình Bonsai và nội dung trình diễn trên kính

Qualcomm đã trình diễn Bonsai trên kính thông minh trí tuệ nhân tạo dùng Snapdragon AR1 tại Snapdragon Summit. Phiên bản này chạy cục bộ thay vì gửi mọi yêu cầu đến hệ thống điện toán từ xa, qua đó sử dụng năng lực xử lý có sẵn trên thiết bị.

Bonsai dành cho kính thông minh có 2 tỷ tham số và sử dụng kiến trúc 1 bit. Mô hình được tinh chỉnh để xử lý hình ảnh và ngôn ngữ, cho phép người đeo đặt câu hỏi theo thời gian thực về cảnh vật trước mắt. TechCrunch là nguồn công bố các thông số và nội dung trình diễn này.

Mô hình Bonsai của PrismML hoạt động trên kính dùng chip Qualcomm
Bonsai xử lý hình ảnh và ngôn ngữ ngay trên kính.

PrismML thu nhỏ mô hình Bonsai ra sao?

Trong trường hợp được TechCrunch ghi nhận, PrismML giảm kích thước mô hình xuống 4 lần so với mô hình lớn hơn nhưng vẫn giữ gần như toàn bộ hiệu năng trên các bộ đánh giá tiêu chuẩn. Nguồn tin không nêu điểm số cụ thể của từng phép đánh giá.

PrismML muốn mô hình hoạt động ngay trên thiết bị và tận dụng năng lực xử lý hiện có. Cách triển khai này liên quan trực tiếp đến việc tổ chức phần cứng, mô hình và các thành phần của hạ tầng trí tuệ nhân tạo để phục vụ ứng dụng mà không phải chuyển mọi yêu cầu tới hệ thống từ xa.

PrismML hướng tới trí tuệ nhân tạo trọng số mở

PrismML đặt mục tiêu phát triển các mô hình trọng số mở có thể chạy trên thiết bị cá nhân. Công ty xem cách tiếp cận này là một lựa chọn thay cho mô hình đóng, đặc biệt với các ứng dụng cần xử lý dữ liệu trên thiết bị và hạn chế phụ thuộc vào năng lực tính toán từ xa.

Hướng phát triển của PrismML nằm trong cuộc tranh luận rộng hơn về trí tuệ nhân tạo mở hay đóng. Tuy nhiên, thông tin hiện có chỉ xác nhận Bonsai đã chạy trên nền tảng chip của Qualcomm. Đây chưa phải thông báo về một sản phẩm kính hoàn chỉnh dành cho người dùng.

Đã có kính thông minh PrismML trên thị trường chưa?

Chưa có mẫu kính thông minh chạy PrismML nào được công bố. Màn trình diễn tại Snapdragon Summit xác nhận Bonsai có thể hoạt động trên Snapdragon AR1 thế hệ thứ nhất, nhưng chưa xác định nhà sản xuất kính, thời điểm thương mại hóa hoặc sản phẩm sẽ sử dụng mô hình.

Việc hỗ trợ Snapdragon là một bước kỹ thuật trong kế hoạch đưa mô hình PrismML xuống thiết bị cá nhân. Thông tin hiện có không cho thấy người dùng đã có thể mua kính dùng Bonsai hoặc cài mô hình này trên một mẫu kính thương mại.

Hãy tiếp tục theo dõi sine.vn để cập nhật khi kính thông minh dùng PrismML được công bố chính thức.