Nội dung chính về mô hình Dessa
Dessa là mô hình giọng nói mới của Block, có thể nghe và nói cùng lúc. Tiếng cười, khoảng ngừng, tiếng khóc và nhịp nói của mô hình gần với con người. Dessa chạy ngay trên thiết bị, lấy kiến thức từ dữ liệu hội thoại và hiện chưa được cung cấp công khai.
Block là công ty của Jack Dorsey. Công ty cho biết Dessa được huấn luyện hoàn toàn bằng tiếng nói của con người trên một bộ xử lý đồ họa NVIDIA. Theo bài viết gốc của TechCrunch, Dessa hoạt động theo cơ chế toàn song công. Mô hình có thể nghe trong khi đang nói như trong một cuộc trò chuyện tự nhiên.
Thay vì dựa vào một mô hình ngôn ngữ lớn để truy xuất kiến thức rồi chuyển văn bản thành giọng nói, Dessa lấy kiến thức từ chính dữ liệu hội thoại dùng để huấn luyện.
Cảm xúc được giữ lại trong giọng nói
Theo Block, kiến trúc chuyển tiếng nói thành tiếng nói của Dessa được thiết kế để giữ lại trạng thái cảm xúc, nhịp điệu và sắc thái mà văn bản không thể truyền tải đầy đủ. Block cho rằng việc chuyển âm thanh đầu vào thành văn bản trước khi tạo câu trả lời là một nguyên nhân khiến nhiều hệ thống giọng nói nghe thiếu tự nhiên.
Một số mô hình như ElevenLabs v4 và Fish Audio Drama 3 dùng thẻ điều khiển để tạo cảm xúc cho lời nói. Block tuyên bố cảm xúc đã được tích hợp vào Dessa, nhưng chưa giải thích liệu mô hình có sử dụng một dạng thẻ tương tự hay không. Điểm khác biệt này đáng chú ý khi AI giọng nói vẫn chưa có bước ngoặt phổ cập như ChatGPT.
Trong các đoạn hội thoại do nhóm nghiên cứu công bố, Dessa sử dụng nhiều chất giọng, nhịp nói và trạng thái cảm xúc. Ở một ví dụ, hệ thống nói rằng mình mệt sau giờ làm và thể hiện sự mệt mỏi trong giọng nói. Trong ví dụ khác, giọng nói gần như nghẹn lại khi trò chuyện về việc người đối diện khiến nó cảm thấy thoải mái. Một thành viên của Block cũng chơi trò chơi cùng trợ lý bằng giọng nói.
Dessa có thể chạy ngay trên máy cá nhân
Block cho biết Dessa có thể hoạt động cục bộ trên máy tính có cấu hình tương đương MacBook M4 Max trở lên. Ragavan Thurairatnam gọi bước tiến này là “thời khắc GPT-3” của công nghệ giọng nói và nhấn mạnh rằng Dessa được huấn luyện hoàn toàn bằng tiếng nói.
Khả năng xử lý trên thiết bị có thể giảm chi phí vận hành và hạn chế nhu cầu gửi toàn bộ hội thoại lên máy chủ từ xa. Cách triển khai này khác với những hệ thống phụ thuộc nhiều vào hạ tầng AI tập trung.
Block chưa mở quyền truy cập công khai
Dessa hiện chưa được cung cấp cho công chúng. Block đang mời các nhà nghiên cứu an toàn kiểm thử mô hình. TechCrunch nhận định đợt kiểm thử này có thể xem xét những tình huống một tác tử giọng nói đánh lừa người ở đầu dây bên kia.
Việc kiểm thử có ý nghĩa trực tiếp với một hệ thống có thể truyền cảm xúc và phản ứng theo thời gian thực. Giọng nói càng giống người, nguy cơ mạo danh, thao túng hoặc khiến người nghe hiểu sai danh tính của đối tượng đang trò chuyện càng cần được đánh giá kỹ.
Dessa có thể phục vụ hoạt động kinh doanh của Block
Dessa có thể được ứng dụng trong các dịch vụ dành cho doanh nghiệp và người tiêu dùng của Block. Square, dịch vụ của công ty dành cho doanh nghiệp nhỏ, đã dùng AI giọng nói để tiếp nhận đơn hàng. Một mô hình chạy trên thiết bị có thể mở rộng cách Block triển khai các tính năng tương tự.
Việc xử lý cục bộ cũng có khả năng giảm chi phí so với chuyển mọi cuộc hội thoại đến hệ thống từ xa. Tuy nhiên, các đoạn trình diễn chỉ cho thấy khả năng biểu đạt của Dessa trong những trường hợp do nhóm phát triển công bố. Hiệu quả thực tế chưa thể được đánh giá đầy đủ trước khi mô hình được mở quyền truy cập và trải qua kiểm thử độc lập.
Hãy tiếp tục theo dõi Sine để cập nhật cách các mô hình giọng nói mới thay đổi việc con người trò chuyện với AI.
