Eleven Realtime giảm phần việc cần thiết để xây dựng và duy trì tác tử giọng nói. ElevenLabs quản lý nhận dạng giọng nói, suy luận, phân lượt hội thoại và tạo giọng nói. Đổi lại, nhà phát triển không thể tự chọn hoặc cấu hình từng mô hình bên dưới, đồng thời bị hạn chế khả năng thay thế và xử lý lỗi riêng cho từng thành phần. Mini phù hợp với nhu cầu phổ biến, còn Max đạt kết quả cao hơn trong các tác vụ suy luận và sử dụng công cụ.
Phát hiện chính
The New Stack nhận định rằng với lần ra mắt này, ElevenLabs đang tiếp quản phần vận hành cốt lõi của tác tử giọng nói. Nhà phát triển bớt phải ghép và bảo trì nhiều thành phần, nhưng mất quyền kiểm soát trực tiếp đối với các mô hình tạo nên hệ thống.
- Max đạt 98,8% trong Big Bench Audio, so với 75,9% của Mini, theo Artificial Analysis.
- Max hoàn thành 87,1% nhiệm vụ dùng công cụ, còn Mini hoàn thành 60,3%.
- Mini đạt 95,8% trong Full-Duplex-Bench, nhỉnh hơn mức 94,1% của Max.
- Max phát âm thanh đầu tiên sau trung bình 570 mili giây, so với 620 mili giây của Mini.
- Mini không hỗ trợ chế độ không lưu giữ dữ liệu hoặc cấu hình HIPAA. Max hỗ trợ hai lựa chọn này tại Mỹ và Liên minh châu Âu.
Nội dung: Eleven Realtime thay đổi cách vận hành tác tử giọng nói
Eleven Realtime cung cấp hai mô hình được quản lý, Mini và Max, trong một kiến trúc nối tầng. ElevenLabs điều phối các thành phần cốt lõi, còn nhóm phát triển vẫn kiểm soát lời nhắc, giọng nói, công cụ, kho kiến thức và một số thiết lập hội thoại.
ElevenLabs tiếp quản bộ khung tác tử giọng nói
ElevenLabs ra mắt Eleven Realtime vào thứ Ba với hai mô hình tác tử giọng nói được quản lý là Mini và Max. Cả hai kết hợp nhận dạng giọng nói, suy luận, phân lượt hội thoại và tạo giọng nói trong một kiến trúc nối tầng.
Thay đổi quan trọng nằm ở quyền kiểm soát. ElevenLabs xử lý việc phát hiện lượt nói, phản ứng khi người dùng ngắt lời và điều phối toàn bộ luồng hoạt động. Cách tiếp cận này giảm khối lượng công việc cần thiết để xây dựng và duy trì hệ thống, nhưng nhà phát triển không thể chọn hoặc cấu hình độc lập các mô hình bên dưới.
Trong ElevenAgents, nhóm phát triển vẫn có thể chỉnh lời nhắc, giọng nói, công cụ, kho kiến thức và các thiết lập phân lượt như mức độ chủ động, thời gian chờ và cách xử lý gián đoạn. Họ kiểm soát hành vi của tác tử, nhưng không kiểm soát từng mô hình tạo ra hành vi đó.
Chế độ tùy chỉnh đi theo hướng ngược lại. Nhà phát triển được chọn mô hình ngôn ngữ, mô hình giọng nói và tự cấu hình đường ống xử lý. Eleven Realtime đổi mức linh hoạt này lấy một hệ thống đã được ElevenLabs quản lý. Sự đánh đổi đó đáng chú ý trong bối cảnh AI giọng nói vẫn chưa đạt tới bước ngoặt phổ cập.
Max vượt Mini về suy luận và sử dụng công cụ
Max đạt kết quả cao hơn Mini trong các phép thử suy luận bằng lời nói và sử dụng công cụ của Artificial Analysis. Khoảng cách lớn nhất nằm ở nhiệm vụ gọi công cụ, nên Max phù hợp hơn với tác tử phải đặt lịch, quản lý tài khoản hoặc hoàn thành quy trình nhiều bước.
| Phép đo | Mini | Max |
|---|---|---|
| Big Bench Audio | 75,9% | 98,8% |
| Nhiệm vụ dùng công cụ | 60,3% | 87,1% |
| Full-Duplex-Bench | 95,8% | 94,1% |
| Thời gian phát âm thanh đầu tiên | 620 mili giây | 570 mili giây |
Artificial Analysis đánh giá Mini và Max dựa trên khả năng suy luận từ lời nói, động lực hội thoại và lựa chọn của con người. Trong Big Bench Audio, bài kiểm tra gồm 1.000 câu hỏi suy luận bằng lời nói, Max đạt 98,8%, còn Mini đạt 75,9%.
Khoảng cách lớn hơn xuất hiện ở nhiệm vụ dùng công cụ. Theo Artificial Analysis, Max hoàn thành 87,1% nhiệm vụ, trong khi Mini đạt 60,3%. ElevenLabs khuyến nghị Max cho những tác tử thường xuyên gọi công cụ hoặc phải thực hiện các lệnh gọi phức tạp. Các nhóm xây tác tử để đặt lịch, quản lý tài khoản khách hàng hoặc hoàn thành quy trình nhiều bước vẫn cần kiểm tra mức chênh lệch này trên công việc thực tế.
ElevenLabs đặt Mini làm lựa chọn mặc định và cho rằng mô hình này đáp ứng được phần lớn trường hợp sử dụng. Mini cũng nhỉnh hơn trong Full-Duplex-Bench, phép thử về khoảng dừng, gián đoạn và phân lượt hội thoại. Artificial Analysis ghi nhận Mini đạt 95,8%, so với 94,1% của Max.
Độ trễ giữa hai mô hình không chênh lệch nhiều
Max phát âm thanh đầu tiên nhanh hơn Mini 50 mili giây trong phép đo của Artificial Analysis. Kết quả này cho thấy khác biệt giữa hai mô hình nằm chủ yếu ở khả năng suy luận và gọi công cụ, thay vì tốc độ phản hồi ban đầu.
Theo phép đo của Artificial Analysis, Max mất trung bình 570 mili giây để phát âm thanh đầu tiên, còn Mini mất 620 mili giây. Chỉ số chuyển đổi lời nói sang lời nói tháng 6 của tổ chức này từng ghi nhận Deepslate Opal đạt 440 mili giây, nhưng bài kiểm tra trước đó không phải là phép so sánh trực tiếp với Eleven Realtime.
Các kết quả chuẩn hóa chưa cho biết Eleven Realtime sẽ duy trì hiệu năng đến đâu khi chịu tải trong môi trường sản xuất. Nhóm triển khai vẫn cần đo độ trễ trên luồng hội thoại, công cụ và hạ tầng thực tế của mình.
Chuyển từ giao diện thời gian thực của OpenAI vẫn cần sửa ứng dụng
Ứng dụng dùng giao diện thời gian thực của OpenAI có thể giữ nguyên bộ công cụ khi chuyển sang Eleven Realtime, nhưng phải thay địa chỉ kết nối và tên mô hình. Ứng dụng dùng WebRTC còn phải chuyển sang WebSocket và tự xử lý âm thanh PCM16 ở tần số 24 kHz.
Theo hướng dẫn chuyển đổi của ElevenLabs, Eleven Realtime dùng cùng giao thức trên cùng phương thức truyền WebSocket. Một ứng dụng xây bằng bộ công cụ của OpenAI có thể chuyển sang ElevenLabs mà không cần đổi bộ công cụ, nhưng phải thay địa chỉ kết nối và tên mô hình.
Việc chuyển đổi không hoàn toàn trực tiếp. Điểm kết nối của Eleven Realtime chỉ hỗ trợ WebSocket, vì vậy ứng dụng đang dùng WebRTC phải đổi phương thức truyền trước. Bộ công cụ chỉ tự xử lý âm thanh khi chạy qua WebRTC. Với WebSocket, nhà phát triển phải tự thu và phát âm thanh PCM16 ở tần số 24 kHz. Một ứng dụng WebRTC hiện được bộ công cụ đảm nhiệm cả hai khâu sẽ phải xây lại chúng khi chuyển sang Eleven Realtime.
Giao diện thời gian thực cũng hoạt động tách biệt với ElevenAgents. Kênh điện thoại, WhatsApp, kho kiến thức và giám sát thuộc phần nền tảng. ElevenLabs cho rằng các nhóm cần những tính năng này nên bắt đầu ngay với ElevenAgents. Nếu dùng giao diện thuần túy để triển khai nhanh, họ có thể phải xây lại các phần tích hợp đó về sau.
Mini và Max có giới hạn vận hành khác nhau
Mini và Max có cùng khả năng chuyển cuộc gọi cho nhau, nhưng khác nhau về lưu giữ dữ liệu, cấu hình HIPAA và phạm vi lưu trú dữ liệu. Vì vậy, lựa chọn mô hình phải dựa trên yêu cầu tuân thủ và khu vực triển khai, không chỉ dựa trên điểm chuẩn.
Theo tài liệu ElevenAgents, tác tử chạy Mini và Max có thể chuyển cuộc gọi cho nhau. Tuy nhiên, cả hai đều không thể chuyển cuộc gọi đến hoặc nhận cuộc gọi từ tác tử chạy ở chế độ tùy chỉnh.
Mini không hỗ trợ chế độ không lưu giữ dữ liệu và cấu hình HIPAA. Max hỗ trợ cả hai tại Mỹ và Liên minh châu Âu, nhưng không có trong các môi trường lưu trú dữ liệu tại Ấn Độ hoặc Singapore. Những giới hạn này liên kết lựa chọn mô hình trực tiếp với yêu cầu tuân thủ và vị trí lưu dữ liệu.
Cả hai mô hình được tính theo mức phí tiêu chuẩn mỗi phút của ElevenAgents, cộng thêm phí mã thông báo. Max có giá mỗi mã thông báo cao hơn. Tuy nhiên, khả năng dùng công cụ tốt hơn có thể khiến Max rẻ hơn đối với công việc mà Mini phải thử nhiều lần mới hoàn thành. Nhóm triển khai cần đo chi phí theo tác vụ hoàn tất thay vì chỉ so sánh phí mã thông báo.
Điều nhà phát triển thực sự từ bỏ
Nhà phát triển bị hạn chế khả năng thay riêng từng thành phần khi chất lượng giảm hoặc chi phí tăng. Họ cũng phụ thuộc nhiều hơn vào dữ liệu chẩn đoán của ElevenLabs khi cuộc gọi thất bại, trong khi mức độ quan sát mà Eleven Realtime cung cấp chưa rõ.
Đây cũng là vấn đề thường gặp khi tác tử tự chọn và sử dụng công cụ thay cho người dùng. Lớp quản lý càng đảm nhiệm nhiều việc, nhóm vận hành càng cần dữ liệu rõ ràng để xác định lỗi phát sinh ở mô hình, công cụ hay luồng điều phối. Các điểm chuẩn của Artificial Analysis cho thấy tiềm năng của Eleven Realtime, nhưng không phản ánh hiệu năng dưới tải sản xuất hoặc khả năng truy tìm nguyên nhân khi một tác vụ hỏng.
The New Stack cho biết ElevenLabs chưa trả lời đề nghị bình luận trước thời điểm bài gốc được xuất bản. Cuộc trao đổi với giám đốc điều hành ElevenLabs cung cấp thêm bối cảnh về hướng phát triển của công ty, nhưng quyết định kỹ thuật vẫn cần dựa trên thử nghiệm bằng chính luồng công việc dự kiến triển khai.
Hãy thử Mini và Max trên một quy trình thật trước khi giao toàn bộ tác tử giọng nói cho ElevenLabs vận hành.
