Nội dung chính
Thiết kế hệ thống phục vụ AI bền vững bắt đầu từ tải công việc, không phải từ mô hình. Doanh nghiệp cần xác định yêu cầu về độ trễ, số yêu cầu đồng thời, bộ nhớ và chi phí. Sau đó, doanh nghiệp đo điểm nghẽn trước khi tối ưu. Kiến trúc cũng phải đủ linh hoạt để thay đổi mô hình hoặc phần cứng mà không phải xây lại toàn bộ nền tảng.
Vai trò của hệ thống phục vụ
Lợi thế cạnh tranh tiếp theo của trí tuệ nhân tạo trong doanh nghiệp có thể không còn phụ thuộc chủ yếu vào việc chọn mô hình nào. Yếu tố tạo khác biệt nằm ở hệ thống được xây dựng xung quanh mô hình để đưa năng lực đó vào hoạt động thực tế. Nhận định này được trình bày trong bài viết của MIT Technology Review, do EXL thực hiện và không thuộc nội dung do ban biên tập MIT Technology Review viết.
Phần lớn thảo luận về trí tuệ nhân tạo tập trung vào năng lực mô hình, gồm khả năng suy luận, cửa sổ ngữ cảnh và kết quả điểm chuẩn. Khi công nghệ chuyển từ thử nghiệm sang sản xuất, câu hỏi của lãnh đạo doanh nghiệp thay đổi. Doanh nghiệp không chỉ cần biết mô hình làm được gì. Họ còn phải xác định liệu năng lực đó có thể được cung cấp ổn định, tiết kiệm và ở quy mô cần thiết hay không.
Câu trả lời phụ thuộc vào hệ thống phục vụ bao quanh mô hình. Hệ thống này gồm kiến trúc, quản lý bộ nhớ, lập lịch và các quyết định tối ưu hóa. Những thành phần đó biến năng lực của mô hình thành một dịch vụ có thể vận hành. Đây cũng là phần cốt lõi của hạ tầng trí tuệ nhân tạo. Tại đó, tài nguyên tính toán, dữ liệu và phần mềm phải phối hợp theo yêu cầu của ứng dụng.
Bắt đầu từ tải công việc, không phải mô hình
Tải công việc phải quyết định cách chọn mô hình và kiến trúc phục vụ. Một hệ thống phù hợp cần đáp ứng đúng yêu cầu về tốc độ, lưu lượng, bộ nhớ và chi phí của ứng dụng. Không có một mô hình hoặc kiến trúc tốt nhất cho mọi trường hợp, chỉ có giải pháp phù hợp với bài toán kinh doanh cụ thể.
Một trợ lý phục vụ khách hàng cần phản hồi nhanh có yêu cầu khác với dây chuyền xử lý tài liệu có thể chạy qua đêm. Ứng dụng tra cứu tri thức nội bộ và nền tảng chăm sóc khách hàng có lưu lượng lớn có thể dùng cùng một mô hình nền tảng, nhưng cần kiến trúc phục vụ khác nhau.
Tải công việc xác định các giới hạn, và những giới hạn đó phải dẫn dắt lựa chọn kiến trúc. Cách tiếp cận này khác với nhiều dự án thử nghiệm ban đầu, khi độ chính xác của mô hình thường chi phối phần lớn cuộc thảo luận.
Các ràng buộc khi vận hành
Khi đưa hệ thống vào sản xuất, doanh nghiệp phải xử lý nhiều yếu tố dễ bị bỏ qua khi chỉ có ít người dùng. Các yếu tố này gồm độ trễ, số yêu cầu đồng thời, áp lực bộ nhớ, mức sử dụng bộ xử lý đồ họa, chi phí hạ tầng và lưu lượng khó dự đoán.
Một mô hình tạo câu trả lời tốt hơn đôi chút chưa chắc là lựa chọn phù hợp nếu nó làm chi phí suy luận tăng gấp đôi hoặc không đáp ứng yêu cầu về độ trễ. Không phải tải công việc nào cũng cần phương án mạnh nhất. Lựa chọn hợp lý có thể là mô hình đáp ứng đúng mức hiệu năng doanh nghiệp cần mà không buộc tổ chức trả tiền cho năng lực không được sử dụng.
Mục tiêu là triển khai mức năng lực phù hợp với chi phí phù hợp. Vì vậy, kiến trúc phục vụ không chỉ là vấn đề kỹ thuật. Đây còn là quyết định đầu tư về nơi cần chi cho tài nguyên tính toán, nơi nên tối ưu và nơi năng lực bổ sung của mô hình không tạo đủ giá trị để bù lại chi phí.
Thiết kế toàn hệ thống thay vì chỉ tập trung vào mô hình
Hệ thống phục vụ AI phải được thiết kế như một tập hợp thành phần phụ thuộc lẫn nhau. Kiến trúc, bộ nhớ, số yêu cầu đồng thời, cách gom nhóm và lập lịch đều ảnh hưởng đến độ trễ, mức sử dụng bộ xử lý đồ họa và chi phí. Tối ưu một thành phần riêng lẻ có thể không cải thiện hiệu năng chung.
Khi trí tuệ nhân tạo đi vào sản xuất, các quyết định kỹ thuật tưởng như tách biệt bắt đầu tác động lẫn nhau. Kiến trúc phục vụ ảnh hưởng đến mức sử dụng bộ nhớ. Quản lý bộ nhớ ảnh hưởng đến số yêu cầu đồng thời. Số yêu cầu đồng thời định hình cách gom nhóm và lập lịch, còn lập lịch tác động đến độ trễ và mức sử dụng bộ xử lý đồ họa.
Các kỹ thuật như lượng tử hóa, giải mã suy đoán hoặc cơ chế chú ý được tối ưu chỉ phát huy đầy đủ giá trị khi hệ thống xử lý đúng những quan hệ phụ thuộc này. Nếu không xác định được giới hạn chính, doanh nghiệp có thể chi thêm đáng kể cho hạ tầng mà hiệu năng vẫn không được cải thiện.
Bộ nhớ và điểm nghẽn
Bộ nhớ của bộ xử lý đồ họa là một ví dụ. Trong quá trình suy luận, trọng số của mô hình giữ nguyên. Tuy nhiên, bộ nhớ đệm khóa và giá trị tăng theo số yêu cầu đang hoạt động và độ dài ngữ cảnh. Khi số yêu cầu đồng thời tăng, hệ thống có thể hết phần bộ nhớ khả dụng dù năng lực tính toán vẫn còn. Bổ sung tài nguyên tính toán mà không hiểu điểm nghẽn này chỉ làm hệ thống kém hiệu quả trở nên đắt hơn.
Trong hạ tầng trí tuệ nhân tạo, khả năng mở rộng không chỉ phụ thuộc vào việc bổ sung tài nguyên. Hệ thống còn phải điều phối tải và quản lý mức sử dụng bộ nhớ của các thành phần.
Đo trước khi tối ưu
Nguyên tắc vận hành là đo trước khi tối ưu. Nhóm kỹ thuật cần xác định và xử lý giới hạn chi phối hiệu năng. Sau đó, họ đo lại kết quả và kiểm tra xem một điểm nghẽn khác có xuất hiện hay không.
Các kỹ thuật tối ưu hóa không phải là một danh sách cần triển khai đầy đủ. Nhóm kỹ thuật chỉ nên áp dụng kỹ thuật có thể loại bỏ giới hạn gây ảnh hưởng lớn nhất mà vẫn giữ được yêu cầu kinh doanh của ứng dụng.
Cách nhìn này cũng thay đổi câu hỏi quản trị dành cho lãnh đạo công nghệ. Thay vì hỏi tổ chức có thể triển khai những năng lực trí tuệ nhân tạo nào, họ cần xác định những giới hạn đang ngăn một năng lực đã được chứng minh tạo ra giá trị kinh doanh bền vững.
Xây dựng cho thay đổi thay vì điểm chuẩn hiện tại
Kiến trúc phục vụ AI cần thích ứng với thay đổi về mô hình, phần cứng và kỹ thuật tối ưu hóa. Khi hệ thống được thiết kế quanh tải công việc, mục tiêu cấp dịch vụ và hiệu quả kinh tế, doanh nghiệp có thể đánh giá công nghệ mới theo nhu cầu thực tế thay vì phải xây lại nền tảng sau mỗi thay đổi.
Mô hình dẫn đầu hôm nay có thể không giữ vị trí đó mãi. Mô hình sẽ tiếp tục cải thiện, phần cứng sẽ phát triển và kỹ thuật tối ưu hóa mới sẽ xuất hiện. Kiến trúc bao quanh mô hình cần giúp doanh nghiệp tiếp nhận những thay đổi này mà không phải xây lại nền tảng mỗi khi công nghệ tiến lên.
Đánh giá công nghệ theo nhu cầu thực tế
Khả năng thích ứng vì thế trở thành một kết quả quan trọng của chiến lược trí tuệ nhân tạo. Hệ thống phục vụ cần được thiết kế quanh yêu cầu tải công việc, mục tiêu cấp dịch vụ rõ ràng và hiệu quả kinh tế có thể đo lường. Khi đó, doanh nghiệp có cơ sở để đánh giá mô hình hoặc hạ tầng mới theo nhu cầu thực tế.
Trong kiến trúc như vậy, thay đổi mô hình có thể chỉ là một quyết định đánh giá và cấu hình thay vì một lần thiết kế lại toàn bộ hệ thống. Cách tiếp cận này cũng giúp tổ chức tránh phụ thuộc quá sâu vào một mô hình hoặc một thế hệ phần cứng.
Phối hợp các thành phần phục vụ
Các nhà nghiên cứu của EXL phân tích sâu hơn những thách thức sản xuất này trong loạt tài liệu Kỹ thuật xây dựng hệ thống phục vụ của EXL. Tài liệu xem xét cách kiến trúc phục vụ, quản lý bộ nhớ, lập lịch và tối ưu hóa suy luận phối hợp với nhau. Mục tiêu là giúp hệ thống trí tuệ nhân tạo trong doanh nghiệp hoạt động hiệu quả, có thể mở rộng và duy trì được về mặt kinh tế.
Khi nhiều doanh nghiệp có thể tiếp cận cùng những mô hình, khác biệt bền vững không còn nằm ở quyền sử dụng mô hình. Khác biệt nằm ở khả năng chuyển năng lực của mô hình thành kết quả kinh doanh.
Mô hình cung cấp năng lực xử lý. Hệ thống phục vụ quyết định doanh nghiệp có thể cung cấp năng lực đó ổn định, tiết kiệm và ở quy mô cần thiết hay không. Khi đưa trí tuệ nhân tạo vào sản xuất, doanh nghiệp nên bắt đầu bằng việc đo tải công việc và điểm nghẽn trước khi đầu tư thêm vào mô hình hoặc hạ tầng.
