Qualcomm đang hé lộ những cải tiến đáng kể trong nghiên cứu về bộ xử lý NPU trên dòng chip Snapdragon Elite sắp tới. Đây có thể là bước tiến cho trí tuệ nhân tạo trên thiết bị với khả năng xử lý tác vụ đa phương thức mạnh mẽ. Cải tiến như "Element Accelerator" và bộ nhớ chia sẻ lớn hơn sẽ nâng cao hiệu suất AI đáng kể.
Hexagon NPU: nền tảng của sự đổi mới
Qualcomm đang giới thiệu các chi tiết về Hexagon NPU thế hệ mới, được thiết kế để kích hoạt ứng dụng AI đa phương thức trên thiết bị, đặc biệt là các tác vụ của các “đại lý” AI. Dòng chip Snapdragon Elite mới này đang nhắm tới việc đưa AI lên một tầm cao mới, với mục tiêu thực hiện nhiều tác vụ phức tạp ngay trên thiết bị mà không cần phụ thuộc nhiều vào các tài nguyên đám mây.
Trong thế giới ngày càng số hóa, yêu cầu về xử lý dữ liệu nhanh chóng và ở ngay thời điểm thực rất quan trọng. Với NPU mới, Qualcomm không chỉ muốn cải thiện tốc độ mà còn giảm thiểu độ trễ và tiêu thụ năng lượng, một yếu tố quan trọng đối với người dùng di động.
Công nghệ element accelerator
“Element Accelerator” là một thành phần chuyên dụng mới, nằm cạnh các đơn vị tính toán scalar, vector và tensor. Đây là cải tiến mang tính đột phá của Qualcomm, cho phép tăng tốc độ suy luận của các mô hình transformer, vốn là dạng mô hình AI mạnh mẽ nhưng thường đòi hỏi nhiều tài nguyên để thực thi.
Đối với đại lý AI, chẳng hạn như trợ lý ảo hoặc các ứng dụng nhận dạng giọng nói, tốc độ phản hồi là yếu tố quyết định sự hài lòng của người dùng. “Element Accelerator” không chỉ cải thiện tốc độ mà còn giữ cho việc tiêu thụ năng lượng ở mức thấp, đảm bảo thời lượng pin tốt hơn cho các thiết bị.
Tăng cường khả năng xử lý nội bộ
Qualcomm nhấn mạnh rằng việc nâng cấp bộ nhớ chia sẻ lớn hơn cho bốn đơn vị tăng tốc sẽ giúp giảm thiểu nhu cầu trao đổi dữ liệu thường xuyên với RAM chính của điện thoại. Điều này đồng nghĩa với việc các thiết bị có khả năng xử lý mạnh mẽ hơn, giữ nhiều “ngữ cảnh” hơn trong bộ nhớ, cho phép thực hiện các tác vụ phức tạp hơn như nhận diện hình ảnh hoặc điều khiển bằng giọng nói một cách trơn tru.
Sự hỗ trợ này đặc biệt hữu ích cho việc xử lý các tác vụ liên quan đến AI, vốn thường yêu cầu xử lý số lượng lớn dữ liệu trong thời gian thực.
Hỗ trợ mô hình mixture-of-experts (moe)
NPU mới cũng được xây dựng để hỗ trợ các mô hình Mixture-of-Experts (MoE), nơi chỉ một phần các tham số của mô hình được kích hoạt dựa trên định tuyến thông minh. Công nghệ này cho phép các mô hình AI phức tạp hoạt động hiệu quả hơn trên thiết bị, giảm nhu cầu cho việc sử dụng tài nguyên phần cứng quá mức.
Bằng cách định tuyến truy vấn một cách thông minh theo các “chuyên gia” phù hợp, MoE không chỉ tiết kiệm tài nguyên mà còn tối ưu hóa thời gian xử lý, tăng cường khả năng đáp ứng của hệ thống AI trên thiết bị.
Cải thiện hiệu suất toàn diện
Qualcomm tuyên bố rằng NPU mới cung cấp hiệu suất tiền nạp tăng 50%, thông lượng giải mã nhanh hơn, và tăng tổng số tokens mỗi giây. Điều này mang lại lợi ích lớn cho các mô hình AI có độ chính xác INT4, đây là một chuẩn đo lường mới giúp tối ưu hóa hiệu năng xử lý mà vẫn giữ được độ chính xác cần thiết.
Những cải tiến này sẽ là nền tảng cho sự phát triển của nhiều ứng dụng AI trong tương lai, từ điện thoại thông minh đến các thiết bị IoT, đưa trải nghiệm người dùng lên tầm cao mới.
Nguồn tham khảo: www.androidauthority.com. Nội dung được Media LAB biên tập và tổng hợp lại.
