NPU to skrótowiec od “neural processing unit”. Jest to komponent komputera zaprojektowany do przyspieszania zadań SI w sposób energooszczędny, torując drogę nowym aplikacjom z zaawansowanymi funkcjami. Taka jest w każdym razie teoria. Nazwa wzięła się stąd, że modele SI wykorzystują sieci neuronowe. A sieć neuronowa to ogromna siatka połączonych ze sobą węzłów, które przekazują między sobą informacje. Pomysł ten został opracowany na podstawie sposobu działania ludzkiego mózgu.
NPU – czym jest?
NPU oznacza jednostkę przetwarzania neuronowego. To specjalny rodzaj procesora zoptymalizowany pod kątem zadań SI i uczenia maszynowego. Nie mamy tu oddzielnego urządzenia, jak np. karta graficzna czy pamięć RAM. Jednostka ta jest dodawana do procesora. W chwili obecnej spotkasz ją w modelach Intel Core Ultra, AMD Ryzen AI oraz Qualcomm Snapdragon X Elite i Snapdragon X Plus. Te platformy mają CPU wraz ze zintegrowanym GPU i NPU.
Do tej pory komputery wykonywały zadania albo na jednostce centralnej (czyli procesorze, CPU), albo na jednostce przetwarzania grafiki (GPU). Procesor wykonuje większość zadań na komputerze. Ale GPU nie jest przeznaczony tylko do zadań graficznych i gier. W rzeczywistości procesory graficzne są zoptymalizowane do różnych zadań obliczeniowych, dlatego stanowią ważną rolę w zadaniach wymagających dużej mocy obliczeniowej, jak wydobywanie kryptowalut i uruchamianie lokalnych modeli SI o wysokiej wydajności.
NPU jest szybszy niż CPU, ale nie tak szybki, jak GPU. Jednak w porównaniu do procesora graficznego zużywa mniej energii podczas wykonywania tych samych zadań. Ponadto gdy NPU obsługuje zadania związane z SI, CPU i GPU są spowolnione, ponieważ obsługują swoje własne zadania związane z działaniem systemu.
Dlaczego NPU zadziała lepiej niż CPU lub GPU?
Jednostki NPU doceni się podczas uruchamiania oprogramowania do generowania obrazów na swoim komputerze, jak np. Stable Diffusion. Dlatego właśnie Nvidia reklamuje swoje GPU jako sprzęt „premium AI” zamiast NPU. Jednostka ta lepiej radzi sobie z tymi zadaniami, a zarazem pozwala na energooszczędność. Dzięki NPU laptop może wykonywać lokalne zadania związane ze sztuczną inteligencją, nie wydzielając przy tym dużo ciepła i nie zużywając nadmiernie baterii. Ponadto zasoby CPU i GPU są dzięki temu wolne.
NPU można wykorzystać również do innych celów. Na targach CES 2024 firma HP zaprezentowała oprogramowanie do strumieniowego przesyłania gier, które wykorzystuje NPU do zadań strumieniowego przesyłania wideo, nie angażując GPU do uruchomienia samej gry. Dzięki wykorzystaniu dodatkowej mocy obliczeniowej NPU oprogramowanie do strumieniowego przesyłania nie zajmuje żadnych zasobów GPU… i jest znacznie szybsze niż używanie CPU do tego samego typu zadań.
Czytaj też: vivo prezentuje chip NPU do obrazowania V1+
Co może zrobić dzięki NPU na Windows?
W przypadku komputera jednostka NPU może być używana zarówno przez system operacyjny, jak i aplikacje w nim zainstalowane. Na przykład jeśli masz laptopa ze sprzętem Intel Meteor Lake , wbudowany NPU umożliwi Ci uruchomienie efektów Windows Studio, czyli efektów kamery internetowej opartych na sztucznej inteligencji, które zapewniają takie funkcje, jak rozmycie tła i utrzymanie kontaktu wzrokowego w dowolnej aplikacji korzystającej z Twojej kamery internetowej.
Komputery Copilot+ firmy Microsoft – pierwsza fala z nich jest napędzana przez układy Qualcomm Snapdragon X – mają własne funkcje oparte na sztucznej inteligencji, które wykorzystują NPU wbudowane w tę platformę. Na przykład funkcja Windows Recall będzie wymagać NPU. W listopadzie b.r. komputery z procesorami AMD i Intel uzyskają dostęp do tych samych funkcji Copilot+ , które wcześniej były dostępne wyłącznie dla komputerów Qualcomm, ale będą dostępne tylko dla komputerów AMD i Intel wyposażonych w nowe procesory AMD Ryzen AI serii 300 i Intel Core Ultra Series 2 (Lunar Lake).
Twórcy aplikacji będą mogli również używać NPU na wiele sposobów. I już to zresztą robią. Wtyczki do Audacity i GIMP oferują edycję audio i zdjęć z wykorzystaniem SI, która jest obsługiwana przez NPU komputera. Możliwości jest wiele, jednak SI jest jeszcze na wczesnym etapie rozwoju. Musi minąć trochę czasu, zanim jej pełen potencjał zostanie wykorzystany.
Jak wspomniałem – usługi SI uruchamiane są w chmurze, co jest drogie. Microsoft i inni wydają mnóstwo pieniędzy na utrzymywanie serwerów oraz centrów danych. Przerzucenie tych zadania na lokalny komputer zmniejszyłoby wydatki. A użytkownik ma pewność, że wszystkie wprowadzone dane zostaną u niego.
Jakie mamy obecnie NPU?
Wydajność NPU jest mierzona w TOPS, co oznacza biliony operacji na sekundę. NPU niskiej klasy są w stanie obsłużyć tylko 10 TOPS, podczas gdy komputery PC, które kwalifikują się do marki Copilot+ PC fmuszą obsługiwać co najmniej 40 TOPS. W tej chwili mamy:
- Intel Core Ultra Series 1 (Meteor Lake)- do 11 TOPS. Działa z Windows Studio Effects i niektórymi aplikacjami innych firm;
- Intel Core Ultra Series 2 (Lunar Lake) – wydajność do 48 TOPS;
- AMD Ryzen Pro serii 7000 i 8000 – wydajność na poziomie 12 i 16 TOPS;
- AMD Ryzen AI 300 – wydajność na poziomie 50 TOPS;
- Qualcomm Snapdragon X Elite i Snapdragon X Plus – NPU Qualcomm Hexagon o mocy do 45 TOPS.
Czytaj też: Niespodziewany zwrot akcji! Intel przesunął premierę Core Ultra 200
Czy warto kupić komputer z NPU, czy poczekać?
Korzystanie z najnowszych rozwiązań zawsze niesie ze sobą pewne ryzyko. Jednak już obecnie NPU są na tyle przetestowane w praktyce, że istnieje małe ryzyko tego, że zawiodą. Zastanów się jednak, czy SI jest Ci potrzebne na co dzień? Jeśli nie, nie ma sensu kupowanie urządzenia specjalnie w tym celu. Od czasu do czasu możesz używać SI w chmurze. Jednak jeżeli narzędzia SI są Ci potrzebne, wówczas masz do wyboru albo maszynę x86 lub ARM.
Wszystko zależy zatem od indywidualnych potrzeb. A ponieważ z biegiem czasu NPU i SI będą coraz lepsze, pojawią się kolejne powody do nabycia maszyn mających te rozwiązania.