NPU в ноутбуках: зачем он нужен и почему его почти никто не использует

Что делает NPU и чем он отличается от процессора и видеокарты

NPU (Neural Processing Unit) — отдельный блок кремния, рассчитанный на нейросетевые вычисления. Он выполняет ИИ-задачи с гораздо меньшими затратами энергии, чем процессор или видеокарта. Нейросети в основном опираются на два типа операций: матричное умножение и нелинейные функции активации. NPU создан именно под них, но в обмен теряет часть универсальности, которая есть у CPU и GPU.

Важно понимать, для чего он предназначен. NPU отвечает за инференс, то есть запуск уже обученной модели. Обучение моделей по-прежнему делается на видеокартах. Большие локальные языковые модели вроде Llama 70B тоже требуют дискретной видеокарты с большим объёмом видеопамяти. А сервисы вроде ChatGPT и Gemini NPU не нужен вовсе, потому что работают на серверах провайдера.

Типичный пример из статьи Engadget: размытие фона на видеозвонке. Это можно делать на процессоре или видеокарте, но оба компонента заметно греют ноутбук и быстро разряжают батарею. NPU выполняет ту же работу, затрачивая лишь малую долю энергии. Поэтому эффекты для веб-камеры, шумоподавление и подобные функции можно держать включёнными постоянно, не слыша вентиляторов.

Почему NPU стоят почти в каждом ноутбуке

По оценке аналитической компании Gartner, ПК с поддержкой ИИ составляют более половины мировых поставок. Engadget объясняет это не спросом покупателей, а требованиями сертификации. В 2024 году Microsoft определила условия для статуса Copilot+ PC: ноутбук должен иметь NPU производительностью не ниже 40 TOPS, 16 ГБ оперативной памяти и 256 ГБ накопителя. Без этого производители не получают доступа к части встроенных в Windows ИИ-функций.

Есть важное уточнение: 40 TOPS должен давать именно NPU. Тензорные ядра видеокарты в зачёт не идут. Engadget приводит пример: у ноутбучной RTX 4050 таких ядер больше 190 TOPS, но для сертификации это не учитывается. Итог, по описанию Engadget, такой: железо раскупается быстро, а софт отстаёт.

Какие NPU уже выпускаются

По данным Engadget, в линейке NPU сейчас выглядят так:

• Qualcomm Snapdragon X Elite и Snapdragon X Plus стали первыми на рынке с NPU Hexagon на 45 TOPS.
• Intel Lunar Lake выдаёт до 48 TOPS.
• AMD Ryzen AI 300 — 50 TOPS.
• Intel Panther Lake (Core Ultra Series 3) — 50 TOPS, техпроцесс Intel 18A.
• Qualcomm Snapdragon X2 Elite, по словам Engadget, поднимет показатель до 85 TOPS. Это больше чем вдвое выше минимума Microsoft.

Числа растут от поколения к поколению, хотя программ, которые могли бы использовать эти TOPS, остаётся мало. Engadget также отмечает, что Dell уже ставит корпоративный NPU в ноутбук Pro Max Plus.

Как проверить, работает ли NPU в вашем ноутбуке

Загрузку NPU можно посмотреть в Диспетчере задач Windows 11. Автор Engadget проверил свой ноутбук ASUS Zenbook Duo UX8406 с 32 ГБ памяти: при обычной работе загрузка NPU равна нулю. Он предполагает, что у большинства обычных пользователей будет так же.

Показатель поднимается только тогда, когда запущены функции, которые используют NPU. Engadget называет такие программы и функции:

• Windows Studio Effects;
• субтитры в реальном времени (Live Captions);
• Recall и Click to Do;
• шумоподавление в Teams и Zoom;
• несколько функций Adobe Creative Cloud.

Если ноутбук с NPU, но вы не пользуетесь этими функциями, блок простаивает. Это нормальная ситуация, а не признак неисправности. Чтобы NPU начал работать, включите, например, эффекты веб-камеры или шумоподавление в программе для видеозвонков и посмотрите на загрузку в Диспетчере задач.