Что такое NPU и почему крупные технологические компании внезапно одержимы ими?

от

Что такое NPU и почему крупные технологические компании внезапно одержимы ими?

Нейронные процессоры (NPU) уже несколько лет используются как в телефонах, так и в ПК, но в последнее время они привлекли к себе значительное внимание из-за ажиотажа вокруг искусственного интеллекта (ИИ). NPU предназначены для разгрузки рабочих нагрузок искусственного интеллекта с центральных и графических процессоров, обеспечивая более быструю и точную обработку моделей искусственного интеллекта на устройствах. Однако нынешняя одержимость NPU частично вызвана аппаратным обеспечением, а частично — шумихой.

Компьютер имеет центральный процессор (ЦП) и графический процессор (ГП). В последнее время было много разговоров о «нейронных процессорах» или NPU от различных технологических компаний. Если вы не знакомы с первыми двумя, вы можете быть озадачены третьим и понять, почему оно вызывает такой ажиотаж в технологической индустрии. По сути, эти NPU являются последней инновацией, вызванной растущим интересом к искусственному интеллекту (ИИ). Однако технологические компании не совсем ясно понимают, что на самом деле делают эти NPU и почему они важны для вас.

Все стремятся получить долю рынка искусственного интеллекта (ИИ). На своей конференции разработчиков систем ввода-вывода в этом месяце Google упомянул «ИИ» более 120 раз, продемонстрировав потенциал новых приложений и помощников ИИ, которые очаровали аудиторию. Microsoft, в свою очередь, представила на своей конференции Build свои новейшие ПК Copilot+ на базе ARM, которые оснащены процессорами Qualcomm Snapdragon X Elite и X Plus и предлагают встроенный в устройство нейронный процессор (NPU), способный выполнять 45 ТераОпс в секунду (TOPS). . Проще говоря, эти новые ПК предназначены для решения задач искусственного интеллекта непосредственно на устройстве. Microsoft и Intel дали аналогичные обещания в отношении «ПК с искусственным интеллектом» в конце прошлого года.

Если в этом году вы приобрели новый ноутбук с процессором Intel Core Ultra в надежде на встроенные в него возможности искусственного интеллекта, вы можете почувствовать разочарование, поскольку Microsoft объявила, что только компьютеры с маркировкой Copilot+ будут иметь доступ к функциям, улучшенным искусственным интеллектом, таким как Recall. Сообщается, что это ограничение связано с конкретными чипами, которые используются в этих ПК.

Если вам действительно интересно понять шумиху вокруг нейронных процессоров (NPU) и почему такие компании, как Apple, Intel и даже небольшие стартапы по производству ПК, обсуждают их, вот четкое объяснение, которое поможет вам вникнуть в суть дела.

Объяснение NPU и «TOPS»

Что такое NPU и почему крупные технологические компании внезапно одержимы ими?

Как геймер, я бы сказал это так: давайте кратко представим тем, кто стоит рядом, основные возможности моего компьютера. ЦП, или центральный процессор, действует как главный процессор, выполняя большинство задач пользователя так же, как наш мозг обрабатывает информацию. И наоборот, графический процессор, графический процессор, более специализирован и фокусируется на задачах с интенсивным использованием данных, таких как рендеринг 3D-графики или запуск видеоигр. Графические процессоры могут быть отдельными компонентами компьютера или интегрированы в сам процессор.

Как геймер, я могу объяснить, что нейронные процессоры (NPU) имеют некоторое сходство с графическими процессорами (GPU), поскольку оба они имеют специализированные функции. Однако, в отличие от графических процессоров, за пределами центрального или графического процессора нет отдельного NPU — по крайней мере, пока.

Стандартом для оценки скорости NPU является TOPS, или «триллионы операций в секунду». В настоящее время это единственный способ, с помощью которого крупные технологические компании сравнивают свои возможности нейронной обработки друг с другом. Это также невероятно упрощенный способ сравнения скоростей обработки. Процессоры и графические процессоры предлагают множество различных точек сравнения, от количества и типов ядер до общей тактовой частоты или терафлопс, и даже это не касается сложностей, связанных с архитектурой чипов. Qualcomm объясняет, что TOPS — это просто быстрое и сложное математическое уравнение, сочетающее в себе скорость и точность нейронных процессоров.

Как страстный геймер и энтузиаст технологий, я всегда слежу за последними достижениями в области искусственного интеллекта (ИИ). Одной из интригующих областей исследований являются нейронные процессоры (NPU), которые похожи на центральные и графические процессоры, но специально разработаны для задач машинного обучения. Однако в настоящее время у нас нет такого же уровня детального понимания или доступности NPU, как в случае с CPU и GPU. Ситуация может измениться, как только мы преодолеем нынешний цикл ажиотажа вокруг ИИ.

НПУ уже несколько лет используются как на телефонах, так и на ПК

Что такое NPU и почему крупные технологические компании внезапно одержимы ими?

В телефонах использовались нейронные процессоры (NPU) задолго до того, как они получили широкое признание и принятие многими людьми и предприятиями. Google обсуждал NPU и возможности искусственного интеллекта еще в Pixel 2. Huawei и Asus продемонстрировали телефоны с NPU, такие как Mate 10 2017 года и Zenphone 5 2018 года. Эти компании подчеркнули свои функции искусственного интеллекта на этих устройствах, но потребительский прием и отзывы были более сдержанными по сравнению с нынешним энтузиазмом.

Сегодняшние нейронные процессоры (NPU) значительно более функциональны, чем шесть или восемь лет назад. Однако их расширенные нейронные возможности могли бы остаться незамеченными, если бы не быть в курсе последних достижений.

Компьютерные чипы включают нейронные процессоры еще до 2023 года. Например, процессоры Apple серии M, основанные на архитектуре ARC, обладали нейронными возможностями еще в 2020 году. Чип M1 предлагал 11 TOPS (триллионы операций в секунду), а чипы M2 и M3 увеличили эту производительность до 15,8 и 19 TOPS соответственно. Однако только после выпуска нового iPad Pro в 2024 году Apple отметила значительный скачок в скорости нейронного двигателя — впечатляющие 38 TOPS — с чипом M4. В настоящее время на новом iPad Pro не так много приложений искусственного интеллекта, которые в полной мере используют эти расширенные возможности. Мы можем увидеть больше событий на WWDC 2024, но сейчас нам придется набраться терпения и наблюдать.

Сегодняшняя одержимость NPU – это частично аппаратное обеспечение, частично реклама

Модуль нейронного процессора (NPU) призван снизить нагрузку на центральный или графический процессор устройства путем выполнения задач искусственного интеллекта на устройстве, позволяя пользователям запускать различные приложения искусственного интеллекта, такие как генераторы произведений искусства и чат-боты, без негативного влияния на производительность системы. Однако поиск идеальной программы искусственного интеллекта для полного использования этих расширенных возможностей остается для всех нас постоянной задачей.

В течение прошлого года TopMob вел переговоры с ведущими производителями чипов. Последовательная тема, возникшая в ходе этих переговоров, заключается в том, что производители оборудования считают, что теперь они опережают требования к программному обеспечению. Исторически ситуация изменилась, поскольку разработчики программного обеспечения постоянно расширяли возможности аппаратного обеспечения потребительского уровня, вынуждая производителей чипов не отставать.

Начиная с 2023 года мы наблюдаем ограниченное количество приложений искусственного интеллекта, которые могут работать на устройствах. Демонстрации функциональности искусственного интеллекта от таких производителей чипов, как Qualcomm и Intel, в первую очередь демонстрируют такие возможности, как функция размытия фона Zoom. Недавно компании тестировали свои нейронные процессоры (NPU) с использованием Riffusion, модели музыкального генератора искусственного интеллекта, в таких приложениях, как Audacity, или в живых субтитрах в OBS Studio. Хотя существуют определенные приложения с чат-ботами на устройстве, им не хватает расширенных и усовершенствованных возможностей модели большого языка (LLM), которые потенциально могли бы способствовать массовому внедрению и вдохновить людей покупать новейшие смартфоны или «компьютеры с искусственным интеллектом».

Как геймер, я могу вам сказать, что при использовании Gemini Nano на телефонах Pixel мы ограничены базовыми приложениями, такими как текстовые и аудиосводки. Однако, начиная с Pixel 8 и Pixel 8a, будет доступен самый маленький ИИ от Google. С другой стороны, Samsung перенесла свои эксклюзивные функции искусственного интеллекта из Galaxy S24 на старые устройства, которые вскоре также должны появиться на носимых устройствах. Я еще не тестировал производительность этих возможностей искусственного интеллекта на старых устройствах, но похоже, что даже устройства, выпущенные в 2021 году, обладают достаточной вычислительной мощностью нейронов.

Искусственному интеллекту на устройствах по-прежнему мешает нехватка вычислительной мощности для потребительских продуктов. Microsoft, OpenAi и Google должны управлять крупными центрами обработки данных, оснащенными сотнями передовых графических процессоров AI от Nvidia, таких как H100 (Microsoft и другие, как сообщается, работают над собственными чипами AI), чтобы обрабатывать некоторые из более продвинутых LLM или чат-ботов с моделями. например Gemini Advanced или GPT 4o. Это недешево с точки зрения денег или ресурсов, таких как электроэнергия и вода, но именно поэтому многие более продвинутые потребители ИИ могут платить за то, чтобы он работал в облаке. Использование искусственного интеллекта на устройстве приносит пользу пользователям и окружающей среде. Если компании считают, что потребителям нужны новейшие и лучшие модели искусственного интеллекта, программное обеспечение будет продолжать превосходить возможности потребительских устройств.

Смотрите также

2024-05-30 20:15