Как технический энтузиаст с более чем двадцатилетним опытом работы за плечами, я должен сказать, что это сотрудничество между Apple и NVIDIA — не что иное, как новаторство! Будучи непосредственным свидетелем эволюции приложений искусственного интеллекта, я могу подтвердить значимость таких улучшений в производительности.
Apple обнародовала планы партнерства с NVIDIA, направленные на значительное повышение скорости и эффективности больших языковых моделей (LLM). Это достигается за счет применения нового метода генерации текста, который обеспечивает значительное повышение скорости проектов на основе искусственного интеллекта.
Ранее в этом году Apple выпустила и сделала общедоступной Recurrent Drafter (ReDrafter) — метод, который объединяет стратегии поиска по лучам и стратегии динамического дерева для ускорения процессов генерации текста. Лучевой поиск позволяет одновременно исследовать множество возможных вариантов текста для улучшения результатов, а внимание к дереву упорядочивает и устраняет ненужные повторения среди этих вариантов для повышения эффективности.
Как технический энтузиаст, я в восторге от последней разработки: Apple органично интегрировала платформу NVIDIA TensorRT-LLM в свою систему. Эта интеграция оптимизирует модели больших языков (LLM) для работы на графических процессорах NVIDIA (GPU). По словам Apple, эта интеграция привела к «самой современной производительности». Во время тестирования производственной модели с десятками миллиардов параметров этой технологии удалось увеличить скорость генерации токенов в секунду в впечатляющие 2,7 раза!
По заявлению Apple, эти улучшения приводят к менее заметному времени задержки для пользователей, а также к снижению использования графического процессора и энергопотребления. (Из блога Apple по исследованиям машинного обучения)
В последнее время модели больших языков (LLM) широко используются для создания продуктивных приложений. Повышение эффективности вывода не только снижает вычислительные затраты, но и уменьшает задержку пользователя. Интегрировав инновационный метод спекулятивного декодирования ReDrafter в среду NVIDIA TensorRT-LLM, разработчики теперь могут наслаждаться более быстрым производством токенов на графических процессорах NVIDIA для своих производственных проектов LLM.
Заинтересованные разработчики могут изучить подробную информацию о реализации ReDrafter на официальном сайте Apple, а также в блоге разработчиков NVIDIA для получения пошагового руководства.
Смотрите также
- Кевин Дюран хочет сняться в биографическом фильме об Илоне Маске на канале A24
- Лучшие аксессуары для Mac и iPhone на выставке CES 2025, которые вам нужно увидеть
- Apple выпускает первую прошивку MagSafe Charger почти за два года
- Продлили ли «Антрацит» на 2 сезон? Вот что мы знаем:
- Прощай, Земля – содержание, обзор и объяснение эпизода 12 дорамы
- Обзор BenQ GW2790QT: офисный монитор Mac с красивым внешним видом и отличной ценой
- iPhone 16 Pro Max: обзор и распаковка
- Скуби-Ду покоряет Японию в новом сериале, вдохновленном аниме
- Как создать загрузочный USB-установщик MacOS
- Секс с альпаками еще страннее, чем вы думаете
2024-12-20 14:30