Apple недавно обнародовала несколько моделей больших языков (LLM) с открытым исходным кодом, способных работать локально, а не полагаться на облачные серверы. Эти модели, получившие название OpenELM (эффективные языковые модели с открытым исходным кодом), доступны на Hugging Face Hub, платформе, предназначенной для обмена кодами искусственного интеллекта.
Согласно информации, представленной в официальном документе (который вы можете найти в формате PDF), всего существует восемь моделей OpenELM. Четыре из этих моделей изначально были обучены с использованием библиотеки CoreNet, а остальные четыре модели были доработаны на основе инструкций. Apple использует послойный подход к масштабированию для повышения точности и эффективности.
Apple поделилась кодом, записями обучения и различными итерациями модели, а не только готовым продуктом для проекта искусственного интеллекта на естественном языке, с целью, чтобы эта прозрачность могла ускорить прогресс и способствовать «надежным выводам» в этой области.
OpenELM — это усовершенствованная языковая модель с открытым исходным кодом, отличающаяся эффективностью на уровне слоев. Используя стратегический метод масштабирования для каждого уровня модели трансформатора, OpenELM достигает превосходной точности. Например, при примерно одном миллиарде параметров OpenELM превосходит OLMo на 2,36 %, используя лишь половину необходимого количества токенов предварительного обучения.
Вместо того, чтобы просто предлагать веса моделей и программное обеспечение для вывода, как раньше, и проводить частное обучение на нераскрытых наборах данных, наша новая версия оснащена полной системой для обучения и оценки языковой модели на общедоступных наборах данных. Этот пакет включает в себя записи тренировок, различные контрольные точки и настройки предварительной подготовки.
Apple объявляет о распространении моделей OpenELM для стимулирования и расширения исследований в открытом сообществе с использованием передовых языковых моделей. Сделав эти модели общедоступными, исследователи смогут изучить потенциальные риски, данные и предвзятости. Разработчики и предприятия имеют возможность напрямую использовать модели или настраивать их в соответствии со своими потребностями.
Открытый обмен информацией теперь имеет решающее значение для Apple, чтобы привлечь элитных инженеров, ученых и специалистов. Такой подход позволяет получить доступ к результатам исследований, которые могли быть скрыты в соответствии с предыдущими правилами конфиденциальности Apple.
Apple пока не внедряла подобные функции искусственного интеллекта в свои гаджеты. Однако есть ожидания, что iOS 18 будет оснащена несколькими новыми возможностями искусственного интеллекта. Более того, ходят слухи, что Apple намерена использовать свои обширные языковые модели на самих устройствах для повышения конфиденциальности.
Смотрите также
- Мэриленд (2024), обзор PBS. Этот британский мини-сериал — утомительная работа, которую нужно пережить.
- Океан зовет к новому приключению в диснеевской «Моане 2»
- Beats намекает, что в следующем году появятся новые Powerbeats Pro 2
- Новый сериал Netflix раскрывает скандальные истории, стоящие за взломом Эшли Мэдисон
- Да, это момент в «Звездном пути: открытие, где все должно пойти наперекосяк»
- Диснеевский музыкант Ричард Шерман умер в возрасте 95 лет
- Apple прекращает подписывать iOS 17.5, переход на более раннюю версию больше невозможен
- Приз «Большая дверь» – краткий обзор и обзор 2-й серии 8-й серии
- Хью Грант раскрывает свою судьбу злодея ужасов в первом трейлере «Еретика»
- Руководство покупателя AirPods 4 и предыдущих поколений: сравнение всех обновлений
2024-04-25 01:52