Apple сьогодні випустила кілька великих мовних моделей (LLM) з відкритим вихідним кодом, які призначені для роботи на пристрої, а не через хмарні сервери. Програми LLM під назвою OpenELM (Open Source Efficient Language Models) доступні за адресою Центральна частина обличчя, що обіймаєтьсяспільнота для обміну кодом ШІ.
Як показано в документі [PDF]Всього існує вісім моделей OpenELM, чотири з яких попередньо навчені за допомогою бібліотеки CoreNet, а чотири моделі налаштовані за інструкціями. Apple використовує стратегію масштабування шарів, спрямовану на підвищення точності та ефективності.
Apple надала код, журнали навчання та декілька версій, а не лише остаточну навчальну модель, і дослідники, які стоять за проектом, сподіваються, що це призведе до швидшого прогресу та «більш надійних результатів» у сфері ШІ природної мови.
OpenELM, відкрита модель мови, що розвивається. OpenELM використовує стратегію масштабування шарів для ефективного розподілу параметрів у кожному шарі моделі трансформатора, що призводить до підвищення точності. Наприклад, з бюджетом параметрів приблизно в 1 мільярд параметрів, OpenELM показує 2,36% підвищення точності в порівнянні з OLMo, вимагаючи вдвічі менше токенів для попереднього навчання.
Відходячи від попередніх практик, які надають лише ваги моделі, код висновку та попереднє навчання на приватних наборах даних, наша версія включає повну структуру для навчання та оцінки мовної моделі на загальнодоступних наборах даних, включаючи журнали навчання, кілька контрольних точок і попередні балів. Навчальні конфігурації.
Apple заявляє, що запускає моделі OpenELM, щоб «розширити можливості та збагатити спільноту відкритих дослідників» сучасними мовними моделями. Обмін моделями з відкритим кодом дає дослідникам можливість досліджувати ризики, дані та упередження моделей. Розробники та компанії можуть використовувати шаблони як є або вносити в них зміни.
Відкритий обмін інформацією став для Apple важливим інструментом для залучення найкращих інженерів, науковців і експертів, оскільки він надає можливості для наукових робіт, які зазвичай не публікувалися б відповідно до політики конфіденційності Apple.
Apple ще не запровадила ці типи можливостей штучного інтелекту на своїх пристроях, але очікується, що iOS 18 включатиме низку нових функцій штучного інтелекту, і, за чутками, Apple планує запустити власні великі мовні моделі на пристрої з метою забезпечення конфіденційності.
“Загальний ніндзя в соціальних мережах. Інтроверт. Творець. Шанувальник телебачення. Підприємець, що отримує нагороди. Веб-ботанік. Сертифікований читач”
