Штучний інтелект – це володіння мовою. Чи варто довіряти тому, що він говорить?

«Я думаю, що це дозволяє нам бути більш вдумливими та більш замисленими щодо питань безпеки», – каже Альтман. «Частиною нашої стратегії є: кращі зміни у світі, ніж раптові». Або, як сказала віце-президент OpenAI Міра Моратті, коли я запитав її про роботу групи безпеки, яка обмежує відкритий доступ до програмного забезпечення, «Якщо ми збираємося навчитися розгортати ці потужні технології, давайте почнемо, коли ставки дуже низькі. ».

Тоді як сам GPT-3 OpenAI працює на 285 000 ядрах ЦП у кластері суперкомп’ютерів в Айові і працює за межами Місії в Сан-Франциско, на відремонтованій фабрикі багажу. У листопаді минулого року я зустрівся там з Іллею Соцкефером, намагаючись отримати від неспеціаліста пояснення, як насправді працює GPT-3.

— Це основна ідея GPT-3, — уважно сказав Соцкевер, нахилившись у кріслі. У нього є цікавий спосіб відповідати на запитання: деякі фальстарти — «Я можу дати вам опис, який приблизно відповідає опису, який ви просили», — перериваються довгими медитативними паузами, ніби він накреслює всю відповідь.

Нарешті він сказав: «Основна ідея GPT-3 — це спосіб зв’язати інтуїтивне поняття розуміння з чимось, що можна виміряти й зрозуміти механічно, і це завдання передбачити наступне слово в тексті. Інші форми штучного інтелекту намагаються закодувати інформацію про світ: шахові стратегії великих майстрів, принципи кліматології. Але GPT-3 інтелект, якщо слово для нього є інтелектом, надходить знизу вгору: через елементарне дієслово передбачити наступне слово. Для навчання GPT-3 моделі дають «підказку» — кілька речень або абзаців тексту, наприклад, із газетної статті, роману чи наукової роботи — а потім просять запропонувати список можливих слів, які вона може завершити послідовність, упорядковану за ймовірністю. На ранніх етапах навчання запропоновані слова є нонсенсом. Запитайте алгоритм із реченням на кшталт «Письменник видалив останнє слово з першого слова…»» і здогадки будуть таким собі потоком дурниці: список — з’явиться правильне пропущене слово: «абзац». Потім програма підсилює та послаблює будь-які випадкові нейронні зв’язки, які генерують цю конкретну пропозицію. Усі з’єднання, які генерували неправильні припущення. Потім вона переходить до наступного маршрутизатора. З часом, з достатньою кількістю ітерацій, програма навчається.

Ще в січні OpenAI додав функцію, яка дозволяє користувачам давати прямі інструкції GPT-3 як підказку, а не просто вимагати від них розширити зразок сегмента тексту. Наприклад, використовуючи режим «Довідка», GPT-3 одного разу отримав підказку: «Напишіть твір, в якому обговорюватиметься роль метафантастики в творчості Італо Кальвіно». Короткий абзац, який почався так:

Італійський письменник Італо Кальвіно вважається фахівцем з метафантастики, типу письма, в якому автор розбиває четверту стіну, щоб обговорити сам акт письма. Для Кальвіно метафантастика — це спосіб дослідження природи реальності та способів, за допомогою яких історії можуть формувати наше сприйняття світу. Його романи часто включають ігрові структури та лабіринти, які маніпулюють кордонами між реальністю та фантазією. У випадку, якщо мандрівник, наприклад, у зимову ніч, читача постійно переривають дискусії на метарівні акту читання та характеру оповідання. . . .

Ви можете знову і знову давати GPT-3 однакову підказку, і кожен раз вона генеруватиме унікальну відповідь, деякі переконливіші, ніж інші, але майже всі надзвичайно прості. Орієнтовні підказки можуть мати різну форму: «Дайте мені список усіх інгредієнтів у соусі Болоньєзе», «Напишіть вірш про французьке приморське село в стилі Джона Ешбері», «Поясніть Великий вибух мовою, що 8-річний Час від часу, коли я вдавав такі стимули GPT-3, я відчував, як мурашки по хребту. Здавалося майже неможливим для машини створити такий чіткий і чуйний текст, повністю заснований на початковому навчанні передбачити. наступне слово.

Але ШІ має довгу історію створення ілюзії інтелекту або розуміння, але фактично не доставляє товари. на багато обговорюваний папір Опубліковані минулого року професор лінгвістики Вашингтонського університету Емілі Бендер, колишній дослідник Google Тімніт Гебру та група співавторів заявили, що великі мовні моделі були просто «випадковими папугами»: тобто програма використовувала рандомізацію лише для реміксування речень, написаних люди.. Бендер нещодавно сказала мені електронною поштою: «Змінилося не якийсь крок вище певного порогу на шляху до «штучного інтелекту». Натомість, за її словами, змінилися «апаратні, програмні та економічні інновації, які дозволяють накопичувати та обробляти величезні набори даних» — а також культура Технологія, яку «можуть мати люди, які будують і продають такі речі», далека від того, щоб будувати її на основі неточних даних».