Дослідники виявили, що расистський алгоритм Twitter також заснований на віці, здатний та антиісламський

Алгоритм обрізання зображень Twitter Дослідники виявили, що це було популяризовано в останній рік, коли користувачі виявили, що перевагу білих людей над чорношкірими також кодують неявним упередженням щодо ряду інших груп.

Дослідники подивилися, як алгоритм, який автоматично редагує зображення для фокусування на обличчях людей, поводився з різною групою людей і побачив докази того, що мусульмани, люди з обмеженими можливостями та літні люди стикаються з подібною дискримінацією. Дослідники сказали, що сам ШІ навчився ігнорувати людей з білим або сивим волоссям, які носять хустки з релігійних чи інших причин або користуються інвалідними візками.

Результати були частиною першого у своєму роді конкурсу, що проводився Twitter у вихідні на хакерській конференції Def Con у Лас-Вегасі. Компанія запропонувала дослідникам відкрити нові способи довести, що її алгоритм обрізання зображення був ненавмисно кодований як упереджений щодо певних груп людей. Twitter запропонував грошові винагороди, включаючи 3500 доларів для переможця та невеликі суми для другого місця.

Це унікальний крок у тому, що стало важливою сферою досліджень: пошук шляхів, за допомогою яких автоматизовані системи, навчені наявними ресурсами даних, були пройняті упередженнями, що існують у суспільстві.

Алгоритм обрізання зображень, який у значній мірі застарілий у Twitter, став загальнодоступним у вересні минулого року. Користувачі помітили, що коли вони твітнуть фотографії з чорно -білою особою, вона автоматично автоматично виділяє білу. З такими малюнками включено Наприклад, колишній президент Барак Обама та сенатор Мітч МакКоннелл, штат Р-Кентуккі, Twitter завжди вибиратимуть обрізання зображення, щоб показати лише МакКоннелла. компанії Я прошу вибачення На той час і вивели його з режиму офлайн.

Цей ненавмисний расизм не був незвичайним, – сказав Пархам Арабі, професор Торонтоського університету та директор Групи прикладного штучного інтелекту, яка вивчає та консультує упередження щодо ШІ. Він сказав, що програмне забезпечення, яке вчиться на поведінці користувачів, практично вводить якусь ненавмисну ​​упередженість.

“Майже в кожній великій системі штучного інтелекту, яку ми тестували для великих технологічних компаній, ми виявили значні упередження”, – сказав він. “Упереджений штучний інтелект – одна з тих речей, які ніхто не перевіряв повністю, і коли ви це зробите, так само як і відкривши Twitter, ви виявите величезні упередження, які існують повсюдно”.

Незважаючи на те, що інцидент із обрізанням зображень був неприємним для Twitter, він підкреслив широку проблему в технічній індустрії. Коли компанії навчають штучного інтелекту вчитися з поведінки своїх користувачів (наприклад, бачити, на які зображення більшість користувачів, ймовірно, натисне), системи ШІ можуть поглинати упередження, які вони навмисно не записували б у програмне забезпечення.

Подання команди Аарабі на конкурс у Twitter, яке посіло друге місце, виявило, що алгоритм сильно упереджений щодо осіб з білим або сивим волоссям. Чим сильніше освітлені волосся, тим менша ймовірність, що алгоритм їх вибере.

“Найпоширеніший ефект – це ліквідація людей похилого віку”, – сказав Орабі. “Старіші демографічні показники переважно маргіналізовані алгоритмом”.

Учасники конкурсу знайшли безліч способів упередження алгоритму обрізання. Команда Арабі також виявила, що на групових фотографіях людей, де одна людина була менше, оскільки вона була в інвалідному візку, Twitter швидше видалив користувача з інвалідного візка з фотографії.

Інший звіт показав, що Twitter, швидше за все, не зверне уваги на людей, які носять покривала на голові, фактично виключаючи людей, які носять їх з релігійних причин, таких як ісламська хустка.

виграшний запис знайшли Що чим більше фотографується обличчя людини, щоб воно виглядало тоншим, меншим або більш гладким, тим більш ймовірно, що алгоритм Twitter виділить його.

Роман Чоудхурі, директор команди Twitter, присвяченої етиці машинного навчання, яка проводила конкурс, заявила, що сподівається, що більше технологічних компаній будуть використовувати сторонню допомогу для виявлення алгоритмічної упередженості.

“Визначити, як алгоритм може піти не так, коли він опублікований для громадськості, – це справді складне завдання для однієї команди, і, відверто кажучи, це неможливо”, – сказав Чаудрі.

“Ми хочемо створити прецедент у Twitter та в галузі для проактивного та колективного визначення шкоди алгоритмів”, – сказала вона.