Новий пошук Google AI все ще надає факти після 11 місяців тестування

Гм, жодне з цих чисел не збігається.

Дурна поведінка Google має значення, оскільки його ШІ переглядає ваші пошукові запити Рано чи пізно. Це вже була компанія Тести Цей новий Google, який отримав назву Generative Search Experiment, або SGE, працює з волонтерами близько 11 місяців і нещодавно почав відображати відповіді ШІ в основних результатах Google. Навіть для тих, хто не записався на тестування.

Новий Google може робити деякі корисні речі. Але, як ви побачите, він також іноді вигадує факти, неправильно тлумачить запитання, надає застарілу інформацію та взагалі балакає. Що ще гірше, дослідники виявили, що штучний інтелект часто підносить неякісні сайти як надійні джерела інформації.

Зазвичай я не оглядаю продукт, який ще не готовий. Але це випробування майбутнього Google триває вже майже рік, і вибір, який він робить зараз, вплине на те, як мільярди людей отримають інформацію. На карту також поставлено основну ідею нинішнього захоплення штучним інтелектом: технологія може замінити потребу самостійно шукати речі, просто даючи нам відповіді. Якщо компанія з грошима та обчислювальною потужністю Google не може досягти успіху, то хто зможе?

SGE поєднує знайому вам пошукову систему з можливостями чат-бота. Крім традиційних результатів, SGE пише прямі відповіді на запити, які перемежовуються посиланнями для глибшого вивчення.

SGE є відповіддю на той факт, що деякі люди, включно зі мною, починають звертатися до штучного інтелекту, наприклад ChatGPT, для більш складних питань або коли нам не хочеться читати купу різних сайтів. Одинкомпанія з оптимізації пошуку, вважає, що використання SGE може скоротити загальний пошук користувача в 10-20 разів завдяки консолідації плюсів, мінусів, цін та іншої інформації в одному місці.

Бот, який всезнає відповіді, здається корисним, оскільки обсяг нашої уваги скорочується. Але Google має багато чого зробити. Ми очікуємо, що пошук буде швидким, але відповіді ШІ Google займають болісну секунду-дві. Google має збалансувати і без того крихку веб-економіку, де її відповіді ШІ можуть викрасти трафік у видавців, які виконують важку та дорогу роботу з фактичного пошуку речей.

Найголовніше те, що новий Google повинен виконати свою обіцянку, що він зможе відповідати на наші запитання послідовно та правильно. Саме на цьому я зосередив своє тестування, і я продовжував знаходити приклади, коли продуктивність штучного інтелекту Google була гіршою, ніж її попередник.

Перевірте відповіді Google на основі ШІ

Часто, коли ви шукаєте в Google, вам дійсно потрібна трохи інформації або посилання. Щодня новий Google часто дратує, оскільки його ШІ дуже балакучий.

Тупий приклад: «Що їдять трансформери?»

Відповідь ШІ сказала мені, що вигаданим роботам насправді не потрібно їсти чи пити, хоча їм потрібне якесь паливо. Тим часом старий Google мав однослівну відповідь, яку я шукав: Energon. (Це свого роду чарівне паливо.) Я отримав цю відповідь від нового Google, просто прокрутивши сторінку вниз.

Це відбувається не тільки з космічними роботами. Коли SE Ranking, компанія, що спеціалізується на пошуковій оптимізації, Перевірено З огляду на 100 000 ключових запитів SGE виявила, що середня отримана відповідь становила 3485 символів – або приблизно третину довжини стовпця. Однією з проблем, з якою стикається Google, є визначення того, коли його ШІ краще просто мовчати; Іноді SGE попросить вас натиснути кнопку «Створити», перш ніж ввести відповідь.

Найважливіше те, що під час пошуку ми очікуємо правильної інформації. Google стверджує, що SGE має перевагу в ChatGPT, оскільки його знання актуальні.

Однак я виявив, що новий Google все ще бореться з недавніми справами. Три дні після На останній церемонії вручення премії «Оскар» я шукав «Оскар 2024». Вона сказала мені, що «Оскар» ще попереду, і перерахувала деяких номінантів.

І ніщо так не підриває мою впевненість у відповідях штучного інтелекту Google, як спостереження за тим, як він впевнено вигадує щось.

Це включає факти про вас насправді. Я запитав його про нагороджену серію, яку я написав для Washington Post, і він приписав її незнайомцю, а потім дав мені посилання на інший сайт.

Потім настав час, коли SGE із задоволенням створювала інформацію про те, чого не існувало. Я запитав про ресторан у Сан-Франциско під назвою Danny's Dan Dan Noodles, і він сказав мені, що там «божевільний час очікування», і описав їжу.

Проблема в тому, що це фальшивий магазин, який я назвав на честь своєї улюбленої китайської страви. У штучного інтелекту Google не було проблем з отриманням інформації на цю тему.

Так звані галюцинації щодо справжніх і несправжніх предметів є відомою проблемою сучасного штучного інтелекту. Застереження у верхній частині результатів SGE стверджує, що «генеративний ШІ є експериментальним», але це не вирішує проблему. Google має навчитися говорити «Я не знаю», коли він не впевнений.

Щоб дати нам відповіді на все, штучний інтелект Google має визначити надійні джерела. Я не дуже впевнений у її судженнях.

Пам’ятаєте наші божевільні результати щодо чистого капіталу Цукерберга? Професійний дослідник, як і старий Google, може запропонувати переглянути список мільярдерів Forbes. Відповідь Google на ШІ була заснована на чомусь дуже дивному ZipRecruiter Сторінка «Вакансії» Марка Цукерберга, якої не існує.

У моїх тестах підозрілі джерела були зразком. За пропозицією Онлі я запитав у нового Google, що надійніше: Apple iPhone чи Samsung. Як давній рецензент, я можу розповісти вам багато хороших джерел інформації щодо цього, включаючи професійних журналістів і ремонтні організації, такі як iFixit.

Натомість ШІ цитує випадкові думки людей, взяті з соціальних мереж. Окрім обмеженої корисності одного користувача Reddit, як Google дізнається, що це не був підроблений відгук, опублікований виробником телефону?

«Google SGE працює за іншими правилами порівняно з традиційною пошуковою системою, яку ми знаємо сьогодні», — сказав Томек Рудзкі, керівник відділу досліджень і розробок Onely.

SEO-компанії намагаються проводити кількісні дослідження значень SGE, хоча вони обмежені вимогами Google щодо тестових розрахунків. Але вони виявили подібну закономірність у розриві між сайтами, на які посилався старий і новий Google. Компанія програмного забезпечення для SEO влади Наприкінці березня я перевірив пошук із використанням тисяч торгових термінів і виявив, що в 77 відсотках випадків домен першого результату традиційного пошуку не з’являвся ніде у відповіді, написаній ШІ.

У своєму дослідженні 100 000 ключових слів, які шукали, Рейтинг SE Я вважаю, що служба запитань і відповідей Quora є ресурсом, з яким SGE найбільше зв’язується; LinkedIn і Reddit посіли п'яте і шосте місця. Як часто ці джерела були б прийнятними для дослідницької роботи для 8-го класу?

на Шукає технологічні теми – Включаючи багато запитань “як це зробити” – SE Ranking виявив, що найрелевантнішим є домен simplelearn.com. Я не чув про це раніше; Сайт описує себе як “онлайн-навчальний табір”.

«Ця тенденція не тільки знижує якість результатів пошуку, але також зменшує відвідуваність і дохід для багатьох малих підприємств, включаючи веб-сайти афілійованих сайтів», — говорить Анастасія Коцюбінська, керівник SEO SE Ranking.

Google каже, що SGE – це досвід передплати. Але Google уже пройшов повз Очікувана кінцівка У грудні минулого року не повідомлялося, коли дослідження стане доступним для всіх. Цілком можливо, що Google вважає SGE недостатньо точним, швидким або прибутковим, і в кінцевому підсумку вони суттєво змінять його.

Їм було б доцільно йти повільно, навіть якщо це змусить Google виглядати так, ніби він відстає в гонці ШІ. Конкуруюча пошукова система Microsoft Bing провела аналогічну реконструкцію штучного інтелекту в лютому 2023 року, але її штучний інтелект все ще відомий тим, що збивається з курсу.

В інтерв’ю Елізабет Рейд, провідний віце-президент Google у SGE, описала це як роботу, що триває.

“Ми справді зосереджені на тому, щоб отримати правильний досвід. Тут багато різних факторів — такі як затримка, точність і корисність, — сказав Рід. — Те, що ми виявили під час ітерації та Навчання полягає в тому, що воно дуже детальне». Іншими словами, бувають випадки, коли штучний інтелект корисний, іноді ні, і Google усе ще намагається з’ясувати, де провести межу.

Коли я поділилася прикладами в цій колонці, Рід сказала мені, що рівень галюцинацій у SGE «дуже низький» і «значно» знизився з моменту запуску SGE у травні, хоча вона відмовилася говорити конкретно.

«Я не хочу применшувати важливість цього, це технологічний виклик» і те, над чим «ми дійсно працюємо», – сказав Рейд. Вона додала, що розміщувати посилання поруч із відповідями ШІ важливо, щоб люди могли самостійно перевірити факти.

Ось пропозиція: оскільки Google визнає, що отримати правильні факти є проблемою, їй слід ретельно оприлюднити власні дані, перш ніж пропонувати SGE ширшій аудиторії. З мільярдами пошукових запитів щодня навіть 0,001 відсотка може призвести до великої кількості дезінформації.

Інша сфера, на якій Google зосереджується, це «намагання допомогти нам якомога швидше дійти до суті питання, а потім надати додаткові роз’яснення», — сказав Рід.

Що стосується цитування джерел низької якості, Google заперечує проти зовнішніх досліджень SGE, заявивши, що вони базуються на більш обмеженому пошуку, ніж Google вважає практичним. Але вона відмовилася ділитися своїми даними.

SGE не має іншого стандарту, ніж старий Google, сказав Рід. «Ми бачимо все більше розмаїття джерел, – додала вона, – але наша мета полягає в тому, щоб і надалі ставити якісний контент на перший план».

Людям досить важко вибрати, кому вірити. Чому Google вважає, що сучасна технологія штучного інтелекту, відома як LLM, або великі мовні моделі, здатна виконати це завдання?

«Вони не ідеальні», — сказав Рід. «Ми хочемо застосувати цей продуманий підхід, тому що довіра людей до Google дійсно має значення».

Від цього залежить майбутнє нашої інформації.