Виявлено критичну математичну помилку, що змінила розуміння роботи штучного інтелекту

Два роки тому дослідники з Массачусетського технологічного інституту (MIT) запропонували революційну ідею: із зростанням потужності моделей штучного інтелекту (ШІ) вони нібито стають дедалі більш схожими в уявленнях про світ. Однак останні дослідження, проведені вченими з Федеральної політехнічної школи Лозанни (EPFL), спростували цю теорію, розкривши глибші та більш складні закономірності у побудові моделей ШІ.

Провал «Платонівської гіпотези представлення»

У 2024 році група науковців з MIT висунула так звану «Платонівську гіпотезу представлення». Вона припускала, що різні типи даних — текстові, відео, аудіо або зображення — в процесі навчання просунуті штучні нейромережі приходять до єдиної універсальної внутрішньої структури, що відображає «ідеальні форми» Платона. Тобто всі ШІ, ніби, починають бачити світ однаково.

Основою такої ідеї стали високі значення схожості при порівнянні векторних представлень понять, наприклад «собака», «дерево» або «автомобіль». Але команда з EPFL перевірила ці розрахунки та виявила, що більша частина отриманих результатів базується не на справжній схожості моделей, а на складній поведінці багатовимірної математики.

У чому суть помилки?

• Концентрація відстаней. В нейромережах високої складності діють специфічні геометричні закономірності, завдяки яким навіть випадкові, нерелевантні точки розташовуються на майже однакових відстанях одна від одної. Це створює ілюзію схожості там, де її немає.
• Парадокс порожніх моделей. Навіть коли дослідники порівнювали дві повністю «сирі» моделі ШІ, що не проходили жодного навчання, показники схожості виявлялися високими, що свідчить про системну математичну хибу, а не про єдиний розум нейромереж.
• Масштабне оманство. Зі збільшенням розмірів моделі рівень демонстрованої схожості автоматично зростає з суто математичних причин, а не тому, що ШІ дійсно краще «розуміє» світ.

Від Платона до Арістотеля: новий погляд на моделі штучного інтелекту

Переосмислення отриманих даних призвело вчених до відмови від ідеї про глобальний універсальний меседж штучних інтелектів та появи нової гіпотези — «Арістотелевої гіпотези представлення».

На відміну від Платона, який шукав абсолютні форми, Арістотель звертав увагу на контексти, категорії та взаємозв’язки між явищами. У цьому сенсі нейромережі демонструють локальну схожість — вони консолідують пов’язані об’єкти у спільні групи, наприклад, вантажівка і легковик можуть бути класифіковані разом, так само як і кішка з собакою. Проте загальна організація простору, логіка мислення та «світогляд» кожної моделі залишаються унікальними та суттєво відрізняються одна від одної.

Ілюстрація пояснення Арістотелевої гіпотези, заснована на концепціях локальної схожості

Що це означає для розвитку технологій і ШІ?

Попри те, що ця дискусія може здаватися теоретичною, її наслідки мають величезне практичне значення для розробників сучасних систем штучного інтелекту. Раніше фахівці сподівалися, що поступово з’явиться спільний «універсальний код мислення» для всіх ШІ, що значно спростить створення мультимодальних моделей, а також їхнє управління і безпеку.

Тепер стало очевидним, що такої єдиної універсальної структури не існує. Тому розробникам доведеться створювати нові підходи і інструменти, які зможуть враховувати фундаментальні відмінності між різними моделями і синхронізувати їхню роботу.

Як повідомляють дослідники, автори початкової «Платонівської гіпотези» визнали відкриття команди з EPFL і оцінюють його як значущий прорив у галузі комп’ютерних наук.