dimabagow

Великі мовні моделі

За останні кілька місяців інтернет буквально збожеволів на нейромережах. Художники вже кілька разів поховали свою професію через Midjourney, програмісти почали нервово поглядати на Copilot, а журналісти вкотре розповідають нам про швидку появу штучного інтелекту.

На мій погляд, ажіотаж навколо нейромереж перебільшує одні можливості й упускає інші. Мовні моделі належать до штучного інтелекту, але я б не прирівнював їх до універсального розуму людського типу. Їхнє базове навчальне завдання полягає в передбаченні наступного токена за контекстом на основі закономірностей, знайдених у великих обсягах тексту.

Токен може бути словом, частиною слова або розділовим знаком. Саме це навчальне завдання не вирішує питання про те, що вважати розумінням, мисленням чи наміром, і не доводить самосвідомість. Моделі здатні розв’язувати деякі задачі з фізики, математики й програмування, але їхні пояснення все ще можуть бути суперечливими або хибними. Я б оцінював їх за завданнями, з якими вони надійно справляються, і за помилками, яких припускаються.

І ось тут починається найцікавіше. Попри всю примітивність базового принципу, після досягнення певного масштабу починають виникати доволі дивні властивості. З'являється здатність до узагальнення.

З'являються елементи логічних міркувань. З'являється можливість писати код, пояснювати концепції, вести діалог. Фактично кількість починає переходити в якість. І це вже надзвичайно цікаво.

За останні двадцять років я бачив величезну кількість технологічних хайпів. Експертні системи. Семантичний веб. Блокчейн. Big Data. IoT. Більшість обіцянок зазвичай розбивається об реальність.

Але з нейромережами ситуація дещо інша. Тому що вперше за дуже тривалий час ми спостерігаємо технологію, яка справді починає автоматизувати інтелектуальну працю. Поки що дуже обмежено.

Поки що дуже незграбно. Але вже починає. Я навіть сказав би, що програмісти поки що не до кінця розуміють масштаб того, що відбувається. Більша частина нашої роботи - це не створення нових алгоритмів.

Ми не щодня винаходимо новий метод розв'язання NP-повних задач. Більшість часу ми:

І саме тут великі мовні моделі можуть виявитися надзвичайно корисними. Не як заміна програміста. А як підсилювач. Як екзоскелет для інтелекту. Як компілятор для людських думок. Проблема в тому, що більшість людей зараз обговорює зовсім не ті питання.

Усі сперечаються, чи замінять нейромережі художників або програмістів. Мені здається, питання має звучати інакше. Що станеться, коли один інженер зможе виконувати роботу невеликої команди?

Що станеться, коли поріг входу для створення складних систем знизиться на порядок? Що станеться, коли генерування коду стане дешевшим за його читання? Уже зараз кількість створюваного програмного забезпечення починає зростати швидше, ніж здатність людей його розуміти.

За кілька років ситуація може стати зовсім цікавою. Ми можемо отримати лавиноподібне зростання складності систем. Кількість коду збільшуватиметься швидше за кількість інженерів, здатних його підтримувати.

Легасі стане ще жахливішим. Кількість уразливостей зросте. Кількість інформаційного сміття зросте. Кількість посереднього коду зросте. Тому що створювати код стане значно легше. Я взагалі не виключаю, що згодом головною навичкою програміста стане не написання коду, а здатність розуміти величезні обсяги автоматично згенерованих систем.

Утім, є й цікавіший момент. Великі мовні моделі фактично є новим інтерфейсом взаємодії з інформацією. Останні п'ятдесят років людина була змушена вивчати інтерфейси машин. Командні рядки.

Мови програмування. SQL. REST API. Мови запитів. Тепер уперше машина починає вивчати людську мову. І це може виявитися набагато важливішим, ніж здається зараз. Можливо, за десять років більша частина взаємодії з комп'ютером відбуватиметься не через GUI, а через діалог.

Не тому, що це модно. А тому, що для величезної кількості завдань природна мова є ефективнішим інтерфейсом. Звісно, поки що моделі припускаються величезної кількості помилок. Вони галюцинують.

Упевнено вигадують факти. Плутають причинно-наслідкові зв'язки. Іноді пишуть відверті нісенітниці. Але треба розуміти одну просту річ. Зараз ми спостерігаємо приблизно той самий етап розвитку, який на початку двохтисячних проходили пошукові системи.

Люди тоді теж із них сміялися. А потім виявилося, що вони змінили світ. Мені здається, більшість людей сьогодні сильно недооцінює саме довгострокові наслідки. Не факт, що за п'ять років ми отримаємо справжній ШІ.

Найімовірніше, ні. Але цілком можливо, що за десять-двадцять років інтелектуальна праця виглядатиме зовсім інакше. І якщо це справді станеться, то питання буде вже не в тому, чи замінить нейромережа програміста.

Питання буде в тому, що взагалі залишиться винятково людською діяльністю.

Великі мовні моделі