Велики језички модели

Последњих неколико месеци интернет је буквално полудео за неуронским мрежама. Уметници су већ неколико пута сахранили своју професију због Midjourney-ја, програмери су почели нервозно да гледају Copilot, а новинари нам поново причају о скором доласку вештачке интелигенције.

По мом мишљењу, узбуђење око неуронских мрежа преувеличава неке могућности, а друге превиђа. Језички модели јесу облик вештачке интелигенције, али их не бих изједначио са општим разумом људског типа. Њихов основни задатак током обучавања је предвиђање следећег токена из контекста, на основу образаца научених из великих количина текста.

Токен може бити реч, део речи или знак интерпункције. Сам тај задатак обучавања не решава питање шта сматрамо разумевањем, мишљењем или намером, нити доказује самосвест. Модели могу решавати неке задатке из физике, математике и програмирања, али њихова објашњења и даље могу бити недоследна или погрешна. Процењивао бих их према задацима које поуздано обављају и грешкама које праве.

И ту почиње оно најзанимљивије. Упркос једноставности основног принципа, када се достигне одређена размера, почињу да се јављају прилично чудна својства. Појављује се способност уопштавања.

Појављују се елементи логичког расуђивања. Појављује се могућност писања кода, објашњавања концепата и вођења разговора. Количина заправо почиње да прелази у квалитет. А то је већ изузетно занимљиво.

Током последњих двадесет година видео сам огроман број технолошких помама. Експертски системи. Семантички веб. Блокчејн. Big Data. IoT. Већина обећања обично се разбије о стварност.

Али са неуронским мрежама ситуација је нешто другачија. Јер први пут после веома дугог времена посматрамо технологију која заиста почиње да аутоматизује интелектуални рад. За сада веома ограничено.

За сада веома неспретно. Али ипак почиње. Чак бих рекао да програмери још не разумеју у потпуности размере онога што се дешава. Највећи део нашег посла није стварање нових алгоритама.

Не измишљамо сваког дана нов метод за решавање NP-потпуних проблема. Већи део времена:

• тражимо информације;
• читамо документацију;
• пишемо шаблонски код;
• претварамо податке;
• генеришемо понављајући код;
• пишемо SQL упите;
• рефакторишемо стари код;
• преносимо податке између система.

И управо ту велики језички модели могу бити изузетно корисни. Не као замена за програмера. Већ као појачивач. Као егзоскелет за интелект. Као компајлер за људске мисли. Проблем је што већина људи сада расправља о потпуно погрешним питањима.

Сви се споре о томе да ли ће неуронске мреже заменити уметнике или програмере. Мислим да питање треба другачије поставити. Шта ће се догодити када један инжењер буде могао да обавља посао малог тима?

Шта ће се догодити када праг за стварање сложених система падне за читав ред величине? Шта ће се догодити када генерисање кода постане јефтиније од његовог читања? Количина софтвера који се ствара већ почиње да расте брже од способности људи да га разумеју.

За неколико година ситуација би могла постати веома занимљива. Можемо добити лавински раст сложености система. Количина кода повећаваће се брже од броја инжењера способних да га одржавају.

Наслеђени код постаће још чудовишнији. Број рањивости ће порасти. Количина информационог смећа ће порасти. Количина осредњег кода ће порасти. Јер ће производња кода постати знатно лакша.

Уопште не искључујем могућност да ће главна вештина програмера временом постати разумевање огромних аутоматски генерисаних система, а не писање кода. Ипак, постоји и занимљивији аспект.

Велики језички модели заправо представљају нов интерфејс за интеракцију са информацијама. Последњих педесет година човек је морао да учи интерфејсе машина. Командне линије. Програмске језике.

SQL. REST API-је. Упитне језике. Сада први пут машина почиње да учи људски језик. А то може бити много важније него што сада изгледа. Можда ће се за десет година већина интеракције са рачунаром одвијати кроз разговор, а не кроз графички интерфејс.

Не зато што је то модерно. Већ зато што је за огроман број задатака природни језик ефикаснији интерфејс. Наравно, модели за сада праве огроман број грешака. Халуцинирају. Самоуверено измишљају чињенице.

Бркају узрочно-последичне везе. Понекад пишу чисте бесмислице. Али треба разумети једну једноставну ствар. Сада посматрамо отприлике исту фазу развоја кроз коју су претраживачи пролазили почетком двехиљадитих.

Људи су им се и тада смејали. А онда се испоставило да су променили свет. Мислим да већина људи данас веома потцењује управо дугорочне последице. Није извесно да ћемо за пет година добити праву вештачку интелигенцију.

Највероватније нећемо. Али сасвим је могуће да ће за десет или двадесет година интелектуални рад изгледати потпуно другачије. А ако се то заиста догоди, питање више неће бити да ли ће неуронска мрежа заменити програмера.

Питање ће бити шта ће уопште остати искључиво људска делатност.