Большие языковые модели

Последние несколько месяцев интернет буквально сошел с ума по нейросетям. Художники уже несколько раз похоронили свою профессию из-за Midjourney, программисты начали нервно смотреть на Copilot, а журналисты в очередной раз рассказывают нам про скорый приход искусственного интеллекта.

На мой взгляд все происходящее одновременно и сильно переоценено, и сильно недооценено.

Начнем с главного.

Никакого искусственного интеллекта пока не существует.

Вообще.

Есть большие статистические модели, обученные на огромном количестве текстов. По сути это очень сложный механизм предсказания следующего токена.

Именно токена, а не слова.

Никакого понимания текста, самосознания, намерений или мышления там нет.

Модель не понимает физику.

Не понимает математику.

Не понимает программирование.

Она просто невероятно хорошо умеет угадывать, какой следующий кусок текста должен идти после предыдущего.

И вот здесь начинается самое интересное.

Несмотря на всю примитивность базового принципа, при достижении определенного масштаба начинают возникать весьма странные свойства.

Появляется способность к обобщению.

Появляются элементы логических рассуждений.

Появляется возможность писать код, объяснять концепции, вести диалог.

Фактически количество начинает переходить в качество.

И это уже крайне любопытно.

За последние двадцать лет я видел огромное количество технологических хайпов.

Экспертные системы.

Семантический веб.

Блокчейн.

Big Data.

IoT.

Большая часть обещаний обычно разбивается о реальность.

Но с нейросетями ситуация несколько иная.

Потому что впервые за очень долгое время мы наблюдаем технологию, которая действительно начинает автоматизировать интеллектуальный труд.

Пока еще очень ограниченно.

Пока еще очень криво.

Но уже начинает.

Я бы даже сказал, что программисты пока не до конца понимают масштаб происходящего.

Большая часть нашей работы — это не создание новых алгоритмов.

Мы не каждый день изобретаем новый метод решения NP-полных задач.

Большую часть времени мы:

— ищем информацию;
— читаем документацию;
— пишем шаблонный код;
— преобразуем данные;
— генерируем бойлерплейт;
— пишем SQL запросы;
— рефакторим старый код;
— переносим данные между системами.

И вот именно здесь большие языковые модели могут оказаться крайне полезными.

Не как замена программиста.

А как усилитель.

Как экзоскелет для интеллекта.

Как компилятор для человеческих мыслей.

Проблема в том, что большинство людей сейчас обсуждает совершенно не те вопросы.

Все спорят о том, заменят ли нейросети художников или программистов.

Мне кажется вопрос должен звучать иначе.

Что произойдет, когда один инженер сможет делать работу небольшой команды?

Что произойдет, когда входной порог для создания сложных систем снизится на порядок?

Что произойдет, когда генерация кода станет дешевле, чем его чтение?

Уже сейчас количество создаваемого программного обеспечения начинает расти быстрее, чем способность людей его понимать.

Через несколько лет ситуация может стать совсем интересной.

Мы можем получить лавинообразный рост сложности систем.

Количество кода будет увеличиваться быстрее, чем количество инженеров способных его поддерживать.

Легаси станет еще более чудовищным.

Количество уязвимостей возрастет.

Количество информационного мусора возрастет.

Количество посредственного кода возрастет.

Потому что производить код станет значительно легче.

Я вообще не исключаю, что через некоторое время главным навыком программиста станет не написание кода, а способность понимать огромные объемы автоматически сгенерированных систем.

Впрочем, есть и более интересный момент.

Большие языковые модели фактически являются новым интерфейсом взаимодействия с информацией.

Последние пятьдесят лет человек был вынужден изучать интерфейсы машин.

Командные строки.

Языки программирования.

SQL.

REST API.

Языки запросов.

Теперь впервые машина начинает изучать человеческий язык.

И это может оказаться намного важнее, чем кажется сейчас.

Возможно через десять лет большая часть взаимодействия с компьютером будет происходить не через GUI, а через диалог.

Не потому что это модно.

А потому что для огромного количества задач естественный язык является более эффективным интерфейсом.

Конечно, пока модели совершают огромное количество ошибок.

Они галлюцинируют.

Уверенно выдумывают факты.

Путают причинно-следственные связи.

Иногда пишут откровенный бред.

Но надо понимать одну простую вещь.

Сейчас мы наблюдаем примерно тот же этап развития, что и в начале двухтысячных наблюдали у поисковых систем.

Люди тогда тоже смеялись над ними.

А потом оказалось, что они изменили мир.

Мне кажется большинство людей сегодня сильно недооценивает именно долгосрочные последствия.

Не факт, что через пять лет мы получим настоящий ИИ.

Скорее всего нет.

Но вполне возможно, что через десять-двадцать лет интеллектуальный труд будет выглядеть совершенно иначе.

И если это действительно произойдет, то вопрос будет уже не в том, заменит ли нейросеть программиста.

Вопрос будет в том, что вообще останется исключительно человеческой деятельностью.