Цвет больших языковых моделей

В 1937 году Хорхе Луис Борхес написал характерную для него загадочную историческую заметку и литературное размышление под названием «Мыслящая машина Раймунда Луллия». Это произошло в тот самый год, когда концепция «мыслящих машин» получила мощный импульс благодаря разработке Говардом Эйкеном механического компьютера Mark I, который впоследствии эволюционировал в электронный Mark IV. За 85 лет до появления ChatGPT (выпущенного в 2022 году) Борхес обращается к событиям 650-летней давности, анализируя великое искусство Раймунда Луллия, включающее в себя ars inveniendi (искусство изобретения) и ставшее с тех пор источником вдохновения для рационалистических спекуляций. Настоящая работа представляет собой одно из пяти эссе, в которых современные обучающиеся машины рассматриваются сквозь призму творчества Борхеса. В статье исследуется, каким образом анализ Хорхе Луиса Борхеса проясняет природу и ограничения современных больших языковых моделей. Автор напоминает, что в «Путешествиях Гулливера» Джонатана Свифта уже описывалось устройство, механически собиравшее книги из обрывков фраз, и Борхес связывает его с комбинаторной традицией проектирования мыслящих машин. Данная традиция, охватывающая диски Луллия, комбинаторную книгу Раймона Кено и теорию о бесконечной обезьяне, опирается на случайную генерацию и рекомбинацию. Она противопоставляется алгоритмической традиции, представленной Антикитерским механизмом, астрономическими часами и вычислительными машинами Шиккарда, Паскаля, Лейбница и Бэббиджа, в которых задачи решаются на основе жестких правил. Автор отмечает, что астрология потерпела крах, поскольку в значительной степени полагалась на корреляцию, а не на исчисление, и что современные большие языковые модели (LLM) также базируются на корреляциях, извлеченных из артефактов человеческой культуры. В то же время большие языковые модели содержат комбинаторный элемент, управляемый посредством промптинга. Проводится параллель с УЛИПО (Oulipo): литературные ограничения, такие как написание романа без буквы «е,» стимулируют творчество, тогда как промптинг в больших языковых моделях направляет и сужает пространство поиска. Анализ цветовых мотивов у Борхеса — «красного,» «зенитального,» образов тигра и Уильяма Блейка — показывает, что борхесовский текст представляет собой утонченную критику упрощенных «мыслящих машин» и утверждение человеческой креативности и интертекстуальности, которые не могут быть сведены к механической рекомбинации и корреляции.