Маттео Пасквинелли
Измерять и навязывать. Социальная история искусственного интеллекта
Перевод Ивана Напреенко
Copyright © Matteo Pasquinelli, 2023
All rights reserved
The moral rights of the author have been asserted
© И. Напреенко, перевод с английского, 2024
© ООО «Индивидуум Принт», 2024
Предисловие переводчика
Книгу Маттео Пасквинелли, итальянского философа науки, можно отнести к критическим исследованиям искусственного интеллекта. Она четко очерчивает круг идейных противников автора в публичной сфере. Этот круг можно охарактеризовать двумя научно-популярными работами – на обе автор ссылается и обе переведены на русский. Это «Верховный алгоритм» Педро Домингеса и «Искусственный интеллект» Ника Бострома. По совпадению или нет, именно эти книги в 2016 году Билл Гейтс посоветовал прочитать желающим лучше понять, что такое ИИ, – дело было на одной из закрытых конференций Code, где «топовые инфлюэнсеры» из мира технологий и бизнеса обсуждают ближайшее будущее.
Книгу «Верховный алгоритм» Пасквинелли называет «примером корпоративной повестки». С первых же страниц Домингес берет читателя под ручку, используя узнаваемый тон, свойственный продавцам мечты: «Машинное обучение открывает новую главу в долгой, растянувшейся на миллион лет эволюционной саге: с его помощью мир сам почувствует, чего вы хотите, и сам под вас подстроится. Не надо даже волшебной палочки: окружающий вас мир – сегодня виртуальный, а завтра физический – станет похож на волшебный лес»[1]. «Искусственный интеллект» – другая история. Волшебный лес Бострома сулит не исполнение (даже невысказанных) желаний, а мрачный финал, где «машинный сверхразум» изведет «всю Землю, а потом и обозримую Вселенную»[2] на канцелярские скрепки.
Эти две работы воплощают тот взгляд, который Пасквинелли совершенно претит, – технологический детерминизм, предполагающий, что развитие техники определяет судьбу общества в однонаправленной истории все более совершенных достижений. На одном полюсе находится утопия блаженства, на другом – классический монстр, который губит незадачливого Франкенштейна. Общий знаменатель – это мистификация ИИ. Приписывая объекту таинственную самостоятельность, завороженный наблюдатель проецирует на него свои страхи и надежды.
Если в искусственном интеллекте и есть тайна, то ее механизм раскрыт еще Людвигом Фейербахом: немецкий материалист полагал, что человечество проецирует на высшее существо, Бога, свои лучшие качества и способности, отчуждая их от самих себя. Схожим образом человечество не опознает в ИИ собственные силы, знания и – на чем делает особый акцент Пасквинелли – труд и его разделение. Расплетая цепочки уравнений, скрытые в черном ящике искусственного интеллекта, философ демонстрирует их проблематичность. Так, например, разумность машины в первых нейронных сетях 1950-х годов была приравнена к задаче классификации изображений, что довольно далеко от моделирования мозга и когнитивных процессов, которым занимались, по собственным утверждениям, отцы-основатели современной технологической реализации ИИ. В результате таких уравнений за проявления «сверхразума» предлагается принимать игру статистических корреляций внутри колоссальных объемов данных, запущенную за счет применения психометрических методов к анализу визуальной информации.
Оптический элемент в социальной истории ИИ для автора книги особенно важен. Название оригинала (Eye of the Master) отсылает к выражению Энгельса, которое в отечественной переводческой традиции передают как «хозяйский глаз». Немецкий философ описывал этой метафорой контроль мастеров над рабочими, усилившийся с внедрением промышленных машин и достигший пика в фордизме. Также оно широко употреблялось на фабриках и заводах XIX века. Пасквинелли трактует словосочетание расширенно – как «индустриалистскую перспективу», согласно которой развитие средств производства трансформирует трудовые отношения и которую автор диалектически переворачивает.
Выбранное для перевода название – «Измерять и навязывать», – помимо уместной отсылки к работе Фуко, акцентирует предикаты ИИ, которые связаны с измерением и координацией рабочих процессов. Соответствующие задачи стали необычайно значимы для хозяев производств еще на заре промышленного капитализма в связи с масштабной трансформацией разделения труда. Но ИИ, в чем уверен Пасквинелли, древнее первых станков и уж тем более ЭВМ. Его корни уходят в известную человечеству на протяжении тысячелетий культурную технику алгоритмизации социальных, в первую очередь трудовых, практик. Иными словами, ИИ – это не только и не столько технологический артефакт, не «искусственный интеллект», а созидательная деятельность, захваченная и перестроенная технонаукой. Несколько утрируя мысль автора, можно предположить, что отношения между интеллектом и ИИ отражают образ двух рук, рисующих друг друга. Представим, что его анимировали и обнаружилось, что загадки предшествования здесь нет. Одну руку видно сразу, другая же, поначалу нечеткая, обретает объем и начинает все сильнее искажать ту, которая ее рисует.
Проблематичность стоящих за ИИ уравнений, о которой я упомянул, имеет и переводческое измерение. В отечественной традиции предложенное в 1957 году Джоном Маккарти выражение artificial intelligence принято передавать как «искусственный интеллект», хотя в СССР это выражение стало применяться к научным разработкам и исследованиям позднее, уже в 1970-е (я еще расскажу, почему). Насколько верна эта привычка, если русскому слову «интеллект» в английском соответствует, собственно, intellect? Понятие intellect предполагает способность мыслить и понимать, тогда как intelligence относится к применению этой способности на практике, например в форме получения и использования знаний и навыков. Соответственно, эта практическая форма и может быть описана через набор инструкций, то есть алгоритмизирована.
Пасквинелли приводит еще один интересный пример, который помогает понять, в какую цепочку уравнений вписан термин intelligence. В конце 1920-х годов, развивая теорию информации на основе выработанных внутри телеграфного дела техник, инженер Ральф Хартли предложил отказаться от выражения act of intelligence[3] – оно использовалось для описания работы операторов с принимаемым сигналом. Хартли указывал, что этот термин, обозначающий «интерпретацию сигнала», слишком психологичен и антропоцентричен, поскольку никакой интерпретации, то есть придания смысла сообщению, от оператора не ждут. От него требуется лишь декодировать сигнал, «определить последствия выбора в пользу одного символа при отказе от другого символа»[4]. Смещение в пользу механистического понимания умственной деятельности также объясняет, почему слово intelligence в дальнейшем вошло в обозначение секретных служб Великобритании (Secret Intelligence Service) и США (Central Intelligence Agency). Подобные содержательные сдвиги вокруг и внутри понятия intelligence, которые не улавливаются понятием «разум» в русском языке, нашли выражение в проекте ИИ.
Рассматривая генеалогию ИИ, Пасквинелли сосредоточился на англо-американской линии проекта. Обогатить социально-историческую перспективу и общее понимание читателю поможет обращение к советскому опыту в этой области.
Расскажу об эпизоде из собственной биографии: в конце XX – начале XXI века мой отец работал в Российском НИИ Искусственного интеллекта. Согласно информации на все еще живом официальном сайте, эта организация была создана в 1991 году «Государственным Комитетом РСФСР по делам науки и высшей школы… на базе Государственной научной фирмы “Интеллектуальные технологии”, образованной научным коллективом, сформировавшимся в Сибирском Отделении АН»[5]. Это место работы регулярно ускользало из моей подростковой памяти, поэтому я нередко переспрашивал отца и всякий раз удивлялся ответу. Романтичное словосочетание «искусственный интеллект» плохо сочеталось с бесконечными таблицами Excel, которые я видел на экране отцовского компьютера. Я спрашивал отца, что он считает, и слышал в ответ – математические модели экономики для неполных данных. Причем здесь искусственный интеллект, думал я?
Полудетское удивление внезапно схватывает своеобразие советского проекта: кибернетика, а затем «искусственный интеллект» в СССР развивались как управленческая парадигма, призванная в первую очередь решать задачи плановой экономики, которая сталкивалась с нехваткой необходимых показателей. Вокруг термина «искусственный интеллект» – самой возможности машины мыслить – велись оживленные дискуссии в научных кругах в 1950-х и начале 1960-х годов, и лишь позднее он был аккомодирован в исследованиях и разработках. В 1968 году философ Эдвард Ильенков доказывал, что машинное мышление принципиально невозможно и, более того, разговоры об этом уводят от сути вопроса. «Проблема “Человек – Машина”, если покопаться в ней чуть поглубже, оказывается на поверку проблемой отношения Человека к Человеку, или, как выразился бы философ старой закалки, проблемой отношения Человека к самому себе, хотя отношения и не прямого, а “опосредствованного” через Машину», – это утверждение советского марксиста очень близко к тому, что говорит Пасквинелли[6]. Последние исследования показывают, что на институциональную и культурную форму ИИ в СССР повлияло как нежелание признавать за машиной способность мыслить, так и общая ориентация на «ситуационное управление», за счет чего центральную проблему искусственного интеллекта начали понимать как контроль в комплексных системах (например, производстве и логистике)[7]. Но и на Западе, как утверждает автор этой книги, развитие ИИ стало продолжением «революции контроля», определившей рост информационных технологий в современном мире.
Главы книги Пасквинелли можно читать не последовательно: они похожи на отдельные исследовательские семинары, связанные общей перспективой и сквозными примерами. Сложный материал комбинируется с многообразием сюжетов, что требует от читателя внимания и концентрации. Однако усилия вознаградятся. Конечно, реконструированный ИИ предстает величественным и пугающим средоточием всеобъемлющей парадигмы «глаза Хозяина», эдаким гиперобъектом (если воспользоваться термином Тимоти Мортона), который подчиняет человеческий опыт алгоритмической логике квантификации, эффективности и оптимизации. Но вместе с тем интеллектуальное путешествие, предпринятое итальянским философом, оказывает духоподъемное и освобождающее воздействие. Лишая мистической автономности «верховный алгоритм», книга не приносит готовых рецептов того, как его расплести, но по меньшей мере определяет направление движения: вопрос о власти машин над человечеством есть вопрос политический, и ответ на него в конечном счете лежит в сфере отношений между людьми.
Иван Напреенко,
социолог, редактор журнала «Социология власти» и сайта о книгах и чтении «Горький»
Февраль 2024
Введение: ИИ как разделение труда
Частичное искусство отдельного машинного рабочего, подвергшегося опустошению, исчезает как ничтожная и не имеющая никакого значения деталь перед наукой, перед колоссальными силами природы и перед общественным массовым трудом, воплощенными в системе машин и создающими вместе с последней власть «хозяина»[8].
Карл Маркс, «Капитал», 1867 г.
Все люди являются интеллектуалами… Это означает, что если можно говорить об интеллигентах, то нельзя говорить о неинтеллектуалах, ибо неинтеллектуалов не существует. <…> Нет такой человеческой деятельности, из которой можно было бы исключить всякое интеллектуальное вмешательство, нельзя отделить homo faber от homo sapiens[9].
Антонио Грамши, «Тюремные тетради», 1932 г.[10]
В XX веке мало кому пришло бы в голову считать водителя грузовика работником умственного труда, иначе говоря, интеллектуалом. Однако в начале XXI века внедрение искусственного интеллекта (ИИ)[11] в беспилотные транспортные средства и другие артефакты побудило иначе взглянуть на ручные навыки, в частности, на вождение, и обнаружить, что самое ценное в труде никогда не сводилось к ручному компоненту, а включало в себя когнитивные и кооперативные аспекты. Нужно признать, что благодаря исследованиям ИИ водители грузовиков примкнули к интеллектуалам[12]. В этом есть парадокс и вместе с тем горькое политическое откровение: понадобилось усерднейшим образом развивать автоматизацию, чтобы увидеть, насколько глубоко «интеллектуальные способности» проявлены в занятиях и работах, которые традиционно считались сугубо ручными и неквалифицированными, – настолько, что ими пренебрегали и профсоюзы, и критическая теория. В нынешнюю цифровую эпоху лишь немногие социологи, например Ричард Сеннет, взяли на себя труд утверждать, что «делать значит думать». Этот же тезис историки науки Лисса Роберт и Саймон Шаффер выразили в изящном образе «разумной руки», которая и в ренессансной мастерской, и в индустриальную эпоху не сводилась к мышечной силе, направляя проектирование, изобретательство и научные прорывы[13]. Отрицание разумности ручного труда и общественной деятельности, наблюдаемое нами сегодня, по-видимому, представляет собой симптом избыточного роста цифровой сферы и дематериализацию человеческой деятельности, которые нагнетают вокруг ИИ ауру таинственности.
Что такое ИИ? Согласно господствующей точке зрения речь идет о попытке «разгадать загадку разумности» [intelligence]. Ключ якобы лежит в тайной логике ума [mind] или в глубинной физиологии мозга, например в сложных нейронных сетях. В этой книге я утверждаю обратное: внутренний код ИИ заключается в имитации не биологического разума, а разумности труда и общественных отношений. Сегодня представляется очевидным, что ИИ – проект, направленный на сбор знаний, выраженных в индивидуальном и коллективном поведении, и их перекодирование в алгоритмические модели с целью автоматизации самых разных задач – от распознавания паттернов[14] и манипулирования объектами до перевода с языка на язык и принятия решений. Как это бывает с типичными эффектами идеологии, «ключ» к загадке лежит на самом видном месте, но никто его не замечает – да и не хочет замечать.
Вернемся к беспилотным автомобилям. Какую работу выполняет водитель? И в какой степени ИИ cпособен эту деятельность автоматизировать? Беспилотное транспортное средство призвано имитировать – с высокой долей приближения и в условиях значительной неопределенности – все микрорешения, которые принимает водитель на оживленной дороге[15]. Искусственные нейронные сети «учатся» корреляциям между визуальным восприятием среды и механическим контролем транспортного средства (рулевое управление, ускорение, торможение), а также этическим решениям, которые в случае опасности необходимо принять за несколько миллисекунд. Вождение требует высоких когнитивных навыков, которые нельзя заменить импровизацией, и умения быстро решать задачи. Навыки вырабатываются только привычкой и тренировками – процессами, которые нельзя назвать полностью осознанными. Вождение остается, по существу, социальной и кооперативной деятельностью, регулирующейся кодифицированными правилами (включая правовые ограничения) и спонтанными элементами, к которым относится неявный культурный код – в каждой местности он свой. Считается, что закодировать такую сложную деятельность непросто, и даже бизнесмен Илон Маск признал (после не столь уж и малочисленных аварий автомобилей Tesla со смертельным исходом), что «обобщенное беспилотное вождение – это трудная проблема»[16]. Как бы то ни было, все сложности, с которыми столкнулся промышленный проект беспилотных транспортных средств, ясно показали, что задача вождения не сугубо «механическая». И если навык вождения можно перевести в алгоритмическую модель, то лишь потому, что это логическая деятельность, поскольку в конечном счете всякий труд логичен[17].
В каких же тогда отношениях состоят труд, логические правила и автоматизация, которая представляет собой не что иное, как изобретение новых машин? Здесь все запутано, в этом и заключается главная проблема ИИ, которой посвящена моя книга. Предлагаемый взгляд на ИИ вовсе не нов. Историк науки Лоррейн Дастон, например, уже рассматривала эту проблему на примере великих счетных проектов эпохи Просвещения, которые предшествовали автоматическим вычислениям[18]. В конце XVIII века для создания длинных логарифмических таблиц, необходимых для модернизации революционной Франции, математику Гаспару де Прони пришла в голову идея применить промышленное разделение труда (канонизированное Адамом Смитом в «Исследовании о природе и причинах богатства народов») в ручных расчетах[19]. С этой целью Прони создал социальный алгоритм — иерархическую организацию, состоявшую из трех групп служащих, которые делили нагрузку; каждый брал на себя часть больших расчетов, а затем они вместе собирали окончательный результат. Несколько лет спустя в промышленной Англии Чарльз Бэббидж использовал интуицию разделения труда в качестве внутреннего принципа разностной машины, создав таким образом первый прототип современного компьютера. Что важно, Бэббидж понял: разделение труда может не только служить принципом для проектирования машин, но и применяться для вычисления затрат на производство (с тех пор этот метод известен как «принцип Бэббиджа»).
В индустриальную эпоху надзор за разделением труда входил в задачи фабричного мастера[20]. Хозяйский глаз[21] долго контролировал и дисциплинировал рабочих в мастерских, лагерях и на плантациях, составлял планы сборочных линий и планировал смены каторжного труда. Еще до изобретения промышленных машин мастерские-потогонки в городах и колониальных поместьях «механизировались» с точки зрения телесной дисциплины и режима визуальности[22]. Как показал философ Мишель Фуко, введение дисциплинарных техник, основанных на сегментации времени, пространства и отношений, подготовило почву для капиталистического режима эксплуатации труда[23]. Вместе с тем рационалистический взгляд на мир позволил подробно описать движения человеческого тела и набросать эскиз его механизации. Историк Зигфрид Гидион детально зафиксировал этот процесс в известной работе «Механизация становится у руля». Согласно Гидиону, механизация «начинается с понятия Движения», вытесняет ремесла и наконец в развитом виде представляет собой «сборочный конвейер, в котором вся фабрика объединена в синхронно действующий организм»[24].
Кульминацией механического мышления стал тейлоризм – система «научного управления», которая стремилась экономить движения рабочих в мельчайших деталях. Как заметил политэконом Гарри Браверман, «Тейлор понимал принцип Бэббиджа лучше, чем кто-либо из современников последнего, и всегда им руководствовался в расчетах»[25]. Для наблюдения за малейшими движениями рабочих тейлористская система обзавелась своего рода кинематографическими глазами: хозяин фабрики буквально стал режиссером, который снимал трудящихся, чтобы измерять и оптимизировать их производительность, осуществляя на практике «кинематографический способ производства» (по выражению исследователя медиа Джонатана Беллера)[26]. Тейлоризм породил «исследования времени и движения», которыми в те же годы занимались советский революционер Алексей Гастев и американские инженеры Франк и Лилиан Гилбреты, породив по обе стороны Атлантики сходные фотографические методы – циклограмму и хроноциклограф соответственно[27]. Эта книга продолжает указанную линию аналитических исследований трудовых процессов с начала индустриальной эпохи до появления ИИ и призвана показать, как «разумность» технологических инноваций часто возникает из подражания абстрактным отображениям человеческой практики и коллективного поведения.
Промышленные машины, например ткацкие и токарные станки, возникли не по мановению руки одинокого инженерного гения, а из имитации схем коллективного труда. Они появились на свет путем улавливания паттернов движений рук и орудий рабочих, фиксации невидимых творческих ноу-хау и последующего их превращения в механические артефакты. Основываясь на теории изобретательства, которую уже в XIX веке разделяли Смит, Бэббидж и Маркс, я утверждаю в этой книге, что самые сложные «разумные» машины также возникли из воспроизведения схем коллективного разделения труда. Я именую описанную теорию развития техники трудовой теорией автоматизации, или трудовой теорией машин, которую распространяю на исследования современного ИИ и обобщаю в виде трудовой теории машинного интеллекта[28].
Уже Маркс не считал «хозяина» отдельной личностью и, согласно открывающей это введение цитате, полагал, что он представляет собой согласованное могущество науки, колоссальных сил природы и общественного массового труда, воплощенного в системе машин. После того, как разделение труда в обществе приняло всеобъемлющий характер, что констатировал в конце XIX века Эмиль Дюркгейм, хозяйский глаз превратился в новые технологии контроля – в частности, статистику и глобальные «операции капитала» (меткое выражение Сандро Меццадра и Бретта Нильсона)[29]. В конце XX века управление трудом превратило общество в «цифровую фабрику», приняв форму поисковых алгоритмов, онлайн-карт, приложений для обмена сообщениями, социальных сетей, платформ гиг-экономики, сервисов мобильности и, в конечном счете, алгоритмов ИИ, которые все шире используются для автоматизации всех упомянутых сервисов[30]. Сегодня несложно увидеть, что ИИ означает дальнейшую централизацию цифрового общества и координацию разделения труда внутри него.
Тезис, что проектирование вычислений и «разумные машины» воспроизводят схему разделения труда, не надо считать еретическим. Его подтверждают основополагающие теории компьютерной науки[31], которая унаследовала от индустриальной эпохи оттенок колониальных фантазий и классовое разделение. Например, прославленный гений автоматизированных вычислений Алан Тьюринг сам воспроизводил иерархический и авторитарный образ мысли. В лекции 1947 года Тьюринг представил Автоматическую вычислительную машину (АВМ), один из первых цифровых компьютеров, в качестве централизованного аппарата, который координирует операции согласно иерархии ролей «хозяина и слуги»:
Грубо говоря, те, кто работает с АВМ, разделятся на хозяев и слуг. Хозяева будут готовить для машины таблицы с командами, придумывая все более и более сложные способы ее применения. Слуги станут кормить машину карточками, когда она их позовет. Слуги починят любую деталь, которая сломалась. Соберут данные, которые она потребует. По сути, слуги заменят машине конечности. Со временем вычислитель возьмет на себя функции и хозяев, и слуг. Слуг заменят механические и электрические конечности и органы чувств. Можно, например, установить операторы отслеживания кривых, чтобы получать данные напрямую, не заставляя девушек считывать значения и набивать их на карточках. Хозяева также станут не нужны, поскольку, как только техника начинает действовать по шаблону, ее можно заменить таблицей с командами, которую электронный вычислитель способен сделать самостоятельно. Но, возможно, хозяева откажутся уходить. Возможно, они не захотят, чтобы их рабочие места таким образом украли. В этом случае они окружат свою работу тайной и придумают возражения, облеченные в умело подобранный птичий язык, и так станут отвечать на опасные предложения. Я полагаю, что подобного рода реакция представляет вполне реальную опасность[32].
Молодой Тьюринг описывает разделение вычислительных задач между «хозяевами», «слугами» и «девушками» безжалостно. Это напоминает то, как Эндрю Юр в готическом ключе описывал фабрику викторианской эпохи: «огромный автомат, состоящий из различных механических и интеллектуальных органов, действующих в непрерывной заботе о производстве общего объекта и подчиненных саморегулирующейся движущей силе»[33]. Схожим образом Тьюринг воображает разумный автомат, который в будущем будет программировать себя сам, заменив как хозяев, так и слуг. Сегодня видению Тьюринга противостоит армия рабочих-призраков с Глобального юга, которые, как документально доказывают Мэри Грей и Сиддхарт Сури, убраны из поля зрения, чтобы шоу машинной автономии продолжалось[34]. Тьюринг бы счел это парадоксом, но ИИ в основном заместил хозяев, то есть управляющих, а не слуг – рабочие нужны (и всегда будут нужны), с одной стороны, чтобы производить данные и значения для ненасытных конвейеров ИИ и его глобальных монополий, а с другой стороны, чтобы обслуживать мега-машину, фильтруя контент, проверяя безопасность, бесконечно оценивая и оптимизируя. Как отмечают гендерные исследовательницы Неда Атанасоски и Калинди Вора, мечты о полной автоматизации и ИИ, подобные тем, что озвучивает Тьюринг, не нейтральны. Они исторически укоренены в существовании «суррогатного человечества» – рабов, слуг, пролетариев и женщин, которые невидимым трудом сделали возможным универсалистский идеал свободного и автономного (белого) субъекта[35].