Чи думають машини: китайська кімната

Розумні машини

Наукова фантастика, а також сучасні технології мимоволі змушують запитувати про межу можливостей машин. Цим почали цікавитися майже століття тому, коли з’являлися цифрові комп’ютери та програми. Здавалося б, програма може відтворити будь-що: гру в шахи, наукові обчислення чи складні мовні операції. Тоді чому б не зробити програму свідомості та встановити її у машину? Це, вочевидь, складно, але чому вважати це принципово неможливим?

Розвиток великих мовних моделей ще більше загострив це питання. ШІ може вправно володіти мовою, використовувати безліч інформації та навіть вирішувати наукові задачі рівня PhD. Фантасти минулого, мабуть, визнали б це людським рівнем.

У філософії свідомості є напрям функціоналізму. Натхнені інформаційними технологіями, його представники запропонували розглядати людську свідомість як набір функцій, які вона виконує. У грубому образі: свідомість схожа на програму, яка працює на «залізі» мозку. Відповідно, машина могла б вважатися свідомою тоді, коли виконує ті самі функції, які здатна виконувати людина.

Розум, мозок і програми

Американський філософ Джон Серль попсував багато нервів функціоналістам, доводячи (не завжди тактовно), що ідея свідомих машин позбавлена здорового глузду. Зокрема славу йому принесла стаття «Розум, мозок і програми» («Minds, Brains, and Programs»). ¹ Якщо у вас є тривожність, що Скайнет нас усіх зрештою погубить, праця Дж. Серля може вас трішки заспокоїти.

У ній філософ запропонував знаменитий аргумент китайської кімнати, аби спростувати можливість комп’ютерної свідомості. Про цей аргумент досі невтомно дискутують, хоч із часу публікації минуло вже майже півстоліття.

Що взагалі треба, аби ChatGPT нас справді зрозумів «по-людському»? Ми бачимо на екрані адекватні відповіді, проте не знаємо, що відбувається всередині машини. Навіть самі розробники не розуміють до кінця, як саме отримано конкретну відповідь ШІ, бо там працюють напрочуд заплутані імовірнісні процеси.

Ця машина продукує результати кращі за більшість людей, а також має доступ до інформації, яку не вмістить у голову і найкращий ерудит. Інколи навіть дивно, що ця програма знає більше, ніж будь-яка людина, але водночас продукує вкрай недоладні відповіді. Наприклад, ШІ може впевнено вигадати неіснуючу книжку, приписати філософу цитату, якої той ніколи не писав, або переплутати джерело, зберігаючи при цьому бездоганно академічний тон.

Ці недоладні відповіді треба пояснити. Або ШІ прикидається, аби не викликати зайвих підозр до своїх здібностей, або його «розуміння» дуже специфічне.

Слабкий та сильний ШІ

Дж. Серль запропонував розрізнення між слабким та сильним ШІ, яке має допомогти.

Сильний ШІ — це теза, що правильно запрограмований пристрій може не просто імітувати мислення, а справді має розуміння, свідомість і ментальні стани. Тобто програма не лише поводиться так, ніби мислить, а буквально мислить.

Слабкий ШІ натомість не має внутрішнього досвіду. Комп’ютер може бути корисним інструментом для моделювання розуму, розв’язання задач і дослідження мислення, а тому добре симулювати людські здібності. Проте це ніяк не створює справжнє усвідомлення.

Питання, відтак, полягає в тому, як можна було б перевірити, чи ШІ є сильним ШІ, а також чи є в принципі можливим, що одного дня він «прокинеться» та стане повноцінною свідомою істотою.

Усередині китайської кімнати

Дж. Серль пропонує уявити наступну ситуацію, аби показати, що комп’ютерна програма ще не може мати розуміння. Йдеться про уявний експеримент китайської кімнати.

Він розгортається приблизно так.

Людина сидить у коробці. Через отвір їй кидають папірці з китайськими символами. Мешканець коробки взагалі не знає китайської мови, але має напрочуд докладний довідник китайської. У цьому довіднику є інструкція щодо того, як відповідати на кожен запит.

Людина ззовні коробки отримує адекватні відповіді на свої повідомлення. У неї природно може скластися враження, що цей гібрид людини та коробки розуміє їхню розмову. Проте навряд чи цей процес пошуку відповіді у довіднику ми б назвали розумінням китайської.

За аналогією, Дж. Серль заперечував сильний ШІ: якщо машина лише виконує формальні інструкції з символами, то вона лише імітує розуміння. Для нас її відповіді мають смисл, а для самої системи це лишається правильною перестановкою знаків.

Комп’ютерна душа

Якщо придивитися до роботи розумних технологій, висновок Дж. Серля здається переконливим.

Існує модель, яка може вдало проілюструвати суть роботи комп’ютера чи іншого просунутого девайсу — машина Тюрінга. Це уявний пристрій, суть якого в наступному.

Є автомат, який зчитує символи з безкінечної стрічки. Ці символи містять вказівки. Отримуючи вказівку, автомат може переміститися в іншу частину стрічки, щось переписати, стерти чи зробити іншу дію зі стрічкою.

А. Тюрінг показав, що така модель може реалізувати будь-який алгоритм, якщо він узагалі може бути виконаний механічно. ⁴ Якщо задати точний набір правил, можна вирішити будь-яку вирішувану задачу.

Сучасний комп’ютер працює приблизно так само, завдяки чому на ньому можна запускати різні програми. А це означає, що пристрої можуть симулювати практично все, що можна подати як алгоритмічну процедуру.

Ситуація не зміниться, якщо візьмемо за приклад великі мовні моделі. Вони технічно значно гнучкіші за просту машину Тюрінга, але фундаментальний принцип роботи той самий. Через мовні моделі пропустили великі масиви даних так, щоб вони могли відтворювати закономірності в них.

Наприклад, це стосується використання певного слова. ChatGPT обирає слово не тому, що переживає його зміст, а тому, що працює з імовірнісними зв’язками між словами та текстовими патернами. Якщо запитати ChatGPT, чи милі кошенята, він спиратиметься на величезну кількість зв’язків між «милий» і «кошеня» та значно слабші зв’язки між «огидний» і «кошеня». Так ми отримуємо щось на кшталт: «Класне запитання! Так, кошенята справді милі…». Тобто йдеться про напрочуд хитромудрий, але все ж таки словник.

Так само працює комп’ютер, який свого часу виграв у Г. Каспарова в шахи. Маючи базу даних ходів і алгоритми оцінки позицій, цей комп’ютер уже навряд чи програє людині, але хибно вважати, що він грає в шахи та розуміє їх так, як це розуміє Г. Каспаров. Якщо взяти людину, котра нічого не знає про шахи, але має інструкцію на кожен можливий хід, навряд чи скажемо, що вона справді розуміє цю гру, навіть якби виграла чемпіонат світу.

Як у словах ховається смисл

Припустімо, механічних перестановок символів недостатньо, аби їх дійсно розуміти та бути свідомим суб’єктом. Але як тоді це розуміння взагалі досягається? Можливо, ми самі працюємо як машини? Чим ми відрізняємося від комп’ютерів у цьому плані?

Різниця помітна, якщо придивитися до рівнів мови.

ChatGPT — справжній майстер синтаксису: він використовує патерни краще за людей, через що так добре володіє мовою. Проте, наполягає Дж. Серль, тут немає звідки взятися семантиці. Від кращої перестановки символів їхнє розуміння чи тим більше свідомість не з’являться.

Ця прірва принципова, бо не може бути якоїсь потужнішої технології чи механічної деталі, яка змусила б ШІ усвідомити, що він робить. Він теоретично може стати настільки просунутим, що справді зруйнує людство, якщо постараються інженери, але не буде свідомим драми такого дійства.

Особливості навчання мовних моделей місцями перегукуються з висновками Дж. Серля. Приміром, існує феномен колапсу моделі. ⁵ ШІ вчиться на даних, створених людьми, і справно працює. Проте коли він починає вчитися на контенті штучної генерації чи на результатах попередніх моделей, то стає наче п’яним. ШІ відходить дедалі далі від первинних даних, продукує все неадекватніші відповіді, які не відповідають дійсності, та «колапсує» як модель. Це добре ілюструє брак семантичного рівня: система, яка працює з імітаціями без прямого доступу до смислу і світу, втрачає навіть видимість зв’язку з реальністю, коли не може опертися на стійку базу зв’язків.

Такий колапсований ШІ справді скидається на закритого в коробці чоловічка без доступу до зовнішнього світу. Тільки тепер він починає керуватися не нормальним, а зміненим довідником з китайської. У цьому довіднику багато переплутаних ієрогліфів з неясними зв’язками. Через це він дає незв’язні відповіді, і зовнішній спостерігач може констатувати, що ця китайська кімната колапсувала.

Лихо від аналогій

У Дж. Серля є ще одна думка, яку варто пам’ятати у час стрімкого технологічного розвитку. Йдеться про хибу нашого мислення за аналогією.

Коли з’являється нова технологія, людина поспішно береться її порівнювати з власним розумом. У XVII столітті мислення пояснювали за аналогією з годинниками і млинами; у XIX — через телеграф; у XX — через комп’ютер. Нам простіше пояснити для себе роботу технологій, якщо уявити, що вони думають так, як ми.

Це може бути корисно, але варто не перекладати на техніку суто людську здатність свідомо спрямовувати свій розум на щось — наше суб’єктивне дзеркало світу у свідомості. ШІ може скласти чудове оповідання через свою вправність зі символами, але лише людина, читаючи його, наче потрапляє в цю історію, бо її образи стають реальними у її голові. Через це людина здатна плакати чи сміятися, проживаючи прочитану оповідку.

Знову ж таки, аби не робити цієї помилки, варто пам’ятати, що практично кожен процес можна описати як певну програму: є вхідні дані, вони обробляються системою, і ми отримуємо результат на основі правил цієї програми. Це робить і комп’ютер, і кавоварка, і автомобіль, і термометр. Про шлунок теж можна говорити як про програму, адже він якось «знає»: отримавши піцу, він мусить із нею щось зробити, аби дати організму поживні речовини. Проте програма шлунку не зможе фактично перетравлювати піцу, а цифрова програма розуму не буде свідомим, справжнім розумом.

То звідки свідомість?

Нехай кожна машина лише симулює процеси і програма людського розуму не буде справді що-небудь розуміти. Проте навіть якщо це так, ми однаково не знаємо, що дозволяє нам бути свідомими істотами.

Дж. Серль вважав, що свідомість — це насамперед біологічний феномен, який можна порівняти з фотосинтезом ³ . Для фотосинтезу потрібна рослина з відповідними органелами, а для свідомості — нервова система і мозок з відповідною структурою.

Проте тут його відповідь має слабкість, бо не дуже зрозуміло, чому і як певне поєднання біологічних елементів мусить створювати свідомість. Тут це не так очевидно, як у випадку фотосинтезу. Якщо справжню реакцію фотосинтезу можна отримати без рослин, то гіпотетично свідомість можна отримати поза мозком, зокрема в межах пристрою.

У кожному разі наявна траєкторія розвитку технологій не дає підстав думати, що ускладнення чергової програми породить свідомість. Однак допоки ми справді не знаємо, як отримується свідомість, також не можемо знати напевне, чи можна її реплікувати в чомусь неживому.

Питання штучного інтелекту досі залишається насамперед питанням природи нашого власного ума.

Джерела

1. 1

   Searle, J. R. (1980). Minds, brains, and programs. Behavioral and Brain Sciences, 3(3), 417–424.

   Посилання
2. 2

   Searle, J. R. (1990). Is the brain’s mind a computer program? Scientific American, 262(1), 26–31.

   Посилання
3. 3

   Searle, J. R. (1992). The Rediscovery of the Mind. MIT Press.
4. 4

   Turing, A. M. (1936). On computable numbers, with an application to the Entscheidungsproblem. Proceedings of the London Mathematical Society, 42(1), 230–265.

   Посилання
5. 5

   Shumailov, I., Shumaylov, Z., Zhao, Y., Papernot, N., Anderson, R., & Gal, Y. (2024). AI models collapse when trained on recursively generated data. Nature, 631, 755–759.

   Посилання