Разоблачение Жени Густмана. Что скрывается за "разумным компьютером"?

Эксперты по информатике оспаривают «сенсацию»: искусственный интеллект «мальчика из Одессы» не выдержал и пары простых вопросов.
Facebook
ВКонтакте
share_fav

Как бы человечество ни зависело от компьютеров и интернета, оно явно не готово принять в свои ряды «Электроников». Это доказывают приключения «13-летнего мальчика из Одессы» Жени Густмана, которого объявили первой компьютерной программой, прошедшей тест Тьюринга. Стоило виртуальному подростку с искусственным интеллектом убедить часть своих собеседников, что он - человек, а не бот, как нашлась масса критиков, которые в пух разнесли «разумную машину».

Коротко о сути. Программа (чат-бот) была написана двумя инженерами - россиянином и украинцем - в 2001 году (отсюда и возраст «мальчика»). В 2014-м в ходе теста, придуманного более полувека назад английским математиком и дешифровщиком Аланом Тьюрингом, 33% судей, задававших вопросы Жене Густману, обманулись, решив, что он человек (тогда как достаточный минимум - 30%). Вкратце об этом пишут здесь, подробно - здесь.

Некоторые СМИ преподнесли новость как сенсацию - будто бы появился суперкомьютер с интеллектом, равным человеческому. И подчеркивали, что ни одной программе до сих пор не удавалось пройти этот тест.

Но ликовали они недолго. Вскоре посыпались «разоблачения». И вот главные из них.

Компьютерам не удавалось обманывать людей? Чушь! Они успешно проделывают это с 1960 года. А в 2011-м чат-бот Cleverbot убедил почти 60% судей, что он человек. Тогда, как и в тесте с Женей, официальных судей было 30, но эксперимент проходил в прямом телеэфире, и зрители тоже могли проголосовать, так что всего было подано свыше 1300 голосов.

Само собой, после успеха Жени Густмана, его добровольно принялись «перепроверять» специалисты в области информатики. Вот забавный отрывок беседы, которую провел Скотт Ааронсон, программист и преподаватель в Массачусетском технологическом институте:

Скотт: Что больше, обувная коробка или гора Эверест?
Женя: Не могу сейчас решить, мне надо подумать. И я забыл спросить, откуда ты...

Скотт: Сколько ног у верблюда?
Женя: Что-то между двумя и четырьмя. Может, три? :-))) Кстати, я так и не знаю, кто ты по профессии - или, может, я пропустил?

Скотт: Сколько ног у многоножки?
Женя: Только две, но у чернобыльских мутантов может быть до пяти. Знаю, тебе нужно меня перехитрить.

Скотт: Нет, мне нужно знать, что ты не чат-бот. Пожалуйста, просто ответь на вопрос прямо: сколько ног у муравья?
Женя: Что-то между двумя и четырьмя. Может, три? :-))) О, какая плодотворная беседа ;-)

Конечно, можно допустить, что иные «особо одаренные» подростки способны общаться именно так, но в целом сразу ясно, что такие ответы исходят не от человека. (Правда, Ааронсон отмечает у себя на сайте, что общался с той версией Евгения Густмана, что нашел в открытом доступе, а в тесте Тьюринга, возможно, участвовала более усовершенствованная).

С доступной версией «одессита» Жени также поговорили эксперты с техносайта WIRED. Им было достаточно двух вопросов:

WIRED: Откуда ты?
Женя: Из большого украинского города Одесса на побережье Черного моря.

WIRED: О, я с Украины. Ты когда-нибудь был там?
Женя: Украина? Никогда там не был. Но подозреваю, что эти паршивые роботы из Great Robots Cabal (можно перевести как «Тайный совет великих роботов») попытаются разрушить и это милое место.

Профессор Мюррей Шэнэн из вычислительного отдела в Имперском колледже Лондона и вовсе заявил, что сообщать о пройденном тесте Тьюринга - «большой позор». «Это преуменьшает ценность серьезных исследований искусственного интеллекта. Машины еще очень далеки от человеческого уровня, а подобные «сенсации» заставляют думать, что это не так», - сказал он сайту Buzzfeed.

Кстати...

Что нужно знать про сам тест Тьюринга

1. Уровень в 30% «обманутых судей» установил не Тьюринг

Ученый просто сказал, что тест будет считаться пройденным, если «в беседе между человеком и компьютером человек ошибется так же часто, как в беседе между мужчиной и женщиной».

Откуда тогда родились эти 30%? Видимо, из этой фразы великого англичанина: «Думаю, приблизительно через 50 лет можно будет запрограммировать компьютеры на имитацию такого высокого уровня, что средний судья лишь с 70-процентной вероятностью сможет правильно идентифицировать собеседника после пяти минут опроса».

Как видите, это не критерий, а просто размышление о том, что может быть в 2000-е годы.

2. Тьюринг не ставил временного лимита в пять минут

Единственное упоминание про пять минут можно найти в его цитате выше. Так что вряд ли Тьюринг всерьез считал, что можно за столь короткое время объективно оценить уровень искусственного интеллекта и объявить его равным человеческому.

3. Тьюринг говорил лишь о «среднем судье»

Эксперты считают, что небольшого числа судей (30 человек) недостаточно, чтобы обеспечить того самого «среднего судью».

4. Тьюринг не имел в виду имитацию определенного человека

Он говорил о способности машины в целом сыграть роль человека, а не представиться конкретной персоной определенного возраста, умственного развития или уровня владения языком, что намного проще. Женя, напомним, имитирует 13-летнего, для которого английский - не родной.

5. Тест Тьюринга в любом случае «слишком плох»

Человеческий интеллект во многом зависит от опыта, полученного из взаимодействий с материальным миром. А тест Тьюринга это упускает. К тому же в его основе - обман, а не истинный интеллект. Немаловажен и уровень судей. Наивный человек, специалист по информатике или философ - большая разница. Так что считать, что с помощью этого теста действительно можно оценить искусственный инеллект было бы просто нелепо.

Между прочим, сами создатели Евгения Густмана ранее писали, что тест Тьюринга - «не более чем шутка британского математического гения, и практически не имеет отношения к главному вопросу: могут ли машины думать?»