Сэм Альтман не стал отрицать существование Q* - Блог про информационные технологии

СМИ писали, что опасения по поводу опасного «прорыва» в развитии ИИ-проекта стали одной из причин увольнения сооснователя компании

Сообщения Reuters о том, что в преддверии увольнения Сэма Альтмана из OpenAI группа сотрудников обратилась к совету директоров по поводу некоего прорыва в проекте Q*, который может представлять «угрозу для человечества», — это «неудачная утечка».
Так в интервью The Verge выразился сам сооснователь компании, впоследствии восстановленный в должности после бунта сотрудников и негодования инвесторов. Хотя Альтман отказался комментировать сообщения об угрозе, сама формулировка де-факто подтверждает как минимум существование Q*.

Как отмечает Barron’s, название проекта может указывать на то, что он объединяет две технологии машинного обучения: алгоритм поиска A* и модель «обучения с подкреплением» Q-learning. Продолжает в эфире CBC профессор Монреальского университета и один из «крестных отцов» ИИ Йошуа Бенжио:

«Обучение с подкреплением» — это подход к машинному обучению, позволяющий научить машину достигать определенных целей примерно так же, как мы делаем это с домашними животными. На данном этапе такие системы уступают человеку в определенных областях. В особенности там, где требуется здравый смысл и способность рассуждать. В том числе в планировании и в математике, для которых нужны высокоуровневые мыслительные функции. Сейчас даже самые продвинутые системы не могут преодолеть эту преграду. Даже ребенок сможет лучше решать определенные математические задачи, чем машина. Те же мыслительные функции используются в большинстве областей науки. С одной стороны, решить эту проблему было бы здорово. С другой, есть основания для беспокойства. Ведь, если мы преодолеем эту преграду, машины станут умнее любого из нас, и я не думаю, что общество к этому готово».

Как пишет журнал Barron’s, принадлежащий издателю The Wall Street Journal, в публикациях агентств по следам письма сотрудников OpenAI, кроме абстрактных прогнозов об «угрозе для человечества», есть и немного конкретики. В частности, там утверждается, что Q* научился решать определенные математические задачи на уровне школьников младших классов. С одной стороны, тот же WolframAlpha и без всякого ИИ умеет решать системы интегральных уравнений еще с 2009 года. С другой, для ИИ это действительно прорыв: сегодняшние чат-боты не всегда справляются даже с простой арифметикой. Их учили на многозначительных текстах, а в математике нужны четкие логические вычисления. Оценку дает директор технического департамента RTM Group Федор Музалевский:

Федор Музалевский
директор технического департамента RTM Group
«Основная тревога по поводу искусственного интеллекта — это возможный выход его из-под контроля. Пока мощные проекты искусственного интеллекта держатся в изолированных сегментах Сети, обучаются на той выборке, которую им скармливают люди, в общем-то, опасений быть не должно. Соответственно, если предполагать, то можно видеть два основных возможных следующих шага, которые вызывают опасения. Шаг первый — это доступ искусственного интеллекта в глобальную Сеть, где он может неконтролируемо получать информацию и на этом обучаться. Как простейший пример можно привести, что искусственный интеллект на основе обилия информации о войнах, убийствах и так далее может решить, что для человечества это благо, раз мы с вами немного друг друга убиваем, и надо нам в этом помочь и убить всех. Второй момент — это возможности для реализации искусственного интеллекта. Сейчас искусственный интеллект надо спросить, чтобы он что-то ответил, ну, грубо говоря, это какой-то условный чат-бот. Если же искусственному интеллекту дать возможность самостоятельно нечто создавать, опять же, в целях обучения, то это вторая точка тревоги, то есть искусственный интеллект условно сможет подселить к нам с вами на компьютер вирус просто для того, чтобы собирать дальше информацию, а собрав определенный объем информации, — здесь уже смотри пункт первый».

Сам факт того, что Альтман не стал отрицать существование Q*, по сути, ничего не меняет. Отдельные, не самые авторитетные издания вроде Daily Mail, конечно, написали о «секретной новой апокалиптической ИИ-системе», но едва ли кого-то должно удивлять, что ведущий разработчик искусственного интеллекта работает над следующей версией своего ИИ.

Что же до опасений отдельных сотрудников компании по поводу угрозы со стороны Q* — вопрос остается открытым. Сам Альтман обещал The Verge постараться сделать так, чтобы искусственный интеллект был «полезным и безопасным».