Сэм Альтман не стал отрицать существование Q*

СМИ писали, что опасения по поводу опасного «прорыва» в развитии ИИ-проекта стали одной из причин увольнения сооснователя компании

Фото: pixabay.com/geralt

Сообщения Reuters о том, что в преддверии увольнения Сэма Альтмана из OpenAI группа сотрудников обратилась к совету директоров по поводу некоего прорыва в проекте Q*, который может представлять «угрозу для человечества», — это «неудачная утечка».
Так в интервью The Verge выразился сам сооснователь компании, впоследствии восстановленный в должности после бунта сотрудников и негодования инвесторов. Хотя Альтман отказался комментировать сообщения об угрозе, сама формулировка де-факто подтверждает как минимум существование Q*.

Как отмечает Barron’s, название проекта может указывать на то, что он объединяет две технологии машинного обучения: алгоритм поиска A* и модель «обучения с подкреплением» Q-learning. Продолжает в эфире CBC профессор Монреальского университета и один из «крестных отцов» ИИ Йошуа Бенжио:

«Обучение с подкреплением» — это подход к машинному обучению, позволяющий научить машину достигать определенных целей примерно так же, как мы делаем это с домашними животными. На данном этапе такие системы уступают человеку в определенных областях. В особенности там, где требуется здравый смысл и способность рассуждать. В том числе в планировании и в математике, для которых нужны высокоуровневые мыслительные функции. Сейчас даже самые продвинутые системы не могут преодолеть эту преграду. Даже ребенок сможет лучше решать определенные математические задачи, чем машина. Те же мыслительные функции используются в большинстве областей науки. С одной стороны, решить эту проблему было бы здорово. С другой, есть основания для беспокойства. Ведь, если мы преодолеем эту преграду, машины станут умнее любого из нас, и я не думаю, что общество к этому готово».

Как пишет журнал Barron’s, принадлежащий издателю The Wall Street Journal, в публикациях агентств по следам письма сотрудников OpenAI, кроме абстрактных прогнозов об «угрозе для человечества», есть и немного конкретики. В частности, там утверждается, что Q* научился решать определенные математические задачи на уровне школьников младших классов. С одной стороны, тот же WolframAlpha и без всякого ИИ умеет решать системы интегральных уравнений еще с 2009 года. С другой, для ИИ это действительно прорыв: сегодняшние чат-боты не всегда справляются даже с простой арифметикой. Их учили на многозначительных текстах, а в математике нужны четкие логические вычисления. Оценку дает директор технического департамента RTM Group Федор Музалевский:

Федор Музалевский
директор технического департамента RTM Group
«Основная тревога по поводу искусственного интеллекта — это возможный выход его из-под контроля. Пока мощные проекты искусственного интеллекта держатся в изолированных сегментах Сети, обучаются на той выборке, которую им скармливают люди, в общем-то, опасений быть не должно. Соответственно, если предполагать, то можно видеть два основных возможных следующих шага, которые вызывают опасения. Шаг первый — это доступ искусственного интеллекта в глобальную Сеть, где он может неконтролируемо получать информацию и на этом обучаться. Как простейший пример можно привести, что искусственный интеллект на основе обилия информации о войнах, убийствах и так далее может решить, что для человечества это благо, раз мы с вами немного друг друга убиваем, и надо нам в этом помочь и убить всех. Второй момент — это возможности для реализации искусственного интеллекта. Сейчас искусственный интеллект надо спросить, чтобы он что-то ответил, ну, грубо говоря, это какой-то условный чат-бот. Если же искусственному интеллекту дать возможность самостоятельно нечто создавать, опять же, в целях обучения, то это вторая точка тревоги, то есть искусственный интеллект условно сможет подселить к нам с вами на компьютер вирус просто для того, чтобы собирать дальше информацию, а собрав определенный объем информации, — здесь уже смотри пункт первый».

Сам факт того, что Альтман не стал отрицать существование Q*, по сути, ничего не меняет. Отдельные, не самые авторитетные издания вроде Daily Mail, конечно, написали о «секретной новой апокалиптической ИИ-системе», но едва ли кого-то должно удивлять, что ведущий разработчик искусственного интеллекта работает над следующей версией своего ИИ.

Что же до опасений отдельных сотрудников компании по поводу угрозы со стороны Q* — вопрос остается открытым. Сам Альтман обещал The Verge постараться сделать так, чтобы искусственный интеллект был «полезным и безопасным».

Межтекстовые Отзывы
Посмотреть все комментарии
guest

Геоскан представил всероссийский проект для школьников по космическому направлению

Геоскан представил всероссийский проект для школьников по космическому направлению © www.geoscan.ru ГК «Геоскан» и АНО «Развитие космического образования» начали реализацию масштабного...

«Сбер» будет осваивать микроэлектронику

Банк консультируется с предприятиями по выпуску полупроводников и со специалистами из корпорации Intel. По словам источников СМИ, речь...

Действительно ли iPhone 15 — это самый хрупкий айфон?

Видеоролик, в котором новый девайс от Apple ломается от того, что его просто гнут пальцами, набрал в YouTube...

IT-компании не хотят, чтобы правоохранители могли редактировать персональные данные

«Яндекс», VK, «Ростелеком», «Мегафон» и другие компании заявили, что подобный законопроект может представлять угрозу для IT-бизнеса Фото: Max...

Искусственный интеллект может сделать медицинское обслуживание доступнее

Речь в первую очередь идет об отдаленных населенных пунктах России Фото: Фотобанк Лори Отдаленные регионы России часто сталкиваются...

Российские ученые создали самый эффективный алгоритм для обучения и адаптации ИИ

Ученые из лаборатории исследований искусственного интеллекта (ИИ) Tinkoff Research создали самый эффективный среди мировых аналогов алгоритм для обучения и адаптации...

В работе украинского оператора связи «Киевстар» произошел сбой. Есть разные версии произошедшего

Гендиректор компании назвал сбой результатом хакерской атаки со стороны России. В Сети обсуждают другую причину — возможную национализацию...

В России появятся отечественные компьютеры на китайских чипах

В России представлены прототипы устройств на базе китайских процессоров Loongson. При этом ряд СМИ сообщили, что китайцы отказались...

Ученые в США провели третий успешный эксперимент с ядерным синтезом

Прототип реактора выделил в полтора раза больше энергии, чем было потрачено. Однако сроки коммерческого применения технологии пока не...

Исследование: 95% NFT-проектов полностью обесценились

К такому выводу пришли в компании dappGambl по итогам анализа десятков тысяч коллекций токенов. Каково будущее NFT? Фото:...

Широкополосную антенну для FM-радио и посадки самолетов импортозаместили в ЮУрГУ

 © наука.рф Ученые Южно-Уральского государственного университета запатентовали широкополосную вибраторную антенну с большим диапазоном рабочих частот. Это позволяет подключить к одному излучателю...

Ростех представил систему противодействия кибератакам

 © mashnews.ru Система RT Protect EDR обеспечивает защиту от кибератак, направленных против организаций. В своей работе система анализирует поведения объектов в почтовом и интернет-трафике,...

Белоярская АЭС: переход на импортозамещенную операционную систему

Пользователи Белоярской АЭС практически полностью перешли на отечественную импортозамещенную операционную систему.  © www.rosenergoatom.ru За три года специалисты атомной станции и Консист-ОС перевели...

«Базальт СПО» выпустила обновления ОС «Альт Сервер» и «Альт Рабочая станция»

«Базальт СПО» выпустила обновления операционных систем «Альт Сервер» 10.2 и «Альт Рабочая станция» 10.2 на платформе p10. Эти программные...

Amazon Web Services больше не отобразится в поиске

Аналогичные меры Роскомнадзор принял и в отношении других десяти компаний: Hetzner Online GmbH; Network Solutions, LLC; WPEngine, Inc.;...

«КАМАЗ» внедрил автоматическую систему управления и контроля кузнечного производства

В ПАО «КАМАЗ» завершено внедрение автоматической системы контроля и управления производством ПИФИ в кузнечно-прессовом корпусе кузнечного завода в Набережных Челнах.  © kamaz.ru Комплексное...

«Росэлектроника»: автоматизация обрабатывающих центров Курганмашзавода

Холдинг «Росэлектроника» Госкорпорации Ростех разработал специальное программное обеспечение для управления технологическими процессами промышленного оборудования Курганмашзавода.  © ruselectronics.ru Новое ПО гарантирует...

В Иннополисе открыт крупнейший в ПФО Центр обработки и хранения данных

 © strana-rosatom.ru 3 июня в татарском Иннополисе запустили первую очередь центра обработки данных (ЦОД") «Иннополис», рассчитанный на 1 тысячу серверных стоек...

В информационной системе ГАИ снова случился технический сбой

Нельзя было зарегистрировать автомобиль и получить права. До этого крупный сбой был два месяца назад. С чем это...

Основатель ИВК Григорий Сизоненко: чтобы стать технологически независимой, России нужна связка типа Intel и Windows

На информационном рынке есть четыре инфраструктуры разработки, которые на базе свободного программного обеспечения производят операционные системы. Три из...