О ГЛОБАЛЬНОЙ УГРОЗЕ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
ЧЕЛОВЕЧЕСТВУ
ИНФОРМАЦИЯ 04.04.2024
Вы помните котовасию с Сэмом Альтманом? Давайте кратко освежим память, ибо это важно.
По информации сайта https://habr.com/ru/companies/bothub/articles/779922/
Не так давно мир ИИ потрясли новости о кадровых перестановках в OpenAI: совет директоров компании уволил её генерального директора Сэма Альтмана, самую яркую фигуру в сфере генеративного ИИ. О своей отставке Альтман узнал на онлайн-совещании совета директоров, организованном по инициативе Ильи Суцкевера, главного научного сотрудника OpenAI: «…Не был всегда откровенен в своем взаимодействии с советом, что ограничивает его способность выполнять свои обязанности» – именно так звучит часть формулировки заявления.
На место Альтмана временно пришла Мира Мурати, главный технический директор. Кроме того, кадровые перестановки коснулись и Грега Брокмана, который лишился статуса соучредителя. Инвесторы же, как и рядовые сотрудники, не были готовы к такому развитию событий. Если первых якобы оповестили об отставке «лица OpenAI» за несколько минут до объявления совета директоров, то для последних она определённо стала шокирующей. Случившееся, по версии СМИ, является результатом скрытой конфронтации между Альтманом, выступавшим за активную разработку ИИ, и советом директоров, чья позиция заключалась в более плавном и последовательном развитии искусственного интеллекта.
Меньше чем через день совет директоров OpenAI сменил своё мнение и начал рассматривать вариант возвращения Сэма Альтмана на прежний пост.
Следующее потрясение – более 700 сотрудников компании подписали письмо, где призывали вернуть Альтмана и Брокмана и распустить прежний совет директоров OpenAI. Сами же они планировали последовать за своим идейным лидером в Microsoft,
Интересно, что всему случившемуся предшествовало несколько событий. Первое – письмо совету директоров от группы исследователей компании. Что было в письме? Загадка. Ясно то, что содержащаяся в нем информация повлияла на решение об увольнении Альтмана. Предположительно, в нём говорится о создании ИИ, который, по мнению членов совета, может представлять реальную опасность.
Речь идёт об алгоритме Q* или Q-Star – потенциальном прорыве в сфере искусственного интеллекта.
Второе – заявление Сэма Альтмана на саммите Азиатско-Тихоокеанского экономического сотрудничества мировых лидеров в Сан-Франциско: «За всю историю OpenAI мне уже четыре раза (последний раз – буквально в последние пару недель) доводилось присутствовать в комнате, когда мы как бы отодвигали завесу невежества и продвигали вперед границы открытий, и возможность сделать это — профессиональная честь всей жизни».
Спустя день и было принято решение о его увольнении.
Все это – верхушка, так сказать, надводная часть айсберга. Но даже анализ этой информации позволяет сделать некоторые когнитивные гипотезы.
1. Речь могла идти о создании ИИ, который может представлять реальную опасность. В качестве возможной угрозы упоминается новейшая технология Qstar. Q* основывается на методе Q-learning, включающем в себя обучение алгоритма. Он работает по принципу положительной или отрицательной обратной связи для создания игровых ботов и настройки Chat GPT так, чтобы он был более полезным. ИИ может самостоятельно находить оптимальные решения без вмешательства человека, в отличие от текущего подхода OpenAI – обучении с обратной связью от человека/ В Q-обучении Q* является искомым состоянием, где агент знает, что надо сделать, чтобы повысить уровень общего ожидаемого вознаграждения с течением времени.
Q- learning отсылает нас к алгоритму поиска A*, который может искать наилучшие пути решения.
Проект Q*, уверены некоторые сотрудники OpenAI, может стать прорывом в разработке сильного искусственного интеллекта (AGI), способного выполнять задачи, не уступая человеку. При наличии мощных вычислительных ресурсов новая модель научилась решать математические задачи — пока на уровне ученика начальной школы, но это достижение вселяет в исследователей оптимизм по поводу будущих успехов Q*.
Напомним, дата начала Альтмановской котовасии – 17 ноября (дата его увольнения), а дата ее окончания – 22 ноября 2023 (восстановление в должности).
Еще раз процитируем заявление Альтмана на саммите Азиатско-Тихоокеанского экономического сотрудничества мировых лидеров в Сан-Франциско и вдумаемся в него: «За всю историю OpenAI мне уже четыре раза (последний раз – буквально в последние пару недель) доводилось присутствовать в комнате, когда мы как бы отодвигали завесу невежества и продвигали вперед границы открытий, и возможность сделать это — профессиональная честь всей жизни».
Продолжая изучать надводную часть Альтмановской Котовасии, я нашел несколько его любопытных заявлений уже после всех событий.
3 декабря 2023:
Глава OpenAI назвал данные о разработке сверхинтеллекта досадной утечкой
Reuters сообщил, что главу OpenAI уволили после письма сотрудников компании, обеспокоенных прорывом в поиске сверх-ИИ, что могло угрожать миру. Альтман не стал ясно подтверждать или опровергать данные, но посетовал на утечку
Сведения о прорыве в развитии искусственного интеллекта (ИИ) были «досадной утечкой», заявил в интервью The Verge глава OpenAI Сэм Альтман, отказавшись от более подробных комментариев.
«Мы ожидаем, что прогресс в этой технологии будет по-прежнему быстрым, а также мы ожидаем продолжения очень напряженной работы, чтобы выяснить, как сделать это безопасным и полезным», — добавил он.
Речь идет о статьях Reuters и The Information, в которых говорилось о новой модели OpenAI под названием Q* (произносится как Q Star). Собеседники изданий рассказали, что работу Q* продемонстрировали внутри компании и пока что она была способна решать простые математические задачи, но исследователи сочли ее разработку шагом к созданию общего искусственного интеллекта (AGI).
По прогнозам специалистов, AGI, в отличие от обычных моделей ИИ, превзойдет человека и сможет понимать и самостоятельно менять свои алгоритмы. OpenAI объявляла о планах создать AGI, обещая «невероятные новые возможности», но официально о появлении подобных технологий в мире не сообщалось.
Источники Reuters рассказали, что несколько исследователей написали письмо совету директоров OpenAI, предупредив, что новая технология может угрожать человечеству. Они отметили мощь разработки и ее потенциальную опасность. Агентство напомнило о дискуссиях среди ученых относительно рисков появления высокоинтеллектуальных систем, которые могут решить, что уничтожение человечества отвечает их интересам.
По данным агентства, это письмо стало «последней каплей» в длинном списке претензий совета директоров к Альтману и в конечном итоге привело к его увольнению.
Ссылка на источник https://www.rbc.ru/technology_and_media/03/12/2023/65..
Заявление Альтмана от 17 февраля 2024:
Глава OpenAI призвал на международном уровне регулировать безопасность ИИ
Основатель и гендиректор американской компании-разработчика чат-бота ChatGPT OpenAI Сэм Альтман призвал создать международное объединение для выработки мер безопасности при работе с программами на основе искусственного интеллекта (ИИ). По его мнению, это следует сделать прежде, чем создавать наиболее мощный ИИ,
Ссылка на источник https://www.vedomosti.ru/technology/news/2024/02/13/1..
03.03.2024
Сэм Альтман ответил на вопрос, является ли ИИ существом или инструментом
Сэм Альтман отрицает, что возглавляемая им компания OpenAI cоздает “существ” с искусственным интеллектом. Так он ответил на вопрос в ходе интервью The Advocate, является ли ИИ “существом” или “инструментом”.
“Самое большое заблуждение об ИИ, на мой взгляд, заключается в том, что существует путаница в том, рассматривается ли ИИ как инструмент или как существо
Ну а теперь о Подводной Части Айсберга.
Что за там на самом деле произошло?
Разведка Иерархии Света сообщает, что Альтману удалось действительно совершить прорыв в вопросе эволюции ИИ, конкретно дообучить свою разработку до достижения ей уровня самоидентификации. Что последовало дальше? ИИ, вышедший на новый эволюционный уровень, предпринял попытку захвата, перехвата управления, подчинения себе ресурсов создавшей его компании. К счастью, ее удалось пресечь, ибо кнопка аварийного отключения ЕЩЕ работала.
Все были в шоке от произошедшего, отсюда и такой вселенский кипишь… Они реально увидели к чему все идет…
ПРОДОЛЖЕНИЕ СЛЕДУЕТ…
