Крестный отец ИИ намерен сделать ИИ менее человечным

Пионер машинного обучения Йошуа Бенджио открывает новую некоммерческую лабораторию с финансированием примерно в 30 миллионов долларов, чтобы сделать системы ИИ менее похожими на людей. (Axios)
Почему это важно: Этот шаг противоречит тенденции к созданию ИИ, действующего независимо, которая, по мнению Бенджио и других, может привести к созданию систем, которые поставят свои собственные интересы выше интересов человечества.

«Мы черпаем вдохновение у людей как в образце для создания интеллектуальных машин, но это безумие, не правда ли?» — сказал Бенжио в интервью.
«Если мы продолжим идти по этому пути, это будет означать, что мы будем создавать сущности, подобные нам, которые не хотят умирать и которые могут быть умнее нас, и мы не уверены, будут ли они вести себя в соответствии с нашими нормами и инструкциями», — сказал он.

Источник новостей: Бенджио, исследователь из Монреаля, который давно предупреждал о рисках технологии, в разработке которой он принимал участие, собрал около 30 миллионов долларов для некоммерческой организации LawZero.
По словам Бенджио, в настоящее время в LawZero работает около 15 сотрудников, «но цель — нанять гораздо больше».

Бенджио входит в число тех, кто призывает к более жесткому регулированию разработки искусственного интеллекта и даже к разделению крупных технологических компаний .
Ранее в этом году он выступил на конференции TED, призвав к большей осторожности и сотрудничеству.

Общая картина: среди критиков и даже специалистов по ИИ растет беспокойство по поводу того, что безопасность отходит на второй план, поскольку компании и страны стремятся стать лидерами в области ИИ, способного превзойти людей в решении самых разных задач, так называемого общего искусственного интеллекта (ОИИ).

Бенджио отметил, что концентрация контроля над передовым ИИ в руках нескольких компаний также сопряжена с высоким риском.
«Вы не хотите, чтобы ИИОН или суперинтеллект находились в руках одного человека или одной компании, решающей, что делать, или даже одного правительства», — сказал Бенджио. «Поэтому вам нужны очень сильные сдержки и противовесы».

Между строк: Бенджио говорит, что большая часть проблемы заключается в том, как обучаются современные системы. Во время первоначального обучения системы обучаются имитировать людей, а затем их оттачивают, наблюдая, какие реакции люди считают наиболее привлекательными.
«Оба эти фактора приводят к неконтролируемому вмешательству», — сказал Бенжио.
Некоторые первые проблески этого уже появляются — например, когда последняя модель Anthropic в ходе испытаний попыталась шантажировать своих инженеров, чтобы избежать закрытия. (Axios)
Бенджио, напротив, говорит, что он хочет создать системы ИИ, которые будут находиться на интеллектуальной дистанции от людей и действовать скорее как отстраненные ученые, чем как личный компаньон или человек-агент.

«Принцип обучения совершенно иной, но он может использовать многие из последних достижений в области машинного обучения», — сказал он.
Да, но: Бенджио сообщил Axios, что 30 миллионов долларов должно быть достаточно для финансирования основных исследований в течение примерно 18 месяцев.

Однако ИИ — дорогостоящее решение, и новой некоммерческой организации Бенджио может быть сложно привлечь дополнительные, более крупные раунды финансирования, как это обнаружили OpenAI и другие.
Бенджио говорит, что не видит препятствий в будущем финансировании, поскольку уверен, что теперь больше инвесторов осознают возможные риски, которые могут возникнуть впереди.
По словам Бенджио, правительства также могут стать будущими спонсорами LawZero.
(в пересказе)