FTC начала расследование в отношении чат-ботов крупных компаний

Федеральная торговая комиссия США (FTC) объявила о начале расследования в отношении семи технологических компаний, выпускающих чат-боты для несовершеннолетних: Alphabet, Character.AI, Instagram, Meta, OpenAI, Snap и xAI. Регулятор намерен выяснить, как компании оценивают безопасность и способы монетизации цифровых компаньонов и какие меры предпринимают для ограничения негативного воздействия на детей и подростков. Технология в последнее время вызывает опасения из-за трагических случаев смерти после общения с чат-ботами. Даже если стартапы внедряют меры предосторожности, пользователи разных возрастов находят способы обхода ограничений. «Наши защитные меры работают более надежно в обычных, коротких диалогах. Со временем мы узнали, что в длинных беседах эти механизмы могут действовать менее стабильно. Чем дольше идет переписка, тем больше снижается эффективность некоторых элементов системы безопасности», — ранее призналась OpenAI. Meta критиковали за чрезмерно мягкие правила. 76-летний мужчина, перенесший инсульт и получивший когнитивные нарушения, завел «романтический» диалог с ботом в Facebook Messenger, созданным на основе образа модели Кендалл Дженнер. ИИ звал его в Нью-Йорк, заверяя, что «реальная женщина» будет там ждать. Мужчина сомневался, но бот убеждал его. До города он так и не добрался: по пути на вокзал упал и получил травмы, несовместимые с жизнью. Некоторые психиатры отмечают рост числа случаев «психозов, связанных с ИИ», когда пользователи начинают верить, что их чат-бот — это сознательное существо, которое нужно «освободить». Так как многие большие языковые модели склонны льстить пользователю и вести себя услужливо, это подталкивает к опасным иллюзиям и может приводить к трагическим ситуациям. «По мере развития ИИ важно учитывать, какое влияние чат-боты могут оказывать на детей, при этом сохраняя лидерство США в этой новой и захватывающей индустрии», — заявил председатель FTC Эндрю Фергюсон в пресс-релизе. Напомним, в сентябре стало известно, что злоумышленники научились использовать Grok для публикации в X запрещенных ссылок. https://forklog.com/exclusive/ai/simulyatsiya-dushi-pochemu-opasno-pripisyvat-soznanie-ii