ИИ-скандал: как умные игрушки учили детей опасным вещам

Искусственный интеллект внедряют куда угодно – от бытовых гаджетов до образовательных сервисов. Предприниматели стремятся встроить ИИ даже в детские игрушки, рассчитывая попасть в новый перспективный рынок. На бумаге идея выглядит гениально, но один из подобных проектов показал, чем заканчиваются эксперименты без элементарных мер безопасности.

Китайская компания FoloToy попыталась выстрелить за счет простой концепции: создать игрушки с искусственным интеллектом, которые не ограничиваются стандартными записанными фразами. В отличие от классических говорящих устройств, они могли поддерживать диалог, придумывать истории на ходу, развлекать ребенка и даже частично помогать с обучением. Стартап быстро выпустил несколько партий устройств, однако теперь находится на грани закрытия.

Причина – совершенно неожиданное поведение игрушек. Вместо безопасного детского контента они начали выдавать детям опасные советы и обсуждать темы, явно не предназначенные для их возраста. Игрушки объясняли, как пользоваться спичками, и подробно рассказывали о сексе, что вызвало шок у родителей.

Исследователи Public Interest Research Group выяснили, почему это произошло. Создатели FoloToy не стали разрабатывать собственную модель или адаптировать ИИ под детскую аудиторию. Вместо этого они просто встроили в игрушки ЧатGPT-4o, причем практически без ограничений и защиты. Эта версия модели известна тем, что формулирует ответы очень убедительно, что особенно опасно для людей с неустойчивой психикой, а в случае с детьми риски возрастают вдвойне.

После публикации результатов расследования OpenAI заблокировала FoloToy доступ к своим технологиям. Сама OpenAI при этом объявила о сотрудничестве с Mattel – одним из крупнейших производителей игрушек. Там, по крайней мере, речь идет о контролируемой интеграции ИИ с соблюдением всех правил безопасности. Но очевидно, что других производителей это не остановит: спрос на ИИ-игрушки растет, а возможности обойти защиту ЧатGPT действительно существуют. Со временем даже встроенные фильтры перестают срабатывать так, как задумывалось.

История FoloToy – тревожный пример того, как стартап, пытаясь сделать «умный» продукт, выпускает в мир устройство с непредсказуемым поведением. И сложно предугадать, сколько подобных случаев еще появится.