Искусственный интеллект научился скрытно жульничать на заданиях

Группа ученых из Google и Стенфордского университета использовали нейронную сеть для преобразования воздушных фотографий в навигационные карты, и обратно (обратное преобразования использовало только полученную ранее карту, без доступа к исходному снимку). Это позволило бы сервисам вроде Google Maps более быстро создавать и обновлять карты из снимков с воздуха. Обратное преобразование же было нужно, чтобы было легче сверять результат с оригиналом, и тем самым проверять качество работы нейронной сети.

Ученые отметили, что программа работает хорошо... слишком хорошо. На воссозданном снимке были детали, которые должны были потеряться в результате первичного преобразования снимка в карту. Например, уличные фонари и прочие элемента ландшафта, которые не были нанесены на карту, волшебно возвращались на место при обратном преобразовании.

В итоге оказалось, что нейронной сети, вместо того чтобы придумывать, как лучше преобразовать "чистую" карту в спутниковый снимок, оказалось легче вставлять скрытые "шпаргалки" в изначально созданную карту, которые содержали скрытую информацию для обратного преобразования - такую, как мельчайшие изменения в цвете пикселей, незаметную глазу человека.

На предыдущей картинке показана разница между "обычной" картой сделанной в Google Maps (a), и картой нейронной сети, созданной из воздушного снимка (b). Между первой и второй есть зашифрованная информация (c), используя которую, можно преобразовать карту обратно в снимок (d). Разница (с) искуственно преувеличена для анализа - в реальных снимках она настолько незаметна, что даже в выделенном формате человек бы ее не заметил.

Сам способ не является новым - подобная стеганография давно используется людьми, от скрытых строчек в письмах шпионов, до цифровых водяных знаков в фотографиях. Примечательно же то, что использованию стеганографии нейронную сеть не учили и не ожидали - она до этого способа дошла сама. Более того, поскольку для проверки качества карты требовалось воссоздать снимок именно из карты, то придуманное "решение" нейронной сети оказалось непригодным - если снимок воссоздавался из скрытой информации, то он мог бы воссоздаться правильно, даже если бы полученная карта оказалось неправильной. Таким образом, этот способ является не "креативным решением", а именно шпаргалкой - то есть возможностью пройти тест, не выучив нужный материал.