Обман систем обнаружения человека с помощью цветных картинок

Обманывать систему обнаружения человека, основанную на искусственном интеллекте, с помощью цветных картинок, напечатанных на бумаге, смогли исследователи из бельгийского Лёвенского католического университета. Организованная ими атака является «конфронтационной» — она ведётся с использованием другой системы, которая базируется на принципах глубокого обучения.

Изначально коллектив учёных разбирался с тем, как можно сбить с толку обнаружитель объектов, применяемый, например, в беспилотных автомобилях. Для этого кусок бумаги прикреплялся на знак остановки. Постепенно у авторов созрела идея применить полученные результаты к системам обнаружения человека. Несмотря на то, что люди дают несравнимо больший разброс вариантов внешнего вида, чем знак остановки, исследователи смогли вводить в заблуждение механизм их обнаружения.

В ходе исследования система машинного обучения генерировала массивы данных, которые переводились в формат изображений. С их помощью и производился затем обман аналитического алгоритма обнаружения объектов.

В одном из вариантов эксперимента системе машинного обучения иногда сообщали про изображение человека, что объект на нём не является человеком. Так исследователи минимизировали класс объектов «человек». В результате создавался образец, который идентифицировался иначе, например «плюшевый медведь», а не «человек».

Другой подход, который был признан более результативным, состоял в том, чтобы система машинного обучения «думала», что ей не представлено вообще никакого объекта. Так было минимизировано число объектов, которые может обнаружить атакуемая система. Когда перед камерой стоял человек и держал в руках картинку, сгенерированную первой системой, вторая не обнаруживала этого человека.

Далее исследователи проверили свои результаты в реальных условиях и выявили несколько ограничений. Оказалось, что их метод работает только при размещении картинки прямо перед камерой и не всегда устойчив по отношению к её повороту и изменению масштаба. Кроме того, для того, чтобы применять метод в разных условиях, нужно каждый раз генерировать разные картинки.

Однако самое слабое место найденного метода состоит в том, что для успеха атаки, нужно знать, какая именно это система обнаружения объектов. Метод обмана требует, чтобы атакуемая система имела открытый код, и не работает против «чёрного ящика». По мнению некоторых экспертов, данное исследование демонстрирует важность использования проприетарных систем видеоаналитики. Проприетарность алгоритма защищает его от изучения злоумышленниками.

Источник: http://www.secnews.ru/foreign/24062.htm

17 Июля 2019

Интересно почитать

Бесплатный месяц хостинга от Макхоста!

Сайт vcctv.ru работает на хостинге Макхост! Делюсь промокодом для получения бесплатного месяца по тарифу «Мак-10»

Применение PTZ камер

В каких случаях применять PTZ камеры? На мой взгляд это сильно зависит от задачи, тоесть какого-то шаблоного применения мне лично неизвестно. И на опыте в работе видеонаблюдения установку PTZ камер приходилось устанавливать крайне редко.