1 
46-летний Мэтт Арнольд пришел в супермаркет Sainsbury's в районе Ист-Далвич на юго-востоке Лондона, чтобы купить товары для стендап-мероприятия в футбольном клубе Dulwich Hamlet. После того как мужчина отсканировал покупки и карту Nectar, к нему подошли двое менеджеров. Об этом пишет The Guardian.
Почему покупателя вывели из магазина?
Сотрудники заявили Арнольду, что не могут его обслужить из-за инцидента, который якобы произошел ранее. После этого они попросили мужчину покинуть магазин и попытались проводить его к выходу.
"Они просто сказали мне, что проведут меня наружу", – рассказал Арнольд. По его словам, он решил сам выйти из магазина, поскольку хотел сохранить достоинство. Сотрудники в итоге согласились не сопровождать его.
Уже на выходе Арнольд заметил на одном из мониторов системы видеонаблюдения сообщение с красным кружком вокруг его лица. Это позволило ему предположить, что именно система распознавания лиц могла стать причиной действий персонала.
Покупатель попросил оставить его покупки в тележке, чтобы за ними мог вернуться его коллега. Примерно через пять минут друг Арнольда зашел в магазин, оплатил покупки и взял их.
Я думаю, сотрудники были совершенно растеряны из-за этого, что понятно, но согласились. Мой коллега Дэйв зашел, оплатил покупки и забрал их примерно через пять минут. Не было ни паузы, чтобы задуматься, ни попытки понять, что так не ведет себя человек, который что-то ворует. Они просто слепо выполняли приказы системы, – сказал Арнольд.
На следующий день головной офис Sainsbury's связался с мужчиной и извинился за случившееся. Сеть также приостановила использование технологии Facewatch в этом магазине на время внутреннего расследования.
Представитель Sainsbury's заявил, что компания принесла извинения Арнольду за его опыт в магазине в Далвиче. В то же время в сети настаивают, что причиной инцидента стала не сама технология распознавания лиц, а человеческая ошибка.
"Sainsbury's связалась с господином Арнольдом, чтобы извиниться за его опыт в нашем супермаркете в Далвиче. Инцидент был вызван человеческой ошибкой, а не технологией распознавания лиц. Покупатели могут быть уверены, что система Facewatch имеет точность 99,98%, а каждое сопоставление проверяет обученный менеджер", – сказал представитель компании.
В Facewatch также заявили, что технология в данном случае сработала правильно. По словам представителя компании, система отправила в магазин корректное предупреждение, однако сотрудники неправильно его обработали.
"Корректное предупреждение было отправлено продавцу, но впоследствии из-за человеческой ошибки его неправильно обработали в магазине", – отметил представитель Facewatch. В компании пояснили, что приостановка работы системы в конкретном магазине является превентивной мерой. Это должно предотвратить появление новых предупреждений, пока персонал проходит дополнительное обучение. Sainsbury's также отметила, что предупреждения от системы остаются доступными на устройствах сотрудников в течение часа. Компания ведет учет всех случаев, когда человека идентифицировали неверно.
Подобные случаи уже имели место
Инцидент с Арнольдом – не первый случай проблем с Facewatch в британских магазинах. В сентябре прошлого года другой покупатель, Уоррен Раджах, был вынужден покинуть магазин Sainsbury's в районе Элефант-энд-Касл на юге Лондона после того, как система ошибочно опознала его.
Подобные ситуации возникали и в магазинах других британских сетей, в частности Home Bargains и B&M. Это стало частью более широкой дискуссии об использовании технологий распознавания лиц в общественных местах и о том, насколько сильно сотрудники могут полагаться на автоматизированные решения.
Арнольд считает, что Sainsbury's и другие компании, использующие Facewatch, должны полностью отключить систему, по крайней мере, до тех пор, пока не смогут гарантировать ее безошибочную работу.
"Sainsbury's, как и любая другая компания, использующая Facewatch, должна немедленно отключить систему, по крайней мере до тех пор, пока не сможет гарантировать, что она работает безупречно", – заявил он.
По его мнению, если проблему обнаружили в одном магазине, это не означает, что она ограничивается только им. Арнольд обратил внимание на то, что Facewatch работает как централизованная система, поэтому потенциальная ошибка может иметь более широкие последствия.
Покупатель опасается более широкого влияния ИИ
Сам Арнольд признал, что технологии видеонаблюдения могут быть полезны в отдельных ситуациях. Однако он выступает против практики, когда автоматическое предупреждение фактически превращается в готовое решение для сотрудника.
"Я не люблю культуру слежки, но могу понять, как иногда она может быть необходимой. Ненужно другое – позволять машинам принимать решения, а затем ожидать, что люди беспрекословно будут выполнять их приказы", – сказал он.
По словам Арнольда, больше всего его беспокоит вероятность того, что подобная ошибка может произойти с человеком, который не сможет за себя постоять. "Кого угодно могут ошибочно обвинить, и в какой-то момент таким человеком станет кто-то уязвимый, кто-то с проблемами психического здоровья, например с тревожностью. Это неизбежно", – отметил он.
Мужчина также опасается психологических последствий для молодых людей или тех, кому сложнее противостоять сотрудникам магазина.
"Я бы также переживал из-за разрушительного для уверенности в себе эффекта, который это может оказать на молодого человека или на кого-то, кто менее готов или способен постоять за себя так, как это сделал я", – добавил Арнольд.
В то же время Sainsbury's продолжает настаивать, что сама технология в данном случае не ошиблась. Сеть связывает инцидент с неправильными действиями персонала, тогда как Facewatch утверждает, что отправленное магазину предупреждение было правильным.
Ситуация демонстрирует главную проблему использования автоматизированных систем в магазинах: даже если алгоритм работает в соответствии со своими параметрами, окончательное решение все равно остается за людьми. Ошибка сотрудника после получения сигнала от системы может привести к тому, что покупатель фактически будет наказан за действия, которых не совершал.