Американский союз защиты гражданских свобод (ACLU) самостоятельно проверил систему распознавания лиц от Amazon. Rekognition умеет распознавать объекты и людей и в США используется правоохранительными службами.
Программа оказалась расово предвзятой и ложно идентифицировала 28 членов Конгресса как тех, кто был арестован за преступления. ACLU самостоятельно создал базу данных из 25000 изображений людей, находящихся в розыске за различные преступления. Потом эти данные представители союза проанализировали в Rekognition, используя общедоступные фотографии членов Конгресса.
Одиннадцать человек из этих 28 (почти 40 процентов), по показаниям ACLU, были "цветными" людьми. Проблем с распознанием белых пожилых мужчин не возникало. Тест ACLU демонстрирует, что инструмент распознавания лиц Amazon является дискриминирующим. В Центре медиа-правосудия считают, что это может быть опасно для демократии.
Разработчики Rekognition, конечно же, пытались оправдать систему тем, что порог достоверности может быть увеличен. ALCU использовал в своём эксперименте 80-процентный порог, а в правоохранительных органах выставляют на все 95. Но порог в 80 процентов - это "заводская" настройка. Получается, что продукт Amazon будет плохо работать просто потому, что его таким сделали.
Конгрессмены написали письмо в Amazon с просьбой предоставить копии любых внутренних оценок точности или предвзятости программного обеспечения Rekognition. А также запросили список полицейских или разведывательных агентств, которые уже используют или хотели приобрести систему. Так как эффективность и влияние технологии еще не полностью изучены, конгрессмены считают, что лучше от неё отказаться. К тому же ни Конгресс, ни законодательные собрания штатов не приняли законы, прямо разрешающие использование системы распознавания лиц.