Як білий інженери створили расистський код – і чому це небезпечно для чорних людей

Опубликованно 30.12.2017 01:38

"Ви добре?" чоловік запитав два детектива з наркотиками в кінці літа 2015 року.

Детективи закінчили операцію під прикриттям наркотиків в Брентвуді, переважно чорний район в Джексонвілле, штат Флорида, який є одним з найбідніших в країні, коли чоловік зненацька підійшов до них. Один з детективів відповів, що він шукав на $50 на "жорсткий"– на сленгу кокаїн. Чоловік зник у сусідній квартирі і повернувся, щоб виконати прохання детектива, змінюючи ліки за гроші.

"Ви бачите навколо мене, мене звуть опівночі," дилер сказав, як він пішов.

До півночі йшли, то один з детективів вдалося взяти кілька фотографій з ним, непомітно фотографує з його телефон до вуха, ніби приймаючи виклик.

Через два тижні поліцейські хотіли провести арешт. Тільки інформація у них про дилера були фотографії, адресу, де обмін відбувся, і прізвисько опівночі. Безвихідь, в Джексонвілле офіс шерифа перетворилася в новий інструмент, щоб допомогти їм вистежити дилера: програмне забезпечення для розпізнавання. Особа-значення AI буде в змозі виявити вашу політику і IQ, каже професор Детальніше

Технології допомогли їм придавити підозрюваного по імені Віллі Лінч. Лінч, який був описаний поряд спостерігачів у випадку, наприклад, Джорджтаунського університету, дослідник Клер Гарві, як "дуже розумні, дуже цілеспрямовані особистості" незважаючи на те, що закінчив школу – він навіть подав його випадку рухів, які могли б бути прийняті за ті, що написані з реальним адвокатом – в результаті був засуджений до восьми років позбавлення волі. Зараз він оскаржить винесений йому вирок.

Чи Віллі Лінч "півночі" залишається неясним. Але багато експертів вважають, що технологія розпізнавання осіб використовується проти нього недоліки, особливо стосовно чорношкірих людей. Крім того, в Джексонвілле офіс шерифа використали технології – в якості основи для виявлення та арешту Лінч, не в якості одного з компонентів при підтримці твердіше доказів робить його переконаність ще більш сумнівно.

Методи, використовувані для засудженого Лінч не ясно під час його судової справи. В Джексонвілле офіс шерифа спочатку навіть не розкрити, що вони використовували програмне забезпечення розпізнавання особи. Замість цього, вони стверджували, що використовували базу даних mugshot щоб визначити Лінч на основі однієї фотографії, що слідчі взяли на ніч біржі. Для себе недосконалим біометричні'

Відсутність відповідей в Джексонвілле офіс шерифа у разі Лінча є представником проблеми, що визнання позах по всій країні. "Вважається недосконалим біометричні", - сказав Гарві, який в 2016 році створив дослідження програмного забезпечення розпізнавання осіб, опублікована центром по захисту персональних даних і технології в Джорджтауні закон, званий Вічний лайн-ап. "Немає консенсусу в науковому співтоваристві, що він забезпечує позитивний ідентифікація кого-небудь". Експерти побоюються нової технології, насправді може бути боляче спільнот поліція стверджує, що вони намагаються захистити

Програмне забезпечення, яке приймає все більш важливу роль серед правоохоронних органів в США протягом останніх декількох років, виникли суперечки через його впливу на людей кольору. Експерти побоюються, що нові технології насправді може бути боляче спільнот поліція стверджує, що вони намагаються захистити.

"Якщо ти чорний, Ви правоподобны для того щоб піддатися цій технології і технології більш ймовірно, буде неправильно," будинок комітету по нагляду високопоставленим членом Елайджа Каммінгс заявив у Конгресі слухання щодо правоохоронної використовувати для розпізнавання осіб в березні 2017 року. "Це пекельне поєднання".

Каммінгс мав на увазі такі дослідження, як Гарві. Цей звіт знайшов, що чорні обличчя, як і багато інші аспекти системи правосуддя, перш за все, необхідно ретельно контролювати за допомогою програмного забезпечення розпізнавання особи у випадках. Він також припустив, що програма, швидше за все, щоб бути невірним при використанні на чорний осіб – висновок підтверджується власні дослідження ФБР. Ця комбінація, яка робить Лінча та інших темношкірих американців живе болісно складно, народжується ще одна проблема раси, яка стала предметом національного дискурсу: відсутність різноманітності в технологічному секторі.

Алгоритми, як правило, написані білий інженерів, які домінують у технологічному секторі. Фото: Домінік Липинський/ПА Радикалізуються код

Експерти, такі як радість Buolamwini, дослідник з лабораторії Медіа Массачусетського технологічного інституту, думаю, що програмне забезпечення для розпізнавання має проблеми визнання чорні обличчя, оскільки його алгоритми, як правило, написані білий інженерів, які домінують в секторі високих технологій. Ці інженери спиратися на вже існуючі бібліотеки коду, як правило, написані інші білі інженери.

Як програміст створює алгоритми, вони звертають увагу на риси обличчя, які можуть бути більш помітним в одній гонці, але не інший. Ці міркування випливають з попередніх досліджень за методами розпізнавання осіб і практики, які можуть мати свої власні упередження, або інженера власний досвід і розуміння. Код, результати направлені в фокус на білі обличчя, і в основному тестують на білі предмети.

І хоча програмне забезпечення побудовано таким чином, щоб отримати розумніші і більш точними методами машинного навчання, підготовки даних він використовує часто складаються з білого особи. Код "дізнається", дивлячись на білі люди – які не допоможе його поліпшити з безліччю різноманітних рас.

Однак технологія простору не тільки білими. Азіати і вихідці з Південної Азії, як правило, добре представлені. Але це не може розширити пул різноманітності достатньо, щоб виправити проблему. Дослідження в області, безумовно, свідчить про те, що статус-кво просто не працює для всіх людей з іншим кольором шкіри, особливо для груп, які недостатньо представлені в технології. За даними дослідження 2011 р. Національний інститут стандартів і технологій (nist), програмне забезпечення для розпізнавання власне більш точний на азіатських обличчях, коли вони створюються фірмами в країнах Азії, припускаючи, що хто робить програмне забезпечення сильно впливає на те, як він працює.

У лекції на Ted, Buolamwini, хто чорний, згадував деякі моменти протягом всієї своєї кар'єри, коли програма розпізнавання осіб не помітив її. “Демо працював на всіх, поки він дістався до мене, і ви можете здогадатися, це. Він не міг виявити моє обличчя", - сказала вона. Facebook Твіттер Пинтерест Нерегульований алгоритмів

Навіть як використовувати розпізнавання збільшує програмного забезпечення для особи в правоохоронні органи по всій країні, тим глибше аналіз, що експерти вимагають не відбувається.

Правоохоронні органи часто не переглянути своє програмне забезпечення, щоб перевірити, запечена в расової упередженості – і немає законів або правил, змушуючи їх. У деяких випадках, як Лінч, правоохоронні органи навіть не приховуючи той факт, що вони використовують таке програмне забезпечення.

Сказав гарві вона впевнена, що поліція, використовуючи програмне забезпечення для розпізнавання більше, ніж нам кажуть, що вона називається "відмиванням доказів". Це є проблематичним, оскільки воно приховує, скільки роль відіграє програмне забезпечення розпізнавання особи в правоохоронних органах. Обидві юридичні адвокатів і програмне забезпечення розпізнавання з особи самі кажуть, що технологія повинна забезпечити тільки частина справи – не доказ, що може призвести до арешту.

"За результатами розгляду, всі розпізнавання ігор треба ставитися не інакше, як хтось кличе на можливий відрив від виділеної лінії", - пише Роджер Родрігез, співробітник визнання пильність рішень вендора особи, поштове захисту програмного забезпечення. "Тягар все одно лягає на слідчого в агентство, щоб самостійно встановити ймовірну причину для арешту", - продовжує він, – ймовірно, тому, що "повинні бути виконані з допомогою інших слідчих коштів". Зростання расистських роботів – як ІЇ навчання всі наші найгірші імпульси Детальніше

Навіть якщо програмне забезпечення для розпізнавання використовується правильно, однак технологія має суттєві недоліки базових. Фірми, що створюють програмне забезпечення не проводяться специфічні вимоги для расових забобонів, і в багатьох випадках вони навіть не випробування для них.

Однієї компанії я говорив, CyberExtruder, технологію розпізнавання осіб компанії, яка сама продає в правоохоронних органах, також сказав, що вони не проводили випробування чи дослідження з ухилом в їх програмного забезпечення. Пильно рішення відмовився сказати, є чи не вони це перевіряли. CyberExtruder ж зверніть увагу, що деякі кольори шкіри-це просто складніше для обробки в програмі з урахуванням поточних обмежень технології. "Так само, як люди з дуже темною шкірою важко визначити з високою значимістю за допомогою розпізнавання обличчя, люди з дуже блідою шкірою такі ж", - сказав Senftner Блейк, старший інженер CyberExtruder.

Що стосується Лінча, його справу в даний час грає у Флоридських судах. Годинник також не може бути перетворений назад іже з ним, хто, можливо, був несправедливо засуджений як результат недоліки програмного забезпечення, без прозорих стандартів для її використання.

Програмне забезпечення розпізнавання осіб викликає багато питань, на які потрібні чіткі відповіді. Отримавши відповіді на ці питання займе більше досліджень, також необхідна, як і вони. Це також важливо, щоб закони наздогнати технології, для того, щоб забезпечити людей, як Лінч знати інструменти, які використовуються проти них. Найголовніше, ми повинні уважніше дивитися на тих, хто робить ці алгоритми, і як вони це роблять.

Алі Бреланд-репортер на пагорбі, де він фокусується на перетині технологій і політики. З'явиться більш повний варіант цього твору у майбутньому "питання справедливості" логіки, журнал про технологіях. Відвідайте logicmag.ІО, щоб дізнатися більше.

Категория: Технологии