Як алгоритми штовхають технологічних гігантів в небезпечну зону
Опубликованно 06.12.2017 02:44
Facebook просить користувачів надсилати їм свої оголені фотографії в проект по боротьбі з порно помста'. Фотографія: Alamy Складі
Раніше в цьому місяці Facebook оголосила про нову пілотної програми в Австралії, спрямовані на припинення "порно з помсти" – недобровільний обмін ню чи інакше відверті фотографії – на своєму майданчику. Їх відповідь? Просто відправте Facebook свої оголені.
Так, це вірно: якщо ви турбуєтеся про кого поширює свої відверті фотографії на Facebook, ви повинні відправити ці образи на Facebook себе.
Якщо це звучить для вас як якась хвора жарт, Ви не самотні. Майже всі, кому я говорив про це ж плюють на все приміщення. Але крім того, що смішно, це ідеальний приклад того, як сьогоднішні технологічні компанії над їх головами, намагаються спроектувати їх вихід із складних соціальних проблем – навіть не сумніваюся в тому, що їх бізнес-моделі, по суті, створили ці проблеми.
Щоб побачити, що я маю на увазі, давайте подивимося, як нова система Facebook повинен працювати: якщо ви турбуєтеся про порно помсти, ви заповнити онлайн форму з Австралії комісара безпечне управління. Це відомство повідомляє Facebook, що ви подали заявку. Звідти ви посилаєте зображення питання для себе через месенджер Facebook. Група в Facebook отримує ваші зображення, коментарі, потім створює чисельну відбиток він відомий як "хеш". Facebook зберігає хеш-ваші фото, але не саме фото, і повідомляє вас, щоб видалити свою фотографію з Messenger. Після того як ви зробили так, Facebook говорить, що це також буде видалити фото зі своїх серверів. Потім, коли користувач завантажує фотографію на платформу, алгоритм перевіряє ціни на базі. Якщо алгоритм вважає, що фото відповідає один повідомив, як порно помсти, користувачеві не буде дозволено розмістити його.
Марк Цукерберг каже про захист цілісності демократичного процесу, після Росії-групи заплатили за політичну рекламу на Facebook під час виборів в США. Фото: Facebook за допомогою YouTube
Просто подумайте про всіх способів, що це дико і неправильно. По-перше, щоб змусити систему працювати на всіх, ви повинні не тільки мати цифрові копії всіх зображень, які можуть бути розподілені, але також бути зручними з купою незнайомих людей в Facebook вдивлявся в них, і вірю, що хешування система буде реально зловити подальші спроби завантаження зображення. І це за умови, що все працює так, як планувалося: те, що Ви не запороти процес завантаження і випадково відправити їх комусь ще, що Facebook співробітники не зловживають своїми фотографіями, що ваш Посланець аккаунт не буде зламаний, що Facebook буде видаляти зображення зі свого сервера, коли він говорить це. Коротше кажучи, ви повинні вірити, що дизайн Facebook, в серверних баз даних, а працівники здатні плавно регулювати виключно особисту інформацію. Якщо жодна з цих речей не працює зовсім правильно, користувач ризикує приниження – або гірше. Один чоловік отримав відео з Facebook набір в джазову музику, демонструючи його автомобільної аварії і наступною поїздкою в лікарню
Зважаючи на послужний список Facebook мати справу з делікатних питань, це не ризик, кожен з нас повинен взяти. Зрештою, це компанії, які дозволяють проросійських організацій придбати оголошення спрямовані на підрив демократії під час виборів 2016 (оголошення, які компанія зараз визнає, мільйони людей бачили). Це компанія, яка побудувала оголошень-таргетинг платформи, що дало змогу рекламодавцям вибирати цільову аудиторію за категоріями антисемітської аудиторії, в тому числі "єврей ненависників" і "як горять євреї". І це компанія, яка зачерпнув скріншот графічного зґвалтування небезпечний журналіст отримав і відповідав на її Instagram рахунок, і перетворили її в Пеппі оголошення для Instagram (якою він володіє), що було потім вставити її подруги по Facebook сторінок.
І це тільки за останні кілька місяців. Заглядаючи ще далі в минуле, ми можемо знайти безліч більш сумних історій – як раз в 2012 році, коли Facebook видав два веселих студентів з Техаського університету, Боббі Дункан і Тейлор Маккормік. Студенти використовують налаштування приватності Facebook, щоб приховувати свою орієнтацію від сім'ї, але Facebook опублікувала оновлення для свого профілю кажуть, що вони приєдналися до дивним хором.
Або як щодо запуску в 2014 році Facebook в відгук характеристика, в якій зібрані найбільш популярний контент і упакувати його для вас, щоб пережити? Мій друг Ерік Мейер уникав цю функцію, але Facebook створив для нього все одно, і вставив його в свій канал. На її обкладинці було обличчя його шестирічна дочка, Ребекка, що супроводжується ілюстраціями з повітряних куль, серпантину і люди танцюють на вечірці. Ребекка помер раніше в тому році. Але алгоритм Facebook не знаю, чи це є хорошим або поганим зображення на поверхню. Він тільки знав, що він був популярний.
Починаючи з року, Facebook був заведений цей алгоритмічно згенеровані типу святковий нагадування. Тепер є цей день, який, незважаючи на говорю Facebook я не хочу бачити ці пости, досі спливає в моїй стрічці, принаймні, один раз в тиждень. Є також день друзів, фальшивий свято, де Facebook відправляє алгоритмічно згенерованих фотомонтажі користувачів зі своїми друзями – в результаті одна людина отримує відео набір в джазову музику, демонструючи його автомобільної аварії і наступною поїздкою в лікарню.
Але Facebook продовжує вводити повідомлення і конструкцій в пам'яті користувачів. Тільки минулого тижня, моя сестра-в-законі отримав повідомлення покриті повітряними кулями і палець вгору знаки розповідати їй, скільки людей любили її пости. Зображення, які вони показали з ним? Фотографію своєю зламаною ногою в гіпсі. Я можу запевнити вас, вона не відчувала себе особливо пальці з приводу падіння зі сходів.
Пеппа і Джордж, щоб бути приготованим відьмою в спин-оффе YouTube з серії свинка Пеппа. Джерело: YouTube
Що всі ці помилки об'єднує те, що вони не повинні були статися. Вони відбуваються тільки тому, що Facebook інвестує набагато більше часу і енергії в будівлю алгоритмічно керовані функції, призначені для їзди залучення користувачів, або дати більше контролю для рекламодавців, ніж думати про соціальні і культурні наслідки, що робить його легко для 2 мільярдів людей, щоб обмінюватися контентом. Ти повинен розбити пару яєць, щоб зробити омлет. Ви повинні травмувати кілька дітей, щоб побудувати $600 мільярдів глобальних чудовиська
Це не тільки Facebook, який звернувся до алгоритми для відпрацювання взаємодії за останні кілька років, звичайно – це велика частина ІТ-індустрії, особливо в частині, пов'язаних з рекламних доходів. Раніше в цьому місяці, письменника Джеймса Брайдла опублікована в глибокий погляд на підчерев'я страшним, жорстоким змістом, орієнтованих на дітей на YouTube – від підробки свинка Пеппа мультфільми, такі як один похід до стоматолога перетворюється в графічний тортур сцени, щоб живого дії "брутто-" ролики, в яких показують реальних пацанів блювання і болі.
Ці ролики виробляються і додано на YouTube тисячі, потім з тегом що вуздечку називає "сайту салат" – довгі списки популярних пошукових термінів, запаковані у своїх назвах. Ці ключові слова призначені для гри або маніпулювати алгоритм, який сортує, оцінює і вибирає контент для користувачів, щоб бачити. А завдяки бізнес-моделі, спрямованої на максимізацію видом (і, отже, дохід від реклами), ці відео будуть автоматично відтворені і заохочувати дітей, засновані на їх "схожість" – принаймні з точки зору ключових слів, що використовуються в змісті, що діти вже бачили. Це означає, що дитина може почати дивитися нормальні Пеппа серіал свинка на офіційному каналі, закінчити його, тоді автоматично занурюється в темні, жорстокі і несанкціонованого епізод – без батьків не усвідомлюючи цього.
Відповідь на YouTube, Щоб проблема була вручити відповідальність за своїх користувачів, попросивши їх відео Поскаржитися. Звідти відео, щоб група з огляду каже, що YouTube складається з тисяч осіб працюють 24 години на добу, щоб розглянути вміст. Якщо Контент буде визнаний невідповідним для дітей, він буде з обмеженням за віком і не з'являються на YouTube діти додаток. Він буде як і раніше з'являються на YouTube, проте, де, офіційно, користувачам повинно бути принаймні 13 років, але в реальності, все ж система, яка незліченна кількість дітей використовувати (просто подумайте, як часто знервовані діти вручили телефон або планшет, щоб тримати їх зайнятими в публічному просторі).
Схема як Facebook, цей підхід має кілька недоліків: оскільки він намагається вивідати небажаного відео від утримання дітей, цілком ймовірно, що більшість людей, які стикаються з цими відео і самі діти. Я не очікую багато шестирічок, щоб стати найближчим часом агресивного Вмісту модераторів. І якщо Контент потрапляє, він ще повинен бути розглянутий з боку людини, який, як YouTube вже визнав, приймає "цілодобово" моніторинг.
Коли ми говоримо про такого роду виклик, тек компаній Вам відповість, що це просто неминучість накипу – немає ніякого способу, щоб обслуговувати мільярди користувачів нескінченні потоки привабливого Контенту, не отримуючи це неправильно або допускає зловживання, щоб прослизнути повз якогось часу. Але, звичайно, ці компанії не повинні робити нічого з цього. Авто-грати в нескінченний потік алгоритмічно вибраного відео для дітей-це не якийсь мандат. Інтернет не повинен стати шведський стіл "запропонував Контенту". Це вибір, що YouTube зробив, тому що вид реклами вид реклами. Тобі потрібно розбити пару яєць, щоб зробити омлет, і ти повинна травмувати дітей, щоб побудувати глобальну "Бегемот" на суму $600 мільярдів. Facebook просить користувачів для ню фотографії в проект по боротьбі з порноместь Детальніше
І ось питання: в їх немигаючі прагнення до зростання протягом останнього десятиліття, ці компанії будували свої платформи навколо об'єктів, які не тільки уразливі для зловживань, але буквально оптимізовані для нього. Взяти систему, яку легко гра, вигідно зловживання, переплітається з нашим вразливих людей і наші самі інтимні моменти, і експлуатації на дані, які неможливо контролювати або навіть контролювати, і це те, що ви отримуєте.
Тепер питання, коли ми змушуємо високотехнологічних компаній рахуватися з тим, що вони обробилися? Ми вже давно вирішили, що ми не дозволимо компаній продають цигарки дітям, або поставити азбесту в будівельних матеріалах. Якщо ми хочемо, ми можемо вирішити, що є межі того, що технологія може зробити, щоб "зав'язати" з нами теж, а не дивитися ці платформи обертатися далі і далі від утопічних мрій вони нам були продані.
Технічно неправильно: Сексистські додатків, упереджено алгоритмів та інших загроз токсичних технологій Сара вахтер-Ботчер є опублікований компанією Symantec. Замовити копію за ?20 йти bookshop.theguardian.com або зателефонуйте 0330 333 6846. Безкоштовна Великобританії p І p ?10, онлайн замовлення тільки. Замовлення по телефону хв п&п ?1.99
Категория: Технологии