«Люди потеряли контроль над ИИ». YouTube делегировал модерацию своим алгоритмам и спровоцировал волну блокировок

Весной YouTube сократил численность сотрудников в офисах и на время пандемии делегировал своим алгоритмам модерацию контента. Автоматизированные системы, которые раньше лишь помогали специалистам, получили возможность без участия человека блокировать материалы, нарушающие правила сервиса. При этом YouTube заранее предупредил авторов контента, что алгоритмы могут ошибаться, и в случаях некорректных банов попросил подавать апелляции, которые, по задумке, должны рассматривать в том числе и люди. Правда, добраться до них оказалось непросто.

Осенью компания отчиталась о рекордном количестве квартальных блокировок из-за слишком суровых алгоритмов и пообещала вновь привлечь модераторов для проверки контента. Но ситуация, судя по всему, особо не изменилась — ИИ, например, уже месяц банит продвижение одного из российских YouTube-проектов, а компания не может с этим ничего сделать. Теперь авторы планируют подать иск к Google с требованием разъяснить систему работы алгоритмов.

Алгоритмы YouTube против YouTube

16 марта, когда коронавирусная пандемия набирала обороты, YouTube официально сообщил, что в целях безопасности сократит численность сотрудников в офисах. Речь прежде всего шла о тысячах модераторов и экспертов, оценивающих спорный контент. По этой причине YouTube, как утверждалось в его блоге, стал больше полагаться на автоматизированные системы — алгоритмы получили возможность блокировать часть материалов, которые, по логике машины, нарушают правила сервиса.

Подобным образом компания работала и раньше, но в обычном режиме, до пандемии, потенциально опасный контент, обнаруженный ИИ, отправлялся для дальнейшей оценки живым экспертам. В 2020-м их роль частично делегировали алгоритмам, причём YouTube заранее предупредил, что те могут ошибаться и банить видео, которые не нарушают правила. В таком случае компания посоветовала авторам контента, которые уверены в соблюдении правил со своей стороны, подавать апелляции и обжаловать решения машины у команды сервиса.

В конце августа YouTube отчитался о блокировке 11 млн видео за апрель — июнь 2020 года. Сервис признал, что это рекордное количество материалов, которые он когда-либо банил в пределах одного квартала. Позднее директор по продукту YouTube Нил Мохан рассказал, что показатель в 11 млн — это вдвое больше обычного.

«Для некоторых чувствительных областей политики компании мы допустили более низкий уровень точности [ИИ], чтобы убедиться, что мы удаляем как можно больше контента, содержащего насилие. Это также означает, что в этих областях было удалено больше контента, не нарушающего нашу политику», — говорилось в официальном блоге YouTube.

В разговоре с FT Нил Мохан подчеркнул, что во втором квартале 50% апелляций были удовлетворены и YouTube восстановил 160 тыс. заблокированных видео. В то же время директор по продукту отметил, что скорость, с которой автоматизированные системы блокируют вредоносный контент, бесценна: более 50% из 11 млн таких видео были забанены до первого просмотра пользователем, а 80% изъятых роликов успело посмотреть менее 10 зрителей. «В этом сила машин», — добавил Мохан.

И тем не менее представитель YouTube признал, что ИИ, на который полагался сервис, оказался чрезмерно жёстким цензором. Поэтому компания в конечном итоге решила вновь привлечь живых модераторов для проверки потенциально опасного контента.

Череда блокировок

Уже после публикации квартального отчёта YouTube российский проект DreamApp готовился к релизу первого эпизода своего шоу, идея которого принадлежит Тимуру Бекмамбетову. По сути, это симбиоз «Минуты славы» и «Голоса» — участники во время питчинга предлагают жюри свои идеи для кино, сериалов и других форматов, а эксперты оценивают предложения и в случае заинтересованности выделяют им деньги на реализацию.

Команда отсняла пять эпизодов, запланировала премьеру на 17 сентября и подготовила рекламную кампанию для YouTube, где в качестве промо использовался сам 30-минутный ролик. Однако авторы, открыв ссылку для зрителей, заметили, что просмотры на видео идут «крайне вяло» — оказалось, что сервис забанил ролик за использование контента для взрослых и нарушение возрастной маркировки 12+.

Команда утверждает, что никаких нарушений на всём протяжении ролика не было. Создатели DreamApp подали апелляцию, но с ней тоже возникла проблема: ещё в марте YouTube предупреждал, что из-за пандемии проверка контента, которая производится вручную, будет занимать больше времени, и это может повлиять на поддержку пользователей и авторов. Согласно новому регламенту рассмотрения жалоб, авторы должны подать не менее двух апелляций после автоматического бана, чтобы их заявку рассмотрели живые люди. Весь этот процесс, отмечают в DreamApp, сейчас может занимать более двух суток.

Видео для промо в результате разблокировали только через несколько дней, 21-го числа. Оно, как говорит креативный продюсер проекта Алексей Зиновкин, успело набрать 5 тыс. просмотров в рекламной кампании и снова словило бан, а в общей сложности ролик получил несколько блокировок за неделю. Ради эксперимента команда создала резервный канал и загрузила туда проблемное видео — его допустили до рекламной кампании, но забанили после 10 тыс. просмотров за рекламу азартных игр.

Спустя неделю авторы выложили второй эпизод шоу, но его промокампанию также банили несколько раз за азартные игры, нарушение маркировки (её на всякий случай подняли до 16+) и использование лицензионного контента. С третьим видео, рекламирующимся в России, возникли аналогичные проблемы, причём в качестве одной из причин для блокировки Google указал политическую рекламу в Индии, связанную с выборами в Лок сабху (нижнюю палату парламента). По подсчётам DreamApp, в общей сложности их ролики получили более 15 банов.

Четвёртое видео из пяти также не допустили до рекламы. Компания посоветовала команде DreamApp изменить расположение возрастной маркировки на ролике, однако модерацию он всё равно не прошёл. «Каждый раз, когда с нами на связь выходили люди, они признавали, что баны произошли по ошибке», — отметил Зиновкин.

Интересно, что ещё до премьеры российский YouTube сам проанонсировали шоу и поддержал авторов. Тимур Бекмамбетов подчёркивал, что компании понравился проект, поскольку он «фактически помогает людям создавать контент для их платформы».

Последствия и вероятный иск

По словам создателей DreamApp, непрозрачные алгоритмы, по сути, сорвали старт шоу, и оно не достигло запланированных показателей. Первые два ролика набрали 305 и 151 тыс. просмотров соответственно, хотя маркетинговая кампания была рассчитана на 500 тыс. Кроме того, представители DreamApp утверждают, что из-за банов и механизмов YouTube, оценивающих продвижение контента, стоимость одного просмотра в рекламном кабинете выросла от двух до четырёх раз в зависимости от продвигаемого эпизода.

Команда полагает, что YouTube стал более строго модерировать именно российский контент в преддверии выборов президента США. По мнению DreamApp, канал, на котором выходит шоу, мог попросту попасть в поле зрения алгоритмов из-за недавних англоязычных роликов на острые политические темы — в них, например, говорилось о нехватке средств индивидуальной защиты у нью-йоркских врачей и протестах движения BLM.

Однако недавно представитель Googlе объяснил команде, что проблема модерации связана с нехваткой ресурсов у YouTube, а не с ущемлением прав авторов контента. Такая ситуация, по словам сотрудника компании, складывается уже несколько месяцев и единственный вариант — это подавать апелляции.

Теперь Тимур Бекмамбетов и DreamApp рассматривают возможность подачи иска против Google. Команда подчёркивает, что хочет прекратить злоупотребления из-за непрозрачности модерации и требует от компании разъяснить работу алгоритмов. «Алгоритмы ограничивают права и свободы производителей контента и пользователей платформы. Мы видим, что алгоритмы ошибаются, и мы видим, что руководство компании не в состоянии взять над этим контроль. Это может быть связано с несовершенством системы регулирования, где люди потеряли контроль над искусственным интеллектом», — объяснил Тимур Бекмамбетов свою позицию.

Что касается квартальных отчётов Google о модерации и апелляциях, то они, как говорят в DreamApp, авторам контента не помогают. По мнению команды, дело не в участившихся блокировках как таковых, а в конкретной «системной ошибке, которую нужно исправить».

«База» обратилась в пресс-службу Google, однако компания отказалась от комментариев.