Если вы сделали почти фесбук, и тысячи пользователей начали активно обмениваться фотками, постами и комментариями, то со временем вы обнаружите в ленте маленькой девочки Милы фотографию длинного крепкого мужского детородного органа. И поймете, что правила использования сервиса это хорошо, но следить за их выполением все равно прийдется.
В этой статье мы поговорим о том, какие решения для модерации контента существуют на сегодняшний день. В ходе нашего исследования рынка мы нашли немалое количество компаний, предлагающих свои услуги. Мы попытались их классифицировать, описать их преимущества и недостатки.
Весь рынок можно поделить на 3 условные группы:
Давайте рассмотрим чуть более подробно все 3 группы.
Большую часть рынка составляют именно такие компании. Часть из них специализируются только на модерации контента, но чаще всего это и услуги call-центра, и техподдержки, и много чего ещё.
Вот лишь некоторые из них:
Полагаем, количество таких компаний обуславливается наличием дешевой рабочей силы в том же Таиланде, Филиппинах, Индии и так далее. Отсюда и невысокий уровень квалификации сотрудников, и завышенная цена на модерацию контента на языках, отличных от английского.
И чтобы пользоваться услугами таких компаний, Вам потребуется сразу несколько вещей:
Вторая категория компаний продвинулись дальше в изучении проблемы модерации контента и предоставляет собственные техническое решения, включающее в себя:
Пожалуй, самый яркий представитель данного класса это Crisp Thinking (http://crispthinking.com).
Данная категория представляется куда более притягательной: персонал уже специально обучен и знаком с общей проблемой модерации; работают они с собственным ПО, а следовательно хорошо знакомы с ним; API и SDK документированы и предполагается, что клиент должен сам справиться с интеграцией.
Однако, не всё так хорошо. Начальная интеграция подразумевает создание правил модерации. И вот тут то начинаются проблемы.
Конечно, после всех сложностей и завершения интеграции проект полностью забывает о модерации — контент автоматически уходит в систему модерирования, результаты так же автоматически приходят и обрабатываются приложением клиента… останется лишь каждый месяц пополнять баланс кругленькой суммой…
В ходе исследования рынка мы находили компании, которые полностью автоматизируют процесс модерации контента, то есть без участия людей. Одним из типичных представителей является Keepcon (http://keepcon.com/).
Автоматическая модерация безусловно дешевле ручной, но имеет большое количество проблем. Модерация без “ручного” контроля — без проверок реальными людьми — является низкоэффективной.
Во-первых, крайне сложно алгоритмически вычислить текст, не содержащий нецензурные слова, но имеющий неприемлемый характер. К примеру “Обаятельная фея встретит доброго джентльмена в своих апартаментах на метро Щукинская” или сотни изощренных фраз про продажу наркотиков, типа “Ёж. Енот. Скорость. Соль. СМС 8 901 *** ***** ”, за которые можно довольно быстро познакомится с представителями правопорядка. А теперь добавьте к этому поддержку хотя бы пяти языков. А десять!?..
Ситуация с изображениями ещё более плачевная: алгоритмы распознавания лиц и распознавания фото эротического характера на сегодняшний день несовершенны. Даже в “лабораторных” условиях они дают нестабильный результат, а в “полевых” условиях имеют слишком высокий процент ошибок и погрешностей.
Во-вторых, в большинстве случаев нам нужно учитывать бизнес-логику конкретного проекта: например, где-то должны быть только персональные фотографии конкретного пользователя, с четко различимым лицом. Автоматический режим модерации терпит здесь фиаско — учитывать субъективный фактор машины не научились, на это способны лишь реальные люди.
И наш опыт, и опыт других проектов говорит о том, что автоматическая модерация годится только в качестве предварительного фильтра, способного отсеять явно некачественный контент.
С техническим описанием существующих решений мы закончили. Теперь давайте перейдем к самому интересному: сравним цены!
Нам очень хотелось предоставить Вам не просто сухие цифры, а показать цены на примере конкретного проекта. В результате, мы связались с большинством лидирующих компаний, которые представлены на рынке, и всем задавали одну и ту же задачу: надо проверить за месяц 200 000 едениц контента (фото, статусы, имена) на 4-х языках.
Давайте смотреть, что получилось:
При этом у всех компаний вполне четкий подход к добавлению еще одного языка: “плати за каждый отдельно”. Таким образом, если вместо 4-х языков надо 8, то ценник за месяц увеличится в 2 раза. В итоге, 32 языка у ICUC обойдутся за месяц в 0,9 миллиона долларов. Awesome!
В ходе исследования мы пытались не просто классифицировать существующие компании. Мы пытались исходить именно из роли типового проекта, генерирующего UGC, — социального мобильного приложения. И нашей задачей стояло нахождение легкого, недорогого способа модерации контента, который не потребует много времени на интеграцию с существующим кодом.
Итак, у Вас набирающий аудиторию проект, Вы хотите готовое решение, которое можно подключить в течение нескольких дней, и забыть о проблеме с проверкой контента, персонале, разработке админки? Из всего перечисленного Вам подходит, видимо, только Crisp Thinking, но приготовьте 25 000$ в месяц.
Естественно, данная статья написана не просто так, а чтобы привлечь внимание к проблеме модерации и нашему сервису модерации контента 2Hive.org.
Когда-то у нас возникла собственная потребность в модерации контента, и 2Hive.org возник как способ её решения. В первую очередь нам хотелось сделать сервис очень простым в использовании, а во-вторых очень бюджетным. И оба требования мы полностью выполнили. А как, читайте в наших будущих статьях.
В этой статье мы поговорим о том, какие решения для модерации контента существуют на сегодняшний день. В ходе нашего исследования рынка мы нашли немалое количество компаний, предлагающих свои услуги. Мы попытались их классифицировать, описать их преимущества и недостатки.
Весь рынок можно поделить на 3 условные группы:
- Предоставление персонала;
- Интегрируемые в ваш проект SaaS
- Модерации с помощью алгоритмов (роботы)
Давайте рассмотрим чуть более подробно все 3 группы.
Тип1: Предоставление персонала
Большую часть рынка составляют именно такие компании. Часть из них специализируются только на модерации контента, но чаще всего это и услуги call-центра, и техподдержки, и много чего ещё.
Вот лишь некоторые из них:
- ICUC (http://www.icucmoderation.com)
- MicroSourcing (http://microsourcing.com)
- Moravia (http://moravia.com)
Полагаем, количество таких компаний обуславливается наличием дешевой рабочей силы в том же Таиланде, Филиппинах, Индии и так далее. Отсюда и невысокий уровень квалификации сотрудников, и завышенная цена на модерацию контента на языках, отличных от английского.
И чтобы пользоваться услугами таких компаний, Вам потребуется сразу несколько вещей:
- Наличие собственного ПО. Для того, чтобы нанятый Вами персонал осуществлял непосредственную модерацию, Вам нужно будет написать среду/программу/web interface, где, судя по всему, будет список непроверенного контента, а модераторы будут нажимать какие-то кнопки.
- Обучение персонала. Да, именно так: сами компании заявляют, что перед началом работы Вы должны провести семинар и раздать профессиональные инструкции. И всё это за Ваш счет!
- Большинство компаний подобного рода требуют, чтобы Вы сами составили график работы модераторов, особенно с учетом временных зон и соответствующих языков.
Если говорить простым языком, такие компании это большой ангар на окраине индийского города, набитый старыми компами и бедными индусами, менеджеры которых готовы пристроить персонал куда угодно, лишь бы там платили деньги. О качестве говорить не приходится.
Тип2: Интегрируемые в ваш проект SaaS
Вторая категория компаний продвинулись дальше в изучении проблемы модерации контента и предоставляет собственные техническое решения, включающее в себя:
- API и SDK для интеграции
- Собственная панель модерации, в которой работает их собственный персонал
- Средства автоматической проверки контента
- Личный кабинет для клиентов, в котором можно посмотреть отчеты, графики, аналитику, etc.
Пожалуй, самый яркий представитель данного класса это Crisp Thinking (http://crispthinking.com).
Данная категория представляется куда более притягательной: персонал уже специально обучен и знаком с общей проблемой модерации; работают они с собственным ПО, а следовательно хорошо знакомы с ним; API и SDK документированы и предполагается, что клиент должен сам справиться с интеграцией.
Однако, не всё так хорошо. Начальная интеграция подразумевает создание правил модерации. И вот тут то начинаются проблемы.
У большинства компаний процесс интеграции API столь сложный, что может занять несколько недель!
Конечно, после всех сложностей и завершения интеграции проект полностью забывает о модерации — контент автоматически уходит в систему модерирования, результаты так же автоматически приходят и обрабатываются приложением клиента… останется лишь каждый месяц пополнять баланс кругленькой суммой…
Тип3: Роботы
В ходе исследования рынка мы находили компании, которые полностью автоматизируют процесс модерации контента, то есть без участия людей. Одним из типичных представителей является Keepcon (http://keepcon.com/).
Автоматическая модерация безусловно дешевле ручной, но имеет большое количество проблем. Модерация без “ручного” контроля — без проверок реальными людьми — является низкоэффективной.
Во-первых, крайне сложно алгоритмически вычислить текст, не содержащий нецензурные слова, но имеющий неприемлемый характер. К примеру “Обаятельная фея встретит доброго джентльмена в своих апартаментах на метро Щукинская” или сотни изощренных фраз про продажу наркотиков, типа “Ёж. Енот. Скорость. Соль. СМС 8 901 *** ***** ”, за которые можно довольно быстро познакомится с представителями правопорядка. А теперь добавьте к этому поддержку хотя бы пяти языков. А десять!?..
Ситуация с изображениями ещё более плачевная: алгоритмы распознавания лиц и распознавания фото эротического характера на сегодняшний день несовершенны. Даже в “лабораторных” условиях они дают нестабильный результат, а в “полевых” условиях имеют слишком высокий процент ошибок и погрешностей.
Во-вторых, в большинстве случаев нам нужно учитывать бизнес-логику конкретного проекта: например, где-то должны быть только персональные фотографии конкретного пользователя, с четко различимым лицом. Автоматический режим модерации терпит здесь фиаско — учитывать субъективный фактор машины не научились, на это способны лишь реальные люди.
И наш опыт, и опыт других проектов говорит о том, что автоматическая модерация годится только в качестве предварительного фильтра, способного отсеять явно некачественный контент.
Цены
С техническим описанием существующих решений мы закончили. Теперь давайте перейдем к самому интересному: сравним цены!
Цены шокировали. За толпу индусов, которых надо обучать за свой счет, просили до 111 600$ в месяц!
Нам очень хотелось предоставить Вам не просто сухие цифры, а показать цены на примере конкретного проекта. В результате, мы связались с большинством лидирующих компаний, которые представлены на рынке, и всем задавали одну и ту же задачу: надо проверить за месяц 200 000 едениц контента (фото, статусы, имена) на 4-х языках.
Давайте смотреть, что получилось:
- HTC
- Цена: 10 000$ в месяц
- ICUC
- Цена: 111 600$ в месяц
- One of Setup fee: 7 500$
- Source Fit
- 9600$ ~ 15 600$ в месяц в зависимости от квалификации модераторов
- MicroSourcing
- 15 000$ ~ 20 000$ в месяц в зависимости от квалификации модераторов
- Moravia
- Цена: 54 000$ в месяц
- Crisp Thinking
- Цена: 25 000$ в месяц
- One of Setup fee: 10 000$
При этом у всех компаний вполне четкий подход к добавлению еще одного языка: “плати за каждый отдельно”. Таким образом, если вместо 4-х языков надо 8, то ценник за месяц увеличится в 2 раза. В итоге, 32 языка у ICUC обойдутся за месяц в 0,9 миллиона долларов. Awesome!
Заключение
В ходе исследования мы пытались не просто классифицировать существующие компании. Мы пытались исходить именно из роли типового проекта, генерирующего UGC, — социального мобильного приложения. И нашей задачей стояло нахождение легкого, недорогого способа модерации контента, который не потребует много времени на интеграцию с существующим кодом.
Итак, у Вас набирающий аудиторию проект, Вы хотите готовое решение, которое можно подключить в течение нескольких дней, и забыть о проблеме с проверкой контента, персонале, разработке админки? Из всего перечисленного Вам подходит, видимо, только Crisp Thinking, но приготовьте 25 000$ в месяц.
Естественно, данная статья написана не просто так, а чтобы привлечь внимание к проблеме модерации и нашему сервису модерации контента 2Hive.org.
2Hive.org может справиться с озвученной проблемой
за 4000$ в месяц, на 32х языках.
Когда-то у нас возникла собственная потребность в модерации контента, и 2Hive.org возник как способ её решения. В первую очередь нам хотелось сделать сервис очень простым в использовании, а во-вторых очень бюджетным. И оба требования мы полностью выполнили. А как, читайте в наших будущих статьях.
