Детекторы искусственного интеллекта ошибаются. Писателей все равно увольняют

В статье обсуждаются разногласия вокруг инструментов обнаружения контента с использованием ИИ, уделяя особое внимание оригинальности. Проблема заключается не только в помощи авторам или обеспечении подотчетности, но и в преследовании Google не требующих особых усилий контент-ферм, которые используют ИИ для игры в результаты поиска. Компании обеспокоены тем, что их веб-сайты будут понижены в рейтинге, если на них будет обнаружено что-либо, написанное искусственным интеллектом, что приводит к популярности детекторов искусственного интеллекта как способа «подготовить сайты к будущему» в Google. Однако Google заявил, что не наказывает веб-сайты просто потому, что они могут использовать контент, созданный искусственным интеллектом.

Как опытный геймер, я могу оценить уверенность Кимберли в своих способностях. «Более двух десятилетий я преуспел в качестве репортера новостей, не полагаясь на искусственный интеллект. Я работал над бесчисленным количеством историй и сталкивался с многочисленными проблемами. Итак, вы говорите мне, что теперь мне нужен искусственный интеллект, чтобы сохранить свою работу?» К сожалению, волна технологий оказалась сильнее ее аргументов.

Защита или змеиное масло?

Детекторы искусственного интеллекта обычно выявляют признаки искусственного интеллекта в письменной форме, уделяя особое внимание таким аспектам, как безупречная грамматика и пунктуация. Интересно, что использование таких инструментов, как Grammarly, который исправляет орфографические и грамматические ошибки, может повысить вероятность того, что ваша работа будет отмечена пометкой. Удивительно, но некоторые писатели сообщили, что их уволили с платформ фрилансеров после того, как им было поручено использовать Grammarly. (TopMob проверил эти анекдоты; однако мы решили не раскрывать личности конкретных фриланс-платформ из-за соглашений о неразглашении, подписанных авторами.)

Эксперты, писатели и системы обнаружения искусственного интеллекта выразили обеспокоенность тем, что использование Grammarly может привести к тому, что ваше письмо будет идентифицировано как созданное искусственным интеллектом. Однако Дженни Максвелл, руководитель отдела образования Grammarly, опровергает эти утверждения. По словам Максвелла, нет никаких доказательств связи флагов обнаружения ИИ и реализации предложений Grammarly. Переписывание ясности, обеспечиваемое Grammarly, не подпитывается генеративным искусственным интеллектом. Вместо этого это инструменты, которые писатели могут использовать вручную. Grammarly предлагает генеративные функции искусственного интеллекта, которые создают контент с нуля, но эти предложения не появляются автоматически и должны вызывать обнаружение искусственного интеллекта.

Как страстный поклонник обработки естественного языка и технологий искусственного интеллекта, меня всегда заинтриговало то, как продвинутые детекторы могут анализировать текст по-новому. Например, они учитывают такие факторы, как «разрывность», которая относится к склонности писателей-людей объединять определенные слова в группы. Напротив, в текстах, созданных искусственным интеллектом, слова обычно распределяются более равномерно. Более того, эти сложные инструменты оценивают «недоумение» — меру, с помощью которой ИИ спрашивает, насколько вероятно, что он создал текст на основе своих обучающих данных. Такие компании, как Originaility.AI, известный лидер отрасли, разрабатывают индивидуальные языковые модели искусственного интеллекта, специально предназначенные для идентификации контента, написанного искусственным интеллектом, раскрывая сложные закономерности, которые могут ускользать от человеческого понимания.

Как заядлый геймер, я сталкивался с различными методами, которые рекламировались как эффективные для обнаружения игроков с искусственным интеллектом. Однако я хочу прояснить, что ни один из этих методов не является безошибочным. Крупные институты даже отказались от использования таких инструментов из-за их несовершенства. OpenAI попала в заголовки газет в 2023 году, когда представила детектор искусственного интеллекта, но через несколько месяцев его закрыли из-за его неудовлетворительной точности. Академическое сообщество было одним из первых, кто внедрил эти системы обнаружения, но, к сожалению, ложные обвинения заставили несколько университетов, таких как Вандербильт, штат Мичиган, Северо-Западный университет и Техасский университет в Остине, вообще запретить использование программного обеспечения для обнаружения искусственного интеллекта.

По словам Деборы Вебер-Вульф, профессора Университета прикладных наук инженерии и экономики в Берлине и соавтора недавнего исследования эффективности детекторов ИИ, компании по обнаружению ИИ печально известны тем, что торгуют поддельными лекарствами. Согласно выводам Вебера-Вульфа, эти инструменты склонны к ошибкам и несогласованности, и их можно обманным путем перехитрить. Многие люди жаждут чудесного программного решения своих проблем; однако «компьютерные программы не могут решать социальные проблемы», подчеркнула она. Вместо этого необходимо использовать альтернативные подходы.

Как заядлый последователь технологии искусственного интеллекта (ИИ), я могу подтвердить растущую важность детекторов ИИ в нашем мире, управляемом данными. Эти инструменты необходимы для управления потоком текста, генерируемого роботами и системами искусственного интеллекта. Однако важно признать, что они не являются непогрешимыми – у них есть свои ограничения. Несмотря на это, существует устойчивый рынок этих услуг из-за постоянно растущей зависимости от контента, создаваемого искусственным интеллектом.

Как страстный сторонник технологии искусственного интеллекта и технический директор GPTZero, я твердо верю, что, хотя современные детекторы искусственного интеллекта имеют существенные ограничения, их преимущества намного перевешивают недостатки. На карту поставлено будущее Интернета; если мы не решим эти проблемы, мы рискуем жить в мире, где ИИ диктует поток информации, от новостей и рецензируемых статей до взаимодействия в социальных сетях. Становится все труднее различить, что является реальным и подлинным.

Необходимое зло?

Однажды я встретил в нашем разговоре коллегу-геймера по имени Марк из Огайо, который попросил остаться анонимным. Он рассказал, что из-за того, что ИИ взял на себя его работу по копирайтингу, он был вынужден найти работу по обслуживанию в местном магазине, чтобы свести концы с концами.

Как геймер, я получил электронное письмо, которое меня крайне изумило. Согласно сообщению, моя последняя статья, в которую я часами вкладывал свой творческий потенциал, с вероятностью 95% была создана искусственным интеллектом. Для меня это стало полной неожиданностью, тем более что я сотрудничаю с ними целых три года — задолго до появления ChatGPT. Казалось нелепым, что они вообще выдвинули такое обвинение против кого-то, кто так долго работал с ними в тесном сотрудничестве.

Я сопротивлялся, но этого было недостаточно. Я поделился документом Google со своим клиентом вместе с отметками времени, доказывающими, что я написал его вручную. Однако это не спасло наше партнерство. Потеря этого контракта составила 90% моего заработка.

Я глубоко сочувствую писателям, которые сталкиваются с разочарованием в результате ложных срабатываний в своей работе, и мне бы хотелось, чтобы никто из нас не столкнулся с этим опытом больше, чем необходимо. В Originality.AI мы стремимся создать инструмент, который поможет писателям, но мы слишком хорошо понимаем его потенциальные непредвиденные последствия.

По мнению Гиллхэма, проблема выходит за рамки помощи писателям или обеспечения ответственности. Более того, он предупредил, что Google занимает твердую позицию в отношении спама, генерируемого ИИ. В отчетах указывается, что некоторые компании по незнанию удалили свои веб-сайты из результатов поиска Google из-за использования ИИ их авторами.

Как заядлый геймер, я заметил в сети огромный всплеск некачественного контента, созданного контент-фермами, управляемыми искусственным интеллектом. Целью этих сайтов является манипулирование результатами поиска и привлечение кликов для получения дохода от рекламы. Однако Google принимает меры против таких сайтов, в результате чего компании, которые в значительной степени зависят от веб-трафика, обеспокоены. Они опасаются, что их сайты могут быть оштрафованы, если будет обнаружен хотя бы намек на текст, сгенерированный искусственным интеллектом. Это затруднительное положение требует увеличения спроса на передовые детекторы искусственного интеллекта, при этом Originality позиционирует себя как решение, обеспечивающее «готовность вашего сайта к будущему в Google» и защиту оригинального контента.

Я слышал, как некоторые люди утверждали, что Google расправляется с веб-сайтами только потому, что на них есть контент, созданный искусственным интеллектом. Но позвольте мне внести ясность, как человек, который в курсе. Google не против контента ИИ как такового. На самом деле, мы это приветствуем! Чего мы не терпим, так это большого количества некачественного контента, созданного для манипулирования поисковыми рейтингами, независимо от того, создан ли он людьми или машинами. Наши алгоритмы оценивают контент на основе его полезности и качества, а не его происхождения.

Смешанные сообщения

Компании, производящие детекторы искусственного интеллекта, такие как Originality, признают, что их инструменты не являются непогрешимыми. Тем не менее, существует непоследовательность в том, как следует использовать эти устройства. Например, по словам Гиллхэма, они предостерегают от использования обнаружения ИИ в академических кругах и не одобряют его применение в дисциплинарных разбирательствах из-за возможности ложноположительных результатов среди студентов, которые сдают ограниченное количество эссе в течение учебного года. Напротив, в своем блоге Originality утверждает, что обнаружение ИИ незаменимо в образовательных учреждениях.

Вопрос о том, как интерпретируются результаты детектора ИИ, был поднят несколькими авторами, с которыми связался TopMob. Они отметили, что их клиенты часто не понимают ограничений технологии искусственного интеллекта или значения результатов. Это может привести к недоумению, как видно из моего собственного опыта работы с детектором искусственного интеллекта Originality. Когда я пропустил через него одну из своих статей, я получил отчет, в котором говорилось: «70% оригинальности» и «30% искусственного интеллекта». Распространенным предположением может быть то, что 30% текста было создано чат-ботом, поскольку инструмент идентифицировал подозрительные предложения. Однако, это не так; оценки представляют собой уровни уверенности: оригинальность составляет 70% уверенности в том, что контент написал человек (хотя в данном случае это написал я лично).

Компания Originality рассказывает, как работает ее алгоритм. Компания заявляет о поразительной точности своего обновленного инструмента — 98,8%. В то же время он раскрывает уровень ложноположительных результатов в размере 2,8%. Если вы проверите эти цифры на своем калькуляторе, вы обнаружите, что их сумма превышает 100%. Однако, как пояснил Гиллхэм, эта аномалия возникает из-за результатов различных тестов.

Как геймер, я сталкивался с некоторыми инструментами, которые требуют некоторой интерпретации, и Originality — один из них. Компания предоставляет четкие инструкции о том, как читать результаты под каждой проверкой, а также ссылки на более полные руководства. Однако из разговоров с несколькими авторами выяснилось, что не все сразу понимают эти инструкции. Кажется, что более подробные инструкции или интерактивные учебные пособия могут помочь разъяснить использование инструмента «Оригинальность» и предотвратить недопонимание с клиентами.

Как любопытный поклонник работы Originality, я наткнулся на различные сообщения в блогах и опубликованные ими исследования, касающиеся точности и других связанных тем. Однако в ходе исследования я столкнулся с некоторой неопределенностью в отношении специфики их методологии. По словам профессора Вебер-Вульфа из Университета прикладных инженерных и экономических наук в Берлине, предоставленная информация была не такой прозрачной, как можно было бы надеяться.

Несколько экспертов, в том числе Юхас из Undetectable AI, выразили TopMob опасения по поводу того, что компании в индустрии обнаружения ИИ потенциально завышают показатели точности и обманывают клиентов. Напротив, представители GPTZero и Originality AI заверили прозрачность и честность. Они подчеркнули свою приверженность раскрытию ограничений и слабостей своих соответствующих инструментов.

В отсутствие детекторов искусственного интеллекта писатели могут полагать, что они на стороне победителей. Однако Гиллхэм утверждает обратное: без таких инструментов рынок насыщается контентом, что приводит к снижению заработной платы за писательские работы. Детекторы искусственного интеллекта служат важнейшей защитой, позволяя писателям отправлять оригинальные работы и получать справедливую компенсацию. Без них любой мог бы легко выдать сгенерированный контент за свой, что существенно повлияло бы на жизнь профессиональных писателей.

С другой стороны, все копирайтеры, с которыми говорил TopMob, говорили, что проблема в детекторах искусственного интеллекта.

Марк выразил уверенность в том, что ИИ представляет будущее, развитие, которое мы не можем остановить. Однако он считал, что это не главная проблема. Вместо этого Марк назвал детекторы искусственного интеллекта источником беспокойства и опасений среди клиентов, потенциально ставящим под угрозу наши позиции в отрасли.

Смотрите также

2024-06-17 20:42