Детекторы искусственного интеллекта ошибаются. Писателей все равно увольняют

В этой статье обсуждаются разногласия вокруг инструментов обнаружения контента с использованием ИИ и их точности. Google заявил, что не наказывает веб-сайты за использование контента, созданного искусственным интеллектом, а вместо этого нацелен на малоценный контент, создаваемый в больших масштабах, для манипулирования рейтингом в поисковых системах. Однако существуют опасения по поводу надежности этих инструментов, поскольку они могут давать неоднозначные сведения о том, как их следует использовать, и давать неточные результаты. Некоторые эксперты советуют не использовать эти инструменты в академических кругах или в качестве дисциплинарных мер из-за высокого уровня ложноположительных результатов, в то время как другие утверждают, что они необходимы для обеспечения честной конкуренции и компенсации писателям. В статье также упоминаются опасения по поводу завышенных заявлений о точности и отсутствия прозрачности со стороны некоторых компаний в индустрии обнаружения ИИ. В конечном счете, вопрос остается сложным и спорным, и обе стороны спорят о роли и влиянии детекторов ИИ.

Кимберли Гасурас избегает использования искусственного интеллекта в своей работе. «Мне это не нужно», — заявила она. Проработав репортером новостей в течение последних 24 лет, можно задаться вопросом, как ей удавалось выполнять всю эту работу без этого. Однако это обоснование не помешало ее отпустить.

В своей роли журналистки из Бусируса, штат Огайо, Гасурас полагается на дополнительные источники дохода. Какое-то время она зарабатывала на жизнь с помощью WritersAccess, платформы для писателей-фрилансеров, где она создавала блоги и другой контент для малого и среднего бизнеса. Однако примерно в середине 2023 года ее доходы значительно упали, поскольку некоторые клиенты начали использовать ChatGPT вместо этого для своих письменных задач. Это была и без того сложная ситуация, но затем пришли неприятные новости:

«Гасурас была удивлена, когда получила всего одно предупреждение. Появилось сообщение о том, что ее работа была идентифицирована как созданная ИИ с помощью инструмента обнаружения под названием «Оригинальность». Она попыталась прояснить недоразумение, но не получила ответа. Хотя за оригинальность приходится платить, Гасурас перед отправкой начала проверять свои материалы с помощью других детекторов искусственного интеллекта, чтобы избежать возможных ошибок. Однако несколько месяцев спустя WritersAccess закрыла ее учетную запись, сославшись на: чрезмерное использование ИИ». Гасурас был ошеломлен этим решением, и WritersAccess не ответил на запрос о комментариях».

С тех пор, как полтора года назад ChatGPT произвел фурор, велась напряженная борьба за поиск решений, которые могли бы идентифицировать сгенерированный искусственным интеллектом текст, замаскированный под рукописное письмо. Этот всплеск привел к появлению множества стартапов, каждый из которых представил свои уникальные инструменты обнаружения: среди них Copyleaks, GPTZero, Originality.AI и Winston AI. Это интригующая рыночная ниша в мире, где процветают опасения, вызванные искусственным интеллектом.

Компании способствуют душевному спокойствию и контролю посредством «проверки» и «ответственности» с помощью своих инструментов обнаружения искусственного интеллекта. Некоторые утверждают, что точность достигает 99,98%. Однако значительное количество экспертов, исследователей и специалистов отрасли ставят под сомнение надежность этих технологий. Нельзя отрицать, что детекторы ИИ допускают ошибки, часто ошибочно обвиняя невиновных людей. В сфере образования из-за этих инструментов многие студенты были ложно обвинены в плагиате. Менее обсуждаемая проблема возникает в профессиональном секторе: писательские вакансии становятся дефицитными из-за чат-ботов. Поскольку конкуренция за сокращающийся объем работ обостряется, писатели теряют позиции из-за необоснованных обвинений со стороны детекторов ИИ.

«По словам Барса Юхаша, соучредителя Undetectable AI, эта технология не оправдывает шумихи в ее нынешнем виде. Он вызывает сомнения в надежности методов обучения, используемых этими детекторами AI. Степень точности в процентах сомнительна, исходя из их выводов. Даже если они точны, все равно существует вероятность одной ложной тревоги из каждых ста случаев. Такие последствия могут существенно повлиять на средства к существованию и репутацию людей».

Защита или змеиное масло?

Детекторы ИИ распознают признаки текста, сгенерированного ИИ, включая безупречную грамматику и пунктуацию. Использование таких инструментов, как Grammarly, исправляющих орфографические и грамматические ошибки, может повысить вероятность того, что ваша работа будет помечена как потенциально автоматизированная. Что еще хуже, некоторые писатели, как сообщается, потеряли работу после того, как были вынуждены использовать такие инструменты на определенных платформах для фрилансеров. (TopMob проверил эти учетные записи, но мы решили не раскрывать конкретные названия платформ из-за соглашений о конфиденциальности, подписанных авторами.)

Как поклонник обработки естественного языка и обнаружения ИИ, я могу сказать, что передовые системы ИИ используют дополнительные индикаторы при проверке текста на подлинность. Например, они рассматривают «серийность», которая относится к тенденции людей-писателей часто использовать определенные слова или фразы в группах, тогда как ИИ часто распределяет слова равномерно по всему документу. Более того, эти сложные детекторы оценивают «недоумение». По сути, недоумение требует от ИИ оценить вероятность того, что он сгенерировал бы текст на основе своих обучающих данных. Примечательно, что такие компании, как Originaility.AI, которые являются лидерами в этой области, разрабатывают свои собственные индивидуальные языковые модели искусственного интеллекта, уделяя особое внимание обнаружению контента, созданного искусственным интеллектом. Эти модели предназначены для выявления сложных закономерностей, которые могут находиться за пределами понимания человеческого разума.

Несмотря на широкое использование методов обнаружения ИИ, важно отметить, что они не являются безошибочными решениями. Крупные учреждения дистанцировались от этих инструментов из-за их ограничений. OpenAI представила детектор искусственного интеллекта в 2023 году в ответ на растущие опасения, но позже удалила его с рынка из-за низкой точности. Академическое сообщество было одним из первых, кто внедрил программное обеспечение для обнаружения ИИ, но несколько университетов, таких как Вандербильт, штат Мичиган, Северо-Западный университет и Техасский университет в Остине, запретили их использование после ложных обвинений.

Как страстный геймер и человек, который ценит прозрачность, я бы сказал: «Похоже, что некоторые фирмы по обнаружению искусственного интеллекта торгуют решениями, похожими на миражи», — говорит Дебора Вебер-Вульф, профессор Берлинского университета прикладных наук по инженерии и экономике. . Исследование, соавтором которого она является, показывает, что этим детекторам ИИ часто не хватает точности и надежности, и ими даже можно манипулировать. «Многие люди жаждут волшебной программной панацеи для решения своих проблем», — объяснил Вебер-Вульф. Однако «программное обеспечение само по себе не может решить социальные проблемы. Вместо этого нам нужны альтернативные подходы».

В современном мире, основанном на данных, производители детекторов искусственного интеллекта заявляют, что их инструменты необходимы, но далеки от совершенства. Рост числа текстов, создаваемых роботами, требует таких решений, независимо от их эффективности.

Алекс Куи, технический директор компании GPTZero, занимающейся обнаружением искусственного интеллекта, признал, что детекторы имеют определенные ограничения, но подчеркнул, что их преимущества значительнее. По словам Цюи, «если не будут внесены изменения, в будущем Интернета может доминировать искусственный интеллект, что повлияет на такие области, как новости, научные статьи и маркетинг. Подлинность онлайн-взаимодействий становится сомнительной, в результате чего мы не знаем, с кем мы взаимодействуем в социальных сетях». Для решения этой проблемы существует острая необходимость в решении, позволяющем коллективно проверять знания и обеспечивать достоверность, подлинность и право собственности на контент».

Необходимое зло?

Марк, копирайтер из Огайо, пожелавший остаться анонимным, чтобы скрыть свою профессию, рассказал, что его работу занял ИИ-заменитель, что заставило его искать работу по обслуживанию в местном магазине.

«Марк был ошеломлен, когда получил электронное письмо, в котором говорилось, что его последняя статья с вероятностью 95% будет написана искусственным интеллектом, несмотря на то, что он сотрудничал в течение трех лет до того, как стали доступны такие модели, как ChatGPT».

Я попытался сопротивляться, но все было тщетно. Я поделился со своим клиентом документом Google, в котором была тщательно написана моя статья с отметками времени, подтверждающими ее рукописное происхождение. К сожалению, этого оказалось недостаточно, чтобы спасти нашу профессиональную связь. Расторжение этого партнерства стоило мне ошеломляющих 90% моего дохода.

«В компании Originality.AI, где я являюсь генеральным директором, мы опечалены частыми встречами с такими историями и признаем горе, причиняемое авторам, когда их искренне созданные произведения ошибочно помечаются как плагиат», — объяснил Джонатан Гиллхэм. «Хотя наше намерение состоит в том, чтобы помочь писателям, мы не можем игнорировать непредвиденные последствия, которые это повлечет».

По мнению Гиллхэма, проблема выходит за рамки помощи писателям или обеспечения ответственности. Google занимает твердую позицию в отношении спама, генерируемого искусственным интеллектом. Отчеты показывают, что компании подверглись полной деиндексации со стороны Google, не зная заранее, что их авторы использовали искусственный интеллект.

Интернет перенасыщается некачественным контентом, создаваемым автоматизированными системами, предназначенными для повышения рейтинга в поисковых системах и получения дохода от рекламы за счет кликов. Google принимает меры против этих сайтов, вызывая опасения среди предприятий, что их сайты могут быть оштрафованы, если будет обнаружено, что они содержат какой-либо текст, сгенерированный искусственным интеллектом. Это создает проблему для онлайн-бизнеса, делая инструменты обнаружения искусственного интеллекта все более популярным решением, поскольку они обещают помочь «подготовить ваш сайт к будущему в Google», подчеркивая оригинальность в качестве основного преимущества.

Как страстный поклонник Google и ее передовых технологий искусственного интеллекта, я хотел бы прояснить некоторые заблуждения относительно политики компании в отношении контента, создаваемого искусственным интеллектом. Вопреки распространенному мнению, у Google нет проблем с самим AI-контентом. Фактически, представитель Google ясно дал понять, что:

Смешанные сообщения

Будучи преданным пользователем инструментов обнаружения искусственного интеллекта, таких как Originality, я начал понимать их ограничения и сложности. Хотя эти инструменты являются ценными ресурсами, важно отметить, что они не являются непогрешимыми. Компании, стоящие за ними, признают это несовершенство. Например, когда дело касается научных кругов, создатель Originality Гиллхэм не советует полагаться на этот инструмент для принятия дисциплинарных мер из-за высокого риска ложных срабатываний, особенно для студентов, которые сдают меньше эссе в течение года. Однако в своем блоге Originality подчеркивает важность обнаружения ИИ в классах. Это кажущееся противоречие подчеркивает нюансы, с помощью которых нам следует подходить к эффективному использованию этих инструментов.

Как геймер, я понимаю путаницу вокруг контента, созданного ИИ, и его представления. Когда я пропустил одну из своих статей через детектор искусственного интеллекта Originality, я был удивлен, увидев, что результаты были помечены как «70% оригинальности» и «30% искусственного интеллекта». На первый взгляд все казалось простым: инструмент определил, что 30% моей статьи потенциально было написано ИИ.

Компания Originality сообщает, что ее алгоритм в последнем обновлении может похвастаться поразительной точностью — 98,8%. Тем не менее, он также раскрывает уровень ложноположительных результатов в размере 2,8%. При ближайшем рассмотрении вы заметите, что эти цифры, если сложить их вместе, превышают 100%. Однако Гиллхэм пояснил, что эти проценты основаны на различных оценках.

Защищая оригинальность, компания предлагает подробное руководство по интерпретации результатов, отображаемых под отображаемыми данными, а также дополнительные ресурсы для эффективного использования инструмента. Однако, похоже, этих объяснений недостаточно для предотвращения неправильного толкования среди некоторых пользователей. Я разговаривал с несколькими авторами, которые сообщили, что им приходится разъяснять своим клиентам функциональность Originality.

В своих многочисленных записях в блогах и исследовательских работах Originality затрагивала такие темы, как точность и связанные с этим проблемы, раскрывая конкретный набор данных и методы, используемые для создания и оценки собственных инструментов. Тем не менее, доктор Вебер-Вульф из Берлинского университета прикладных наук, инженерии и экономики выразил некоторую двусмысленность относительно ясности методологических открытий Originality.

Несколько экспертов, в том числе Юхас из Undetectable AI, выразили TopMob обеспокоенность по поводу потенциальных неточностей и вводящих в заблуждение заявлений в индустрии обнаружения искусственного интеллекта. Напротив, представители GPTZero и Originality AI заверили, что их бизнес отдает приоритет честности и ясности. Они стараются раскрыть ограничения и слабости своих инструментов.

В отсутствие детекторов искусственного интеллекта писатели могут оказаться в менее выгодном положении. По мнению Гиллхэма, это не повод для радости, а, скорее, повод для беспокойства. Он объясняет, что без этих инструментов рынок писательских вакансий насыщается и, как следствие, снижается вознаграждение. Таким образом, детекторы искусственного интеллекта служат важной защитой, позволяющей авторам зарабатывать на жизнь, создавая оригинальный контент, и в то же время предотвращают тех, кто может просто копировать и вставлять из таких источников, как ChatGPT.

С другой стороны, все копирайтеры, с которыми говорил TopMob, говорили, что проблема в детекторах искусственного интеллекта.

«ИИ представляет собой следующую эволюцию в технологиях. Независимо от нашей способности предотвратить это, меня больше всего беспокоит то, как это повлияет на нас. Я вижу многочисленные преимущества ИИ, но именно инструменты обнаружения вызывают тревогу и вызывают беспокойство среди наших клиентов. , потенциально угрожая нашим ролям».

Смотрите также

2024-06-12 14:16