Можно ли доверять ИИ-детекторам текста?

Неоднозначные результаты при анализе фрагмента Конституции США с помощью детекторов текста на основе ИИ: в одном случае текст был отмечен как сгенерированный ИИ, в другом — как полностью созданный человеком.

Представьте себе инструмент, который читает эссе или запись в блоге и сообщает, написано ли оно человеком или выведено из программы вроде ChatGPT. Это то, что делают детекторы текста на основе ИИ. Они помогают убедиться, что студенты выполняют свою собственную работу, чтобы убедиться, что прочитанный нами контент действительно оригинальный.

Вы когда-нибудь читали что-то, что звучало неправильно? Возможно, слова повторялись или предложения казались жесткими — как будто никто из ваших знакомых на самом деле не говорил бы так. Именно за этим следят детекторы ИИ. Они проверяют, не был ли текст составлен компьютером, а не человеком.

• Повторение слов: Вы когда-нибудь замечали, как некоторые тексты бубнят одни и те же слова снова и снова? Это явный признак ИИ. Люди склонны немного больше путать с выбором слов.
• Неестественный выбор слов: иногда ИИ подбирает странные синонимы или фразы, которые обычный человек не стал бы использовать, из-за чего текст кажется неуместным.
• Жесткий, неестественный стиль письма: если тексту не хватает естественной плавности и разнообразия, которых мы ожидаем от текста, написанного человеком, это может быть просто делом рук ИИ.

Эти инструменты подобны детективам, которые ищут в тексте подсказки, указывающие на то, что что-то может быть не подлинным.

Звучит круто иметь инструмент, который может определить, было ли что-то написано машиной или человеком, не так ли? Но вот в чем загвоздка: эти детекторы не являются абсолютно надежными.

• Они своего рода догадки: детекторы текста ИИ работают с вероятностями, а не с определенностями. Они используют статистику и шаблоны, чтобы сделать наилучшее предположение, но они не могут уловить все нюансы человеческого языка. Поэтому они обязательно иногда ошибаются.
• Настолько хороши, насколько хороши они, чему учатся: Как и мы, эти инструменты хороши настолько, насколько хороши они, чему учатся. Если их обучали на ограниченном или предвзятом наборе данных, они могут не справиться с текстом, который отличается от того, что они знают.
• Они могут быть предвзятыми: эти инструменты могут быть несправедливыми, особенно по отношению к текстам людей, чей родной язык не английский. Это может привести к ошибкам, когда подлинный человеческий текст помечается как написанный роботом.
• Это зависит и от пользователя: точность этих детекторов также зависит от того, как кто-то использует генераторы ИИ. Если вы просто придерживаетесь базовых подсказок, ответы ИИ, скорее всего, будут замечены. Но если вы действительно хороши в создании сложных подсказок, вы можете обмануть детектор, заставив его думать, что ответ написан человеком.

Несмотря на их полезность в обнаружении возможного контента, написанного ИИ, полагаться только на эти детекторы для принятия окончательных решений — не самая лучшая идея . Лучше всего их использовать вместе с человеческим суждением, особенно в ситуациях, когда честность и точность имеют первостепенное значение.

Детекторы ИИ довольно хорошо улавливают обычные признаки текста, сгенерированного компьютером, например, идеальную грамматику, которая никогда не пропускает ни одного удара. Но что, если ИИ начнет вставлять несколько финтов? Например, неуместную запятую или немного нестандартное предложение, которое звучит более по-человечески, чем среднестатистический разговор робота? Вот тогда эти детекторы могут споткнуться. Добавление этих человеческих причуд может сделать текст, сгенерированный ИИ, трудно распознаваемым , часто пробираясь мимо алгоритмов, которые должны были их ловить.

Попытка выбрать лучший детектор ИИ может показаться рутиной, но на самом деле все сводится к тому, для чего он вам нужен, с каким объемом текста вы имеете дело и сколько вы готовы потратить. Позвольте мне рассказать вам о некоторых из лучших вариантов:

• PlagiarismCheck.org предлагает надежные возможности обнаружения ИИ, превосходящие такие модели, как ChatGPT и Claude. Он может анализировать до 170 страниц одновременно, подписки начинаются от $5.99 за 20 страниц. Для тех, кому нужна только функция обнаружения ИИ, доступны индивидуальные планы.

• GoWinston.ai предоставляет комплексный набор инструментов обнаружения, включая контент AI и изображения deepfake. Он предлагает 7-дневную бесплатную пробную версию, с премиум-планами, начинающимися с $12/месяц за 80 000 слов. Обратите внимание, что он может испытывать трудности с точной идентификацией контента от Claude.

• HiveModeration.com предлагает бесплатный инструмент, способный анализировать до 8192 символов за проверку, и включает расширение Chrome. Однако он также сталкивается с трудностями в правильной идентификации контента, сгенерированного Клодом.

• GPTZero.me специализируется на контенте из различных моделей ИИ, включая GPT-3, GPT-4 и Claude, но отметил трудности с Claude. Он предлагает бесплатный базовый план, позволяющий писать до 10 000 слов в месяц, и предлагает премиум-планы от 10 долларов в месяц.

• Originality.ai пользуется большой популярностью благодаря своим строгим возможностям обнаружения ИИ, особенно с его моделью Turbo 3.0, рекомендуемой для тех, кому требуется почти идеальная точность. Хотя у него нет бесплатного плана, вы можете протестировать его сервис с 50 кредитами, полученными при установке их бесплатного расширения Chrome.

Каждый из этих инструментов имеет свои сильные и слабые стороны, поэтому важно учитывать особые требования перед выбором детектора ИИ. Если вам нужен подробный анализ для академической честности, проверки создания контента или других профессиональных целей, эти инструменты предоставляют различные варианты для создания различных настроений.

Выяснить, принадлежит ли текст компьютеру или человеку, может быть непросто, особенно с учетом того, что ИИ довольно хорошо подражает нам. Но есть несколько признаков, которые могут вас подсказать:

• Странно сложные предложения: Знаете такие предложения, которые технически правильны, но звучат слишком сухо или слишком сложно? Это классический ход ИИ.

• Повторяются: если вы заметили, что одни и те же фразы или слова появляются слишком часто, скорее всего, за рулем находится искусственный интеллект.

• Игнорирование настоящего: статьи об ИИ могут не отражать текущие события или не иметь контекста, который делает контент актуальным для сегодняшнего мира.

• Факты неверны: Иногда ИИ может звучать убедительно, но при этом совершенно не понимать факты. Он хорош в том, чтобы звучать правильно, но не всегда говорит правду.

• Только поверхностное изучение: ИИ склонен придерживаться поверхности, часто упуская из виду более глубокий анализ или идеи, которые мог бы предложить эксперт-человек.

• Перескакивание с темы на тему: если текст начинает отклоняться от темы или не может отразить основную мысль, возможно, вы имеете дело с ИИ.

Хотя этические последствия обхода детекторов ИИ следует учитывать, существуют и законные причины, по которым можно не допустить, чтобы контент был помечен как созданный ИИ, например, чтобы избежать предвзятости в отношении контента, созданного с помощью ИИ. 

Вот несколько приемов, которые помогут сделать текст, написанный ИИ, более похожим на человеческий:

• Добавьте личные истории или уникальные идеи: включение личных историй или необычных идей может придать человеческую составляющую, которую ИИ с трудом удается воспроизвести.

• Пишите так, как говорите: Пишите так, как будто общаетесь с другом. Непринужденный, разговорный стиль может заставить даже самый роботизированный ИИ восприниматься как просто еще один человек.

• Используйте инструменты перефразирования: чтобы изменить структуру предложений и выбор слов, используйте инструменты перефразирования, которые помогут разнообразить используемый язык, сделав его менее заметным.

• Предоставьте реальные факты и статистику: Убедитесь, что ваши факты верны. Точные и проверяемые детали добавляют достоверности вашей работе и привязывают ваш текст к реальности.

• Проведите собственное исследование по теме, прежде чем использовать ИИ: прежде чем начать использовать ИИ, убедитесь, что вы действительно понимаете свою тему. Чем лучше вы знаете свой предмет, тем лучше вы можете направить ИИ от общих ответов к контенту, который звучит так, как будто исходит от эксперта.

Текстовые детекторы ИИ становятся все умнее, но они далеки от совершенства. Важно, чтобы наши ожидания были реалистичными. Мы не можем полагаться исключительно на технологию, чтобы отличить то, что написано человеком, от того, что нет. Мы должны оставаться начеку и использовать собственное суждение. Не каждый неловкий или немного неверный текст исходит от компьютера. Люди вполне способны создавать контент, который сам по себе не попадает в цель 😉