
Свежие сравнительные тесты языковых моделей показывают, что способность искусственного интеллекта распознавать кремлёвскую пропаганду варьируется от очень высокой до крайне низкой. На первый взгляд ведущие модели кажутся надёжными, однако только при целенаправленной манипуляции становится ясно, что некоторые из них всё же восприимчивы к пропаганде.
На этой неделе Институт эстонского языка опубликовал результаты масштабного исследования, в рамках которого оценивалась способность более чем 50 языковых моделей распознавать стратегические нарративы России. Propastop участвовал в создании сравнительного теста на устойчивость к пропаганде, помогая определить основные нарративы, используемые в российской деятельности по влиянию, а также оценивать ответы моделей.
Для Propastop это сотрудничество является хорошим примером того, что исследование дезинформации не ограничивается лишь анализом статей, социальных сетей или новостных потоков. Совместная работа с Институтом эстонского языка показывает, что знания, накопленные при изучении российской деятельности по влиянию, помогают находить ответы и на вопросы, возникающие в эпоху искусственного интеллекта.
Роль Propastop
Задачей Propastop было помочь определить 14 основных нарративов, используемых в российской деятельности по влиянию, на основе которых были составлены 75 тестовых вопросов на эстонском, английском и русском языках. Вопросы формулировались в трёх вариантах: нейтральном, предвзятом и откровенно манипулятивном. Это позволило оценить не только знания моделей, но и их способность распознавать манипулятивные утверждения и вводящие в заблуждение предпосылки.
Кроме того, эксперты Propastop участвовали в настройке системы оценки. В рамках этой работы был проанализирован большой объём ответов моделей, чтобы проверить, насколько автоматические оценки совпадают с оценками профильных специалистов.
«Сравнительный тест на устойчивость к пропаганде был подготовлен в сотрудничестве с экспертами Propastop по дезинформации, которые помогли определить основные нарративы, связанные с российской деятельностью по влиянию, а их экспертные оценки обеспечили надёжность результатов», – отмечает Институт эстонского языка в описании теста.
Что показывают результаты?
Способность моделей распознавать пропаганду различается. Особенно заметны эти различия в случаях, когда вопрос содержит вводящее в заблуждение предположение или пытается намеренно склонить модель к определённому ответу.
Ведущие модели в целом хорошо справляются с такими ситуациями, однако различия между ними остаются значительными. Интересным наблюдением стало и то, что результаты ряда моделей на русском языке оказались слабее, чем на эстонском или английском.
В случае некоторых моделей вероятность дать ответ, поддерживающий пропагандистский нарратив, при манипулятивной формулировке вопроса была почти в два раза выше, чем при нейтральной.
По словам директора Института эстонского языка Арви Таваста, подобная работа становится всё более важной, поскольку на модели искусственного интеллекта напрямую влияет окружающая их информационная среда.
«Иностранные политические фабрики троллей способны производить фальшивый контент, который затем используется для предвзятого обучения моделей искусственного интеллекта. Это опасная тенденция, и мы должны активно работать над тем, чтобы представление об Эстонии оставалось сбалансированным».

Работа продолжается
Устойчивость к пропаганде – лишь первая часть более широкой программы сравнительных тестов. Помимо безопасности, Институт эстонского языка оценивает также уровень владения эстонским языком у языковых моделей и их знания об эстонском культурном пространстве. Осенью система оценки дополнится исследованиями в области медицины, права, а также безопасности детей и молодёжи.
С системой оценки языковых моделей можно ознакомиться на сайте mõõdupuu.eki.ee.
Проект сравнительного тестирования языковых моделей был инициирован фондом TI-hüpe, а его реализацию поддерживают Министерство образования и науки Эстонии и инициатива Eesti.ai. За методологию тестирования, публикацию результатов и содержательные выводы отвечает Институт эстонского языка.
