Проблема, в частности, связанна с чат-ботом ChatGPT, который частенько врет, причём безапелляционно выдавая это за чистую монету.
Компания предложила свое решение для борьбы с этим явлением.
Дэза возникает, когда модели создают ложную информацию или, так называемую "галлюцинацию", что может иметь негативные последствия и повлиять на общественное мнение.
Организация предлагает стратегию "контроля процесса".
Суть в том, что модель будет получать вознаграждение за каждый правильный этап рассуждений, а не только за окончательное заключение. Это означает, что бот будет стимулирован делать точные и обоснованные выводы на каждом шаге, что должно снизить возможность генерации дезинформации.
Однако некоторые независимые эксперты выразили скептицизм относительно эффективности предлагаемого метода.
Бен Уинтерс (Ben Winters), старший советник информационного центра электронной конфиденциальности,
выразил сомнения и отметил, что хотел бы изучить полный набор данных и примеры, чтобы более точно оценить исследование. Он подчеркнул необходимость проведения дополнительных исследований и прозрачности данных.
Также управляющий директор института AI Now Сара Майерс Вест (Sarah Myers West) отметила, что непрозрачность и необходимость прозрачности данных, использованных для обучения и тестирования модели GPT-4, являются важными аспектами. Она подчеркнула, что для эффективной борьбы с дезинформацией необходимо обеспечить доступность и анализ данных, используемых в обучении моделей ИИ.
Высказанные опасения подчеркивают сложности в решении проблемы и поддержания прозрачности в области машинного обучения.
Но на чем сошлись эксперты так это на том, что дезинформация является сложной проблемой, которую необходимо тщательно исследовать и решать. Борьба с ней требует совместных усилий и принятия различных стратегий.
Усилия OpenAI по борьбе с этой проблемой через контроль процесса демонстрируют их приверженность решению этих проблем, но эффективность предлагаемого метода требует дальнейшей проверки и прозрачности.
Также эксперты выразили мнение, что если OpenAI хочет, чтобы их решение было широко принято и доверялось обществом. Они должны предоставить независимым экспертам доступ к полному набору данных и примерам, используемым в исследовании. Такой подход позволит провести более объективную и всестороннюю оценку эффективности модели.
Важно отметить, что борьба с дезинформацией ИИ – это сложная задача, и не существует универсального решения. Организации, такие как OpenAI, должны продолжать вкладывать усилия в разработку и совершенствование своих моделей, чтобы минимизировать риск генерации ложной информации. Вместе с тем, они должны сотрудничать с академическими и экспертными сообществами, чтобы получить обратную связь и поддержку в этом процессе.
Прозрачность и открытость данных – это также ключевые факторы в борьбе с дезинформацией. Организации, использующие ИИ, должны предоставлять информацию о том, как они собирают данные, какие методы обучения применяются и какие меры контроля качества используются. Это поможет обществу лучше понять процесс создания моделей ИИ и сделать более обоснованные выводы о достоверности получаемой информации.
В целом, усилия OpenAI по борьбе с дезинформацией ИИ через контроль процесса являются важным шагом вперед. Они демонстрируют приверженность организации решению этих проблем и понимание необходимости прозрачности и обратной связи. Однако эффективность предлагаемого метода требует дальнейшей проверки и оценки. Работа в этом направлении должна быть продолжена совместными усилиями индустрии, экспертов и общества, чтобы создать надежные и безопасные системы искусственного интеллекта.
