Способен ли ChatGPT помогать журналистам в создании кратких пересказов научных исследований?

ChatGPT плохо справился с краткими пересказами научных статей

Американская ассоциация содействия развитию науки (AAAS) провела исследование, чтобы выяснить, способен ли ChatGPT помогать журналистам в создании кратких пересказов научных исследований. Результаты оказались неутешительными: модель не справилась с задачей.

С декабря 2023 года по декабрь 2024 года специалисты AAAS отобрали 64 научных работы и попросили ChatGPT подготовить по ним краткие обзоры.

Для оценки использовались различные запросы, а созданные тексты сравнивались с материалами, написанными профессиональными журналистами.

Хотя ChatGPT продемонстрировал способность воспроизводить структуру журналистских заметок, его пересказы часто содержали упрощения или искажения фактов, путаницу между причиной и следствием, упущения важных деталей и даже чрезмерное преувеличение значимости открытий.

Мнения журналистов также были невысокими: в среднем они оценили тексты ChatGPT на 2 балла из 5 по критериям точности и увлекательности. Лишь один пересказ получил максимальную оценку.