研究:読者はAIと人間の創作を区別できず、AI版の評価が高い

新しい研究によると、読者は人工知能が生成した物語と人間が創作した物語を区別するのが難しく、しばしばAIバージョンに高い評価を与えることがわかりました。この研究はアメリカのビラノバ大学のディナ・スコルニック・ウェスバーグ博士が主導し、『判断と意思決定』ジャーナルに発表されました。

研究チームは、1600人以上の参加者に対して、6つの短編小説の質と魅力を評価するよう依頼しました。その中には3つが人間によって創作され、3つがChatGPTによって生成されたものです。参加者には各物語の作者の身元が伝えられましたが、このラベルは必ずしも正確ではありませんでした。

AI生成の物語の魅力は人間の創作を超える

研究結果は、AI生成の物語を読む参加者が人間の物語を読む参加者よりも高い評価を与え、これらの物語がより魅力的で質が高いと考えていることを示しています。同時に、実際の作者が誰であれ、「人間創作」とラベル付けされた物語は「AI創作」とラベル付けされた物語よりも高得点を得ました。

ウェスバーグ博士は、この結果はAIが読みやすく、魅力的な物語を生成する能力がほとんどの人の予想を超えていることを示していると述べました。しかし、彼女はこれが人間の作者が重要でなくなったことを意味するわけではないと付け加えました。

その後のテストでは、参加者は同じテーマの2つの物語からどちらが人間によって創作されたか、どちらがAIによって生成されたかを識別するよう求められましたが、結果はほとんどの人が正しく識別できなかったことを示しました。注目すべきは、今年の初めにコモンウェルス短編小説賞でも同様の問題が発生したことです。オンライン読者は、受賞作の中にAI生成の疑いがある作品が3つあると指摘し、AI検出ツールもこの判断を支持しました。

しかし、賞の出版者は独立した検証を行い、その結果は明確ではありませんでした。これは、創作分野におけるAIの影響力が増していることを反映しており、今後の作品評価と認証をどのように行うかが重要な課題となるでしょう。

Nakumura
Nakumura
関連サイト:中文版 / TechRitualThe Base Principle