AI3Radar
AI3Radar 官方AI3Radar 动态

AI 写作检测器是概率不是证据:怎么读分数、怎么诚实地用

AI 写作检测器返回一个概率,概率不是证据。高分不能证明文本由 AI 生成,低分也不能证明由人类写成。本方法说明分数能显示什么、不能显示什么,以及如何用它而不造成误告。

分数能显示的:从统计上看,某些文本模式比典型人类写作更接近机器输出。不能显示的:作者身份。同样的模式可能来自译文、非母语草稿或重度编辑过的文档,检测器在这些文本上已知会产生误报。

诚实的工作流:把检测器当作分流标记,而不是判决。高分启动对来源和写作历史的人工复核,而不是结束复核。保留原始分数、所用模型与版本、以及日期,因为分数在不同检测器版本之间不稳定。

说明分数被滥用的失败信号:仅凭数字做决定、没有记录的复核、或把分数当作确定性。每一个都把概率工具变成不可靠的指控。

诚实读分数的方法是区分它能显示什么、不能显示什么。分数能显示文本在统计上接近机器输出;不能显示是谁写的。它能把文本标记出来供人工复核;不能证明作者身份。它可以是某个模型版本的快照;不能是跨版本的稳定判决。它能衡量与训练分布的相似度;不能公平评判译文或非母语草稿。下表把能与不能成对并列。

诚实的工作流把检测器当作分流,并记录足够的上下文让分流可复核。跑出分数,当它很高时,启动对来源和写作历史的有记录的人工复核;记录分数、所用模型与版本、以及日期;基于复核而不是数字做决定。下表把工作流变成四步。

检测器分数能显示什么、不能显示什么
问题分数能显示分数不能显示
模式文本在统计上接近机器输出实际是谁写的
证据标记出来供人工复核证明作者身份
稳定性某个模型版本的快照跨版本的稳定判决
公平性与训练分布的相似度对译文或非母语草稿的公平测试

检测器返回概率;概率不是证据。已知的误报场景包括译文与非母语文本。

诚实地使用检测器分数
步骤动作原因
分流高分启动人工复核分数不是证据
记录记录分数、模型、版本与日期分数随检测器版本变化
复核检查来源与写作历史分数缺少上下文
决策基于复核做决定概率工具不能当判决

使用检测器输出而不把它变成不可靠指控的工作流。