AI 写作检测器是概率不是证据:怎么读分数、怎么诚实地用
AI 写作检测器返回一个概率,概率不是证据。高分不能证明文本由 AI 生成,低分也不能证明由人类写成。本方法说明分数能显示什么、不能显示什么,以及如何用它而不造成误告。
分数能显示的:从统计上看,某些文本模式比典型人类写作更接近机器输出。不能显示的:作者身份。同样的模式可能来自译文、非母语草稿或重度编辑过的文档,检测器在这些文本上已知会产生误报。
诚实的工作流:把检测器当作分流标记,而不是判决。高分启动对来源和写作历史的人工复核,而不是结束复核。保留原始分数、所用模型与版本、以及日期,因为分数在不同检测器版本之间不稳定。
说明分数被滥用的失败信号:仅凭数字做决定、没有记录的复核、或把分数当作确定性。每一个都把概率工具变成不可靠的指控。
诚实读分数的方法是区分它能显示什么、不能显示什么。分数能显示文本在统计上接近机器输出;不能显示是谁写的。它能把文本标记出来供人工复核;不能证明作者身份。它可以是某个模型版本的快照;不能是跨版本的稳定判决。它能衡量与训练分布的相似度;不能公平评判译文或非母语草稿。下表把能与不能成对并列。
诚实的工作流把检测器当作分流,并记录足够的上下文让分流可复核。跑出分数,当它很高时,启动对来源和写作历史的有记录的人工复核;记录分数、所用模型与版本、以及日期;基于复核而不是数字做决定。下表把工作流变成四步。
| 问题 | 分数能显示 | 分数不能显示 |
|---|---|---|
| 模式 | 文本在统计上接近机器输出 | 实际是谁写的 |
| 证据 | 标记出来供人工复核 | 证明作者身份 |
| 稳定性 | 某个模型版本的快照 | 跨版本的稳定判决 |
| 公平性 | 与训练分布的相似度 | 对译文或非母语草稿的公平测试 |
检测器返回概率;概率不是证据。已知的误报场景包括译文与非母语文本。
| 步骤 | 动作 | 原因 |
|---|---|---|
| 分流 | 高分启动人工复核 | 分数不是证据 |
| 记录 | 记录分数、模型、版本与日期 | 分数随检测器版本变化 |
| 复核 | 检查来源与写作历史 | 分数缺少上下文 |
| 决策 | 基于复核做决定 | 概率工具不能当判决 |
使用检测器输出而不把它变成不可靠指控的工作流。