9年开源项目宣告停更,创建者怒斥OpenAI、Google:互联网被AI污染了,我鄙视你们

“生成式 AI 污染了数据“

生成式 AI 污染了数据,我认为没有人掌握关于 2021 年后人类使用语言的可靠信息”。近日,开源项目 wordfreq 的创建者 Robyn Speer 在目睹了 GPT 迅速发展 3 年后的局面,做出了这一评价。

随着 GenAI 的快速扩张,很多人认为它正在毁掉互联网。Robyn Speer 在忍无可忍的情况下,决定停更 wordfreq 项目,以示抗议。

同时,他也对 OpenAI 和 Google 发出了严厉批评,表示希望这些公司为主导 GenAI 工具的开发付出高昂代价。

9年开源项目宣告停更,创建者怒斥OpenAI、Google:互联网被AI污染了,我鄙视你们

发布 9 年的开源项目官宣停更

Wordfreq 是一个开源的 Python 库,专门用于统计和分析多种语言中的单词频率,最早发布于 2015 年。由 Robyn Speer 开发,它的核心功能是提供不同语言中单词的出现频率信息,帮助研究者、开发者和语言学家进行文本分析和自然语言处理任务。

Wordfreq 支持多种语言,包含的频率数据来自维基百科、电影和电视字幕、新闻文章、书籍、网站、Twitter 和 Reddit 上的数百万个来源,覆盖范围广泛。

截至目前,该项目在 GitHub 上有 1300 个 Star。随着俚语和流行文化的变化以及语言的演变,Wordfreq 可用于分析不断变化的语言习惯,并且是研究此类事物的学者非常重要的资源。

作为这个项目的开发者,Robyn Speer 在 GitHub 项目特别写了一则文档,向使用它的用户详细地解释了“为什么 wordfreq 不会再更新”。

9年开源项目宣告停更,创建者怒斥OpenAI、Google:互联网被AI污染了,我鄙视你们

“生成式 AI 污染了数据”和“信息从免费变成了昂贵的收费”

Robyn Speer 坦言,首要的原因便是——生成式 AI 污染了数据。

在 Robyn Speer 看来,开放网络(通过 OSCAR)曾是 wordfreq 的数据来源之一。如今,互联网上充斥着由大模型生成的杂乱文本,这些文本没有人写,且不传达任何内容。将这些杂乱的文本纳入数据会导致词频出现偏差。

或许有人说,以前的网站上也充斥着不少垃圾信息。Robyn Speer 也承认了这一点,但也解释称,wordfreq 的数据来源中虽然以前也有垃圾信息,但它是可控的,且通常可以识别,而大模型生成的文本则伪装成有意图的真实语言,尽管实际上没有任何意图,且它们输出的内容无处不在。

针对这一点,也在英国曼彻斯特大学创新管理与政策教授 Philip Shapira 之前做的一项研究中得到了验证。他发现,ChatGPT 倾向于过度使用某些单词或短语,比如说“delve”。同时,他表示,尽管“delve”的使用率在 2022 年之前一直在逐渐增加,但在 2023 年(ChatGPT 广泛可用时)出现了明显的增长,并在 2024 年继续增长,由于 ChatGPT 对“delve”这个词表现出了非同寻常的偏爱,导致该词的整体频率提升了一个数量级,而人们从未如此热衷于使用它。

9年开源项目宣告停更,创建者怒斥OpenAI、Google:互联网被AI污染了,我鄙视你们

信息从免费变得昂贵

“在写这篇文章之前,我一直在研究如何运行更新 wordfreq 数据源的工具”,Robyn Speer 说道,“wordfreq 不仅仅关注正式的书面语言。它特别从两个来源收集了更多的对话式语言用法:Twitter 和 Reddit”。

只不过,经过时间以及 AI 大模型的“洗礼”,Twitter 和 Reddit 这两个老牌网站似乎都发生了巨大的变化。

彼时,Twitter 允许第三方免费访问其部分“firehose”数据流,不过使用有一定的限制,譬如 Twitter 不允许 Robyn Speer 在他收集数据的公司(Luminoso)之外分发这些数据。当时 wordfreq 使用了这些数据作为输入构建了词频,但收集到的数据并不属于 Robyn Speer。

现在,Twitter 在被马斯克收购之后,它的公共 API 已关闭,甚至名字都被 X 取而代之。Robyn Speer 表示,“即便 X 提供了其原始数据流(实际上并没有),那里也找不到任何有价值的信息。”

除了 X 之外,Reddit 也停止提供公共数据归档,现在他们将归档内容以高价出售,此前有媒体报道称,Reddit 对每 5000 万次 API 请求收取 1.2 万美元的费用,相对于许多同行而言,这是一个较高的价格,也是很多第三方开发者无法负担的费用。Robyn Speer 称,只有 OpenAI 愿意支付这个费用。

“我不想再参与其中了”

多重因素夹杂在一起,Robyn Speer 坦言,不想再参与其中了。

曾经凭借自己的兴趣,我开发了 wordfreq。我以一种能够有益于自然语言处理工具的方式从事语料库语言学。

我所熟知的“自然语言处理”领域如今已难寻踪影。它几乎全被生成式 AI 吞噬。虽然其他技术依然存在,但生成式 AI 占据了整个领域,吸引了所有的资金。很少能看到不依赖 OpenAI 和 Google 控制的闭源数据的 NLP 研究,这两家公司我早已鄙视它们。

wordfreq 是通过收集大量多语言文本构建的。这在过去是一件非常合理的事情,而且不太可能有人会对此提出异议。但现在,文本收集工具大多用于训练生成式 AI,而人们对此非常有戒心。如果有人收集你的书籍、文章、网站或公开帖子的所有文字,很可能是为了制造一个剽窃机器,将你的话据为己有。

因此,我不想再做任何可能与生成式 AI 混淆或可能对生成式 AI 有益的事情。

OpenAI 和谷歌可以自己去收集他们自己的数据,我希望他们为此付出极高的代价。毕竟,他们自己造成了这个局面。

停更是 wordfreq 一个不错的结局!

事实上,不止 wordfreq 受到波及,我们也亲证在生成式 AI 的影响下:

  • 高校老师分不清作业、论文究竟是 AI 还是学生之手;
  • 一本正经胡说八道的 AI,其生成的内容成为很多人不假思索使用的来源。正如今年 5 月,苹果公司的新 iPad Pro 的广告展示了一台巨型工业液压机将人类文化艺术的标志性器具(乐器、书籍、绘画材料等)无情碾压成粉末,引来巨大争议,甚至美国电影制片人贾斯汀·贝特曼在 X 上写道:“为什么苹果要做一则碾压艺术的广告?科技和人工智能意味着摧毁整个艺术和社会!”;
  • 又如今年 7 月,Google 研究人员对 200 篇关于生成式 AI 滥用的新闻报道进行了研究,发现生成式 AI 造成的虚假信息正在互联网上泛滥成灾;
  • ……

对此,有不少网友感同身受,在 HN 评论道:

我很遗憾这种情况让原作者对 NLP 社区感到灰心,我也是其中的一员,我只想说“我们并不都是那样的”,虽然这确实是一个趋势,我们也正处于炒作的顶峰(甚至可能已经略微过了)。

关于网络被生成 AI 内容污染的抱怨非常及时,而且这已经不是第一次了,之前还有为了操纵 PageRank 而设立的垃圾内容农场等乱象。这可能意味着手工策划的高质量网站列表会重新获得价值(有些人称其为“小网络”)。

每一代网络都需要应对其特定时代的对抗性机制,而当前的网络阶段也不例外。

也有人认为:

实际上早在大型语言模型(LLM)出现之前,网络已经被谷歌那些没有明文规定的 SEO 规则污染了。单句段落、多次重复关键词,以及对“可索引性”的关注超过了可读性,这些早就让网络成为一个不太理想的分析来源。

这也使网络成为不太理想的训练数据来源。然而,LLM 仍然在被喂以那些为 Googlebot(谷歌爬虫)而非人类写的文章。机器学习/大型语言模型是写作污染的第二个迭代。第一个迭代是人类为企业的机器人写作,而不是为其他人类写作。

随着 Robyn Speer 宣布停更 wordfreq 消息的发酵,其本人补充说道:

我认为大多数找到它的人都能理解我的出发点。在此,我想强调几点。

  • 我仍然在维护开源库。这里有 ftfy(https://github.com/rspeer/python-ftfy),这是一个流行的多功能 Unicode 修复工具。
  • 你可以把 wordfreq 数据的“冻结”看作是一件好事。很多人发现 wordfreq 很有用,而最新版本不会消失。

Robyn Speer 总结道,「更新它反而会使情况变得更糟,因此我选择不更新。它随着时间会变得过时,但不会变得更糟。这对于互联网上的东西来说,算是一个不错的结局!」

来源:

https://github.com/rspeer/wordfreq/blob/master/SUNSET.md

https://news.ycombinator.com/item?id=41578483

本文来自微信公众号“CSDN”,作者:屠敏,经授权发布

© 版权声明

相关文章

暂无评论

暂无评论...