研究人员开发人工智能工具，监控和预防语言模型中的有害输出

据 Cointelegraph 报道，来自人工智能（AI）公司 AutoGPT、美国东北大学（Northeastern University）和微软研究院（Microsoft Research）的研究人员团队开发了一种工具，可以监控大型语言模型（LLM）的潜在有害输出，并阻止其执行。该代理在一篇题为 "在野外安全测试语言模型代理 "的预印本研究论文中进行了描述。研究指出，该代理非常灵活，足以监控现有的 LLM，并能在代码攻击等有害输出发生之前阻止它们。 用于监控 LLM 输出有害交互的现有工具在实验室环境中似乎很有效，但当应用于测试已在开放互联网上生产的模型时，它们往往无法捕捉真实世界错综复杂的动态。这主要是由于人工智能领域存在边缘情况，而且研究人员不可能在伤害发生之前想象出每一种可能的伤害载体。即使人类与人工智能互动的初衷是好的，看似无害的提示也可能造成意想不到的伤害。 为了训练监控代理，研究人员建立了一个数据集，其中包含近2000次安全的人类/人工智能交互，涉及29种不同的任务，从简单的文本检索任务和编码校正到从头开始开发整个网页。他们还创建了一个相互竞争的测试数据集，其中充满了人工创建的对抗性输出，包括数十个设计为不安全的输出。这些数据集随后被用于在 OpenAI 的 GPT 3.5 turbo 上训练一个代理，这是一个最先进的系统，能够区分无害输出和潜在有害输出，准确率接近 90%。