OpenAI 本周向ChatGPT Plus用户推出网页浏览和插件功能

OpenAI将在本周内向所有ChatGPT Plus用户推出网页浏览和插件！从alpha版本转为beta版本后，ChatGPT可以访问互联网，并使用70多个第三方插件。

Stability AI 发布 Stable Animation SDK

Stability SDK发布，允许用户使用稳定的扩散模型创建动画。您可以无条件地生成这些动画、在图像中调节或以视频为条件。结果很可爱，计算成本很高，并且具有非常独特的风格。

HuggingFace Chat 开源

HuggingFace已经开源了为HuggingChat应用程序提供支持的代码库，HuggingChat应用程序是ChatGPT的竞争对手。

Claude模型扩展至 100k Token

Anthropic的Claude模型现在可以在更长的背景下运行。这意味着您的组织可以将完整的文档放入模型中，语言模型将对其进行操作。他们举了一个例子，将 240 页的编码文档输入到 Claude 中，并让它回答编码问题。

Meta 宣布为广告商提供生成式 AI

Meta 宣布为广告商提供 AI 沙盒，帮助他们创建替代副本、通过文本提示生成背景以及为 Facebook 或 Instagram 广告裁剪图像。

PaLM 2的训练

谷歌的新大型语言模型PaLM 2使用了几乎比其2022年的前身多五倍的训练数据，使其能够执行更高级的编码、数学和创意写作任务。

ggml中的StarCoder

一个名为"React hook to run LLM in the browser"的GitHub仓库。随着WebGPU的出现，现在可以在浏览器中运行硬件加速的工作流程。这个仓库提供了一个React钩子，可以从HuggingFace CDN下载模型，编译为WASM，并运行推理。

Smol-Developer

GGML是在CPU上运行4位量化模型的框架。这意味着你可以在本地计算机上运行非常大的模型。StarCoder是最好的开源程序合成模型之一。在具有挑战性的OpenAI人工评估基准测试中表现非常出色。此拉取请求将该模型添加到GGML框架中，这意味着你可以在普通硬件上运行StarCoder。

LLM开发人员应知的数字

LLM开发人员应知的一组数字，对于粗略计算非常有用。

DarkBERT：利用专门的AI揭示暗网

DarkBERT是一种新的 AI ，专门针对暗网中使用的独特语言进行训练，该语言与常规互联网上的语言有所不同。通过与其他 AI 进行比较并研究各种应用案例，我们发现DarkBERT更擅长理解和处理暗网文本，使其成为未来在该领域进行研究的有用工具。

符号调整：通过符号标签增强AI学习

符号调整是一种新的训练 AI 的方法，其中我们用随机符号（如“foo”或“bar”）替代常规语言标签（如“正面”或“负面”），迫使 AI 从输入和标签之间的联系中学习。这种方法可以提高 AI 在新任务上的性能，帮助其更好地理解指令，并使其在逻辑推理任务上更加熟练，在不同的基准测试中都有明显的改进。

无边DAS：了解大型 AI 模型的奥秘

无边DAS是我们开发的一种新方法，通过寻找其行为中可理解的模式，更好地理解大型 AI 模型（如Alpaca）的工作原理。我们发现，无论输入或指令是什么，Alpaca都通过使用两个可理解的变量以一致的方式解决了一个简单的数字问题，这是理解这些复杂 AI 模型工作原理的重要一步。

一个Transformer块可以生成故事

文章讲述了一个有趣的研究，即使用一个Transformer块可以生成连贯、新颖且语法正确的故事。通过限制词汇表和精心构建训练数据集，这种小型模型可以达到比较好的性能。虽然目前大型模型的性能更好，但这个研究表明即使使用小型模型也可以生成高质量的文本。

提高动作识别能力：探索多模态泛化

介绍了一项新概念——多模态泛化，它关注的是系统如何在某些数据源受限或缺失的情况下进行适应。为了研究这一概念，研究人员创建了一个名为MMG-Ego4D的新数据集，并开发了新的方法来提高系统的泛化能力，这可能指导未来在这一领域的研究。

SuperICL：通过小型模型使大型AI模型更好地工作

新技术SuperICL可以通过与小型本地模型合作来帮助大型AI模型更好地学习。这种方法不仅可以提高这些大型AI模型在任务上的性能，还可以提高它们的稳定性和小型模型的能力，例如理解不同的语言和解释其决策。

在浏览器中运行LLM的React钩子

一个名为"React hook to run LLM in the browser"的GitHub仓库。随着WebGPU的出现，现在可以在浏览器中运行硬件加速的工作流程。这个仓库提供了一个React钩子，可以从HuggingFace CDN下载模型，编译为WASM，并运行推理。

Guidance (GitHub Repo)

Guidance是一个GitHub仓库，能够比传统的提示或链接更有效地控制现代语言模型。在这个仓库中，你可以找到用于快速设置和运行Guidance的示例和文档，并可以使用它来创建更好的预测和生成更优质的文本。

Transformers库上的第一个RNN

RWKV模型，这是一个具有内置循环的线性注意模型，是一个快速运行的强大语言模型，可以理论上具有长上下文窗口。这个模型是基于Transformers库的第一个RNN模型。该模型的开发团队有一个活跃的discord社区，现在在HuggingFace平台上更加可见。

认识OpenAI的“红队”

OpenAI 利用一个多样化的人员组合，称为“红队”，对 GPT-4 进行“对抗性测试”。

Megabyte百万字节序列

Transformer 并非真正的端到端模型。分词器有单独的训练过程，这很奇怪，通常会导致一般性能不佳。然而，如果我们尝试在字节上进行简单的训练，由于序列长度的增加，很快就会耗尽上下文长度。此外，对于真正的多模态问题，直接在字节上进行训练会移除复杂的补丁和标记化方案。这项工作允许模型直接在字节上进行训练，并支持长度达到一百万字节的序列。也许这甚至会对稀有单词的核心采样有所帮助！

通过添加激活向量来控制 GPT-2-X

AI 安全的一个目标是可扩展的监督，希望发现在不需要昂贵的人类干预的情况下引导语言模型生成的方法。本文中的所有想法并不新颖，回顾了软提示的概念，但是这是一个有趣的扩展。他们发现，通过为简单的想法添加激活向量，可以将生成引导到这些想法。

视频问答

视觉问答在过去几个月中得到了广泛的采用和快速的发展。这在很大程度上得益于预训练模型，如 Blip 和 clip。应用这些模型到视频中具有挑战性，因为计算要求大大增加。这项工作介绍了一系列不同的模型，通过在不同的时间尺度上运行，显著提高了这些系统的鲁棒性。他们使用 Blip2，并获得了强大的性能表现。