"如果把参数规模扩大x倍，模型能力就会得到y倍的提升" ——这条支撑着AI领域几年狂飙突进的Scaling ...

BERT 于 2018 年发布，这个时间点，如果按照 AI 的纪事年代来说，可以说是一千年以前的事了！虽然过去了这么多年，但至今仍被广泛使用：事实上，它目前是 HuggingFace 中心下载量第二大的模型，每月下载量超过 6800 万次。

虽然仅解码器模型（如 GPT）可以完成仅编码器模型（如 BERT）的工作，但它们受到一个关键约束：由于它们是生成模型，因此从数学上讲它们「不 ...

在人工智能领域，提示词工程（Prompt Engineering）正迅速崛起，成为优化大模型（如GPT、BERT等）应用的重要工具。根据中移智库发布的《2024年大模型 ...

GPT-4这样的生成模型还有一个限制：它们不能预先看到后面的token，只能基于之前已生成的或已知的信息来进行预测，即只能向后看。 而像BERT这样的 ...

」 也许你没听说过 Radford 这个人，但他参与的研究却是重量级的，在他 2016 年加入 OpenAI 后，带来了一系列革命性突破，比如大家熟知的初代 GPT，还主导了 GPT-2 的研发等等。 在前几天火热进行的 NeurIPS 2024 大会上，OpenAI 前首席科学家 Ilya Sutskever 在他的演讲中 ...

从最初的循环神经网络（RNN）到变换器（Transformer），再到基于变换器的双向编码器（BERT），直至现在的生成式预训练变换器（GPT），我们见证了AI从特定领域工具，向通用型智能助手的转变。 AI的进化过程，能很容易联想到人类认知的发展轨迹。就像婴儿经历 ...

大模型（如GPT和BERT等）的快速发展，促使各大科技公司纷纷投入巨资进行研发。如今，大模型的商业化应用成为业界关注的焦点，关键问题在于：谁成为了这股力量的最大受益者？这篇文章将深入探讨这一现象，并分析其背后的技术与商业逻辑。 大模型的崛起 ...