"如果把参数规模扩大x倍，模型能力就会得到y倍的提升" ——这条支撑着AI领域几年狂飙突进的Scaling ...

2025年1月22日，北京中科睿途科技有限公司（以下简称“中科睿途”）申请了一项名为“一种基于知识图谱的大模型回答准确度增强方法及系统”的专利，旨在解决当今大模型在自然语言处理中的一些局限性。这一申请在国家知识产权局的公示信息中出现，公开号为CN11 ...

引入问题 在科技飞速发展的今天，人工智能（AI）正如火如荼地渗透到我们生活的各个角落。尤其是大语言模型的兴起，使得人与机器之间的交流得到了前所未有的提升。但许多人仍然感到困惑： 大语言模型到底能做什么？ AIAgent是如何为我们提供更智能的服务的？

近年来，人工智能（AI）技术的发展如同一阵旋风，深刻地改变了我们的工作和生活方式。AI大模型以其强大的语言处理能力和多样的应用潜力，正在逐步成为各行业创新转型的重要驱动力。尤其是在医疗、教育、金融等垂直领域，AI大模型的应用正显现出其独特的价值与前景 ...

然而，这种后发优势也是一把双刃剑，它阻碍了学术机构和发展相对滞后的大语言模型团队的研究人员自主探索新技术，促使他们直接从最先进的大语言模型中蒸馏数据。此外，现有研究表明，数据蒸馏会导致模型稳健性下降。

BERT 于 2018 年发布，这个时间点，如果按照 AI 的纪事年代来说，可以说是一千年以前的事了！虽然过去了这么多年，但至今仍被广泛使用：事实上，它目前是 HuggingFace 中心下载量第二大的模型，每月下载量超过 6800 万次。

自然语言处理（NLP）技术是人工智能的一个分支领域，专注于计算机与人类自然语言间的交互研究，旨在使计算机具备理解、生成与处理人类语言（涵盖文本与语音形式）的能力。NLP作为一种集计算机科学、人工智能和语言学于一体的交叉技术，具有多样化、跨学科性、复杂 ...

1月7日，爱奇艺证实其起诉MiniMax侵犯其版权素材用于AI模型训练，索赔10万元，开国内视频平台AI侵权诉讼先河。与此同时，李开复对外辟谣阿里收购零一万物，但确认部分预训练团队成员会并入阿里，公司不再追求AGI方向，引发关注。

2024年逐渐远去，新的一年悄然而至，回顾这一年，科技界和风险投资圈的目光无疑聚焦在了人工智能。层出不穷的新产品，巨额的融资，独角兽创始人不断刷新人们的观念，如同走马灯般，你方唱罢我登场，而看客每天都在期待下一个大新闻。诚然，2024年可以说是生成式 ...

从古代的算盘到如今的超级计算机，人类计算能力的承载形式在不断演化。随着以ChatGPT为代表的生成式AI席卷全球，大模型已经成为推动技术创新的关键驱动力。无论是自然语言处理中的GPT系列、BERT等预训练模型，还是计算机视觉领域的ViT和SWIN ...

双向语言模型：在 BERT 之前，ELMo 和 GPT 的主要局限在于标准语言模型是单向的，GPT 使用 Transformer 的 Decoder 结构，只考虑了上文的信息。ELMo 从左往右的语言模型和从右往左的语言模型其实是独立开来训练的，共享 embedding，将两个方向的 LSTM 拼接并不能真正表示 ...

2018年起，NLP成为大型自监督神经网络学习的成功范例，Transformer模型和预训练语言模型（如BERT、GPT）进一步提升了NLP的性能‌，推动NLP在各领域广泛 ...