大模型从何而来，向何而去？
在2024年的GTC大会上，英伟达创始人黄仁勋与缔造了现代AI基石的Transformer模型八位作者进行了一场史诗级对话。本应用将带您深入探索这场对话的精髓，了解AI浪潮的起源、核心人物的思考，以及他们对未来的展望。
主创者们
认识一下这场AI革命的核心人物。点击卡片查看他们的关键见解。
灵感的火花
Transformer的诞生并非偶然，它是为了解决当时AI领域的关键瓶颈。本节将揭示其背后的核心思想。
面临的挑战：效率瓶颈
在Transformer之前，主流的RNN（循环神经网络）模型一次只能处理一个词，无法并行计算。这导致在处理海量数据时效率极其低下。正如Jakob Uszkoreit所说：“我们生成的训练数据比我们能够训练的最先进的架构要快得多。”
核心突破：注意力就是你所需要的一切
Transformer架构彻底抛弃了循环结构，引入“自注意力机制”，允许模型在处理一个词时同时关注输入序列中的所有其他词，从而实现了大规模并行计算。正如标题的由来，**Llion Jones**回忆道，当他们尝试扔掉模型中包括卷积在内的部分时，模型效果反而变好了，这让他们意识到“注意力”的核心作用。
关键概念
-
▶
缩放定律 (Scaling Law)
**Noam Shazeer**提到，他们很早就发现模型越大、数据越多，模型就越智能。这为之后的大模型发展指明了方向。
-
▶
通用架构
**Ashish Vaswani**从教训中明白，通用架构的可扩展性最终会成功。Transformer正是这样一种通用架构，能将“任何东西转化为其他任何东西”。
-
▶
超越语言
**Aidan Gomez**指出，团队从一开始就希望模型能处理所有模态的数据（文本、图像、音频），实现跨模态的通用智能。
八子新征程
离开谷歌后，七位作者分别投身创业，将Transformer的思想应用于不同领域。点击下方按钮，探索他们的创业版图。
下一个前沿
当模型规模接近互联网数据的极限，AI的下一步将如何发展？对话揭示了几个关键方向。您可以通过图表交互，了解每个方向的要点。
核心议题
增强推理能力
**Llion Jones**认为推理是下一个重要的发展方向。模型需要从简单的模式匹配走向更复杂的逻辑思考，这需要探索新的架构和训练方法。
高质量的数据飞轮
**Illia Polosukhin**强调数据需要来自大规模的用户交互。未来的数据质量比数量更重要，建立能激励用户贡献高质量数据的平台至关重要。
超越Transformer？
多位作者都认为需要比Transformer更好的东西。未来的模型可能是混合模型，或者采用**自适应计算**，在不同难度的任务上花费不同的计算资源，甚至探索RNN等被遗忘技术的潜力。