大热的ChatGPT，28936 个 GPU！

OpenAI 的 ChatGPT 风靡全球，仅在一月份就迅速积累了超过 1 亿活跃用户。这是应用程序增长到这个规模的最快记录，之前的两个记录保持者分别是 TikTok的 9 个月和 Instagram 的2.5 年。每个人最关心的问题是大型语言模型 (LLM) 对搜索的破坏性有多大。本周，微软发布了 宣布，将 OpenAI 的技术整合到搜索引擎Bing中，这震惊了世界。

搜索领域的颠覆和创新不是免费的。，训练LLM的成本很高。更重要的是，在以任何合理规模部署模型时，推理成本远远超过训练成本。事实上，每周推理 ChatGPT 的成本都超过训练成本。如果将类似于 ChatGPT 的 LLM 部署到搜索中，这意味着 Google 的 300 亿美元利润直接转移到了计算行业的手中。

今天我们将深入探讨 LLM 在搜索中的不同用途、ChatGPT 的日常成本、LLM 的推理成本、Google 的搜索中断效应和数字、LLM 推理工作负载的硬件要求，包括 Nvidia H100 的性能改进数字和 TPU 成本比较、序列长度、延迟标准、可以调整的各种杠杆、微软、谷歌和 Neeva 解决这个问题的不同方法，以及我们在此处详述的 OpenAI 下一个模型架构的模型架构如何显着降低成本战线。

首先，让我们定义搜索市场的参数。我们的消息来源表明，谷歌每秒运行约 3.2 亿次搜索查询。将此与谷歌的搜索业务部门进行比较，该部门在 2022 年的收入为 1624.5 亿美元，每次查询的平均收入为 1.61 美分。从这里开始，谷歌必须为搜索、广告、网络爬虫、模型开发、员工等计算和网络支付大量开销。谷歌成本结构中一个值得注意的项目是他们支付了大约 200亿 美元以成为 Apple 产品的默认搜索引擎。

谷歌服务业务部门的营业利润率为 34.15%。如果我们为每个查询分配 COGS/运营费用，则每个搜索查询的成本为 1.06 美分，产生 1.61 美分的收入。这意味着具有 LLM 的搜索查询必须大大低于每次查询 <0.5 美分，否则搜索业务将对 Google 变得极其无利可图。

由于几个未知变量，估计 ChatGPT 成本是一个棘手的命题。我们建立了一个成本模型，表明 ChatGPT 每天在计算硬件成本方面的运营成本为 694,444 美元。OpenAI 需要约 3,617 台 HGX A100 服务器（28,936 个 GPU）来为 Chat GPT 提供服务。我们估计每次查询的成本为 0.36 美分。

我们的模型是在每次推理的基础上从头开始构建的，但它与 Sam Altman 的推文和他最近接受的采访一致。我们假设 OpenAI 使用 GPT-3 密集模型架构，参数大小为 1750 亿，隐藏维度为 16k，序列长度为 4k，每个响应的平均tokens为 2k，每个用户 15 个响应，1300 万日活跃用户，FLOPS 利用率在 <2000 毫秒的延迟、int8 量化、纯空闲时间导致的 50% 硬件利用率以及每 GPU 小时 1 美元的成本下，速率比 FasterTransformer 高 2 倍。

请挑战我们的假设；我们很乐意使其更准确，尽管我们相信我们处于正确的范围内。

如果 ChatGPT 模型被强加到谷歌现有的搜索业务中，其影响将是毁灭性的。营业收入将减少 360 亿美元。这是 360 亿美元的 LLM 推理成本。

将当前的 ChatGPT 部署到 Google 进行的每次搜索中，需要 512,820.51 A100 HGX 服务器和总共 4,102,568 个 A100 GPU。这些服务器和网络的总成本仅资本支出就超过 1000 亿美元，其中英伟达将获得很大一部分。当然，这永远不会发生，但是如果我们假设没有进行任何软件或硬件改进，那就是有趣的实验。

令人惊奇的是，微软知道将 LLM 插入搜索将压垮搜索的盈利能力并需要大量的资本支出。虽然我们估计了营业利润率的变化，但看看 Satya Nadella 对毛利率的看法。他认为，从现在开始，搜索的[毛利率]将永远下降。

但这甚至没有考虑以下事实：随着搜索质量的提高，搜索量可能会有所下降，将广告插入 LLM 的响应中会遇到困难，或者我们将在本报告后面讨论的无数其他技术问题。

微软正在高高兴兴地夸大搜索市场的盈利能力。他们表示，在搜索广告市场上每增加一个百分点的份额，我们的广告业务就会获得 20 亿美元的收入机会。

Bing 的市场份额很小。微软获得的任何份额收益都将给他们带来巨大的顶线和底线财务。

OpenAI 首席执行官 Sam Altman 谈 Stratechery表示，我认为这里对我们俩都有很大的好处。我们将发现这些新模型可以做什么，但如果我坐在一个昏昏欲睡的搜索垄断上，不得不考虑一个世界，在这个世界上，这种运作方式和新广告的货币化方式将面临真正的挑战单位，甚至可能是暂时的下行压力，我不会对此感觉很好。

这里有如此多的价值，我无法想象我们无法弄清楚如何在上面敲响收银机。

与此同时，谷歌处于守势。如果他们的搜索专营权动摇，他们的底线就会出现巨大问题。由于谷歌在运营成本方面相当臃肿，因此股票损失看起来比上面的分析还要糟糕。

谷歌并没有对此视而不见。在 ChatGPT 发布后的短短几个月内，Google 已经将其带有 LLM 的搜索版本投入公共领域。从我们所看到的新必应与新谷歌的对比来看，各有利弊。

Bing GPT 在 LLM 功能方面似乎更加强大。谷歌在准确性方面已经存在问题，即使在他们对这项新技术的舞台演示中也是如此。如果您同时测量 Bing GPT 和 Google Bard 的响应时间，Bard 在响应时间上压倒了 Bing。这些模型响应时间和质量差异与模型大小直接相关。

谷歌表示，Bard将世界知识的广度与大型语言模型的力量、智慧和创造力相结合。它利用来自网络的信息来提供新鲜和高质量的回复。我们最初将与LaMDA 的轻量级模型版本一起发布。这个小得多的模型需要更少的计算能力，使我们能够扩展到更多的用户，允许更多的反馈。

谷歌正在通过这种较小的模型在利润率上进行防御。他们本可以部署他们的全尺寸 LaMDA 模型或功能更强大、更大的 PaLM 模型，但相反，他们选择了更薄的东西。

不过，这是不得已的。

谷歌无法将这些庞大的模型部署到搜索中。这会严重侵蚀他们的毛利率。

由于谷歌的搜索收入来自广告，不同的用户每次搜索产生不同的收入水平。与印度男性农民相比，美国郊区女性平均每个目标广告的收入要高得多。这也意味着它们也产生了截然不同的营业利润率。

Ham 将 LLM 直接投入搜索并不是改进搜索的唯一方法。多年来，谷歌一直在搜索中使用语言模型来生成嵌入。这应该会改善最常见搜索的结果，而不会增加推理成本预算，因为这些可以一次生成并提供给许多人。

将 LLM 插入搜索中的最大挑战之一是序列长度增长和低延迟标准。

在OpenAI推出ChatGPT几周后，该产品就引发了一场新的全球人工智能(AI)竞赛。这款聊天机器人是新一波所谓的生成式AI浪潮的一部分。该技术指的是生成文本、图像等内容的复杂系统，或许是10年来对大型科技公司、众多行业和未来职场最具颠覆性的力量之一。

微软已将该技术添加到搜索引擎必应(Bing)等产品中，而竞争对手谷歌和百度正努力推出类似工具。尽管突然大受欢迎，但该技术目前面临一些严重的局限性和潜在风险，包括传播错误信息和侵犯知识产权等。

以下是需要了解的内容。

ChatGPT是总部位于旧金山的AI研究公司OpenAI开发的一款AI聊天机器人。该产品2022年11月发布，可以进行从历史到哲学等话题的对话，生成泰勒·斯威夫特(Taylor Swift)或比利·乔尔(Billy Joel)风格的歌词，并对计算机编程代码提供编辑建议。

ChatGPT是根据从互联网上搜罗的大量文章、网站和社交媒体帖子以及用户与OpenAI雇用的人工雇员的实时对话（主要是英语）进行训练的。ChatGPT学着模仿写作的语法和结构，并使用常用语。

ChatGPT并不总是准确的：它的消息来源没有经过事实核查，它依靠人类的反馈来提高准确性。

作为建立AI软件策略的一部分，OpenAI开发了ChatGPT，该策略将有助于公司实现盈利。今年1月，其战略合作伙伴微软披露将对OpenAI进行价值数以十亿计美元的投资，并表示计划将ChatGPT嵌入其必应(Bing)搜索应用程序和其他产品。

支撑ChatGPT的技术在该软件名字的后半部分被提及，即GPT，它是Generative Pre-trained Transformer（生成预训练转换器）的缩写。转换器是在数据序列中寻找长程模式的专门算法。转换器不仅能学会预测一个句子中的下一个词，还能学会预测一个段落中的下一个句子以及一篇文章中的下一个段落。这就是为什么它能够在长文本中紧扣主题。

由于转换器需要大量的数据，它的训练分为两个阶段：首先，它在通用数据上进行预训练，这种数据更容易大量收集；然后，根据它要执行的具体任务，利用定制的数据进行微调。ChatGPT利用一个庞大的在线文本库进行预训练，以学习语言的规则和结构：它通过对话记录进行微调，以学习对话的特征。

转换器(Transformer)于2017年由Alphabet Inc. (GOOG)旗下谷歌的研究人员提出，自那以来普遍存在于众多技术。谷歌在其新的实验性服务Bard中用到了转换器；Bard针对用户的搜索查询提供对话式答案。中国科技巨头百度正使用转换器来开发自己的类ChatGPT聊天机器人，计划到3月将其整合到自己的搜索引擎中。

转换器也是OpenAI旗下Dall-E 2、Stability.ai旗下Stable Diffusion等图像生成软件系统的基础。对转换器可以进行图像方面的训练，或同时进行图像和图说方面的训练。

我试着使用ChatGPT，但它说自己在“满负荷运行”。这是什么意思？

“满负荷运行"这一讯息意味着OpenAI对查询请求应接不暇，现在无法处理新请求。请稍后再试。OpenAI的一位发言人说，该公司已在努力扩大服务器容量，以满足这种超预期的需求。

ChatGPT是免费的。OpenAI把该聊天机器人作为一个研究预览版本发布了出来，用户可以通过一个专门的网站来试用。此外，2月1日，OpenAI先在美国推出了一个高级版本，月费为20美元，该版本将为订户提供优先访问权。

微软和OpenAI都计划发布一个API（应用程序编程接口），允许各公司将该技术整合到自家产品或后端解决方案中。微软的API将通过旗下Azure云计算平台提供。这两家公司都已经提供OpenAI早期的人工智能技术。

个人和企业如何使用ChatGPT？

包括BuzzFeed和《运动画刊》(Sports Illustrated)出版商在内的媒体公司已经宣布，计划用ChatGPT生成趣味问答和文章等内容。一些学校已经在校内网上屏蔽了ChatGPT，以防有人作弊，而另一些学校则积极鼓励学生以合乎道德的方式使用这些工具。

应注意的是，为优化ChatGPT，OpenAI可以访问您因为使用该服务而产生的输入和输出信息，OpenAI的员工和承包商也可能会阅读这些信息。请不要输入隐私数据或敏感的公司信息。

包括Dall-E 2和自拍生成器Lensa在内的其他生成式AI技术已在互联网用户中流行起来，可用于制作奇幻的图像和插图，独立作家也在运用这些技术为他们的文章创作插图。

AI聊天机器人和其他生成式AI程序能够像镜子一样反映“投喂给”它们的数据。它们对这些数据进行“反刍”并将其重新混合，有时结果令人惊艳，有时则一塌糊涂。基于转换器的AI程序的故障尤其难以预测和控制，因为这些程序依赖于海量数据，开发人员几乎不可能掌握这些数据包含的信息。

例如，ChatGPT有时能正确回答一些问题，因为对于这类话题“摄入”了高质量的信息来源，并经常与人类训练员对话。而对于互联网上含有大量错误信息的话题，比如阴谋论，以及非英语语言，比如中文，它就会胡言乱语。

一些艺术家也表示，AI图像生成器会剽窃他们的艺术作品，并威胁到他们的生计，而软件工程师则表示，代码生成器会抄袭他们的大段代码。

出于同样的原因，ChatGPT和其他文本生成器可能输出带有种族主义和性别歧视的内容。OpenAI称其使用人工来不断完善ChatGPT的输出，以减少这类错误的发生。OpenAI还使用内容审核过滤器来限制ChatGPT的回答，并避开政治上有争议或令人不快的话题。

消除底层技术偏见仍然是一个未解决的问题，也是一个热门的研究领域。多年来，底层技术偏见是一个反复出现的问题，包括2016年被称为Tay的臭名昭著的微软聊天机器人。

“ChatGPT存在令人难以置信的局限性，但在某些方面的能力足以让人误以为它是伟大的，”OpenAI首席执行官Sam Altman在该聊天机器人发布后不久发推文称，“现在依靠它来做任何重要的事情都是错误的。”

这家科技巨头是OpenAI最大的投资者，并独家授权其技术。微软2019年向这家AI初创公司投资了10亿美元，2021年再度投资，金额未披露，据知情人士透露，今年1月又追加了不超过100亿美元投资。根据协议，微软可以使用OpenAI的研究进展，包括GPT-3和ChatGPT，来创建新的产品或增强现有产品。微软是OpenAI之外唯一一家可以为这些技术提供API的公司。

与每一波自动化技术一样，最新的技术可能会对当下的岗位和未来的就业产生重大影响。在此前的几波浪潮中，蓝领工人往往首当其冲，而生成性AI将可能对白领职业产生较大影响。布鲁金斯学会(Brookings Institution) 2019年的一项研究发现，AI对营销专家、财务顾问和计算机程序员等工作影响最大。

这些影响将有利有弊。研究自动化的经济学家已经发现，相关影响往往包含三个方面：一些劳动者提高了生产力；部分岗位实现自动化或被合并；产生出以前不存在的新岗位。

最终结果很难预测。在公司层面的自动化研究中，研究人员发现，一些采用自动化的公司可能会提高生产力，并最终在一段时间内雇用更多的工人。但这些工人可能会经历工资缩水，职业发展机会减少。

新创造的岗位通常有两种情况：与被自动化的岗位相比，要么需要更多技能，要么所需的技能少得多。例如，自动驾驶汽车创造了对高技能工程师的新需求，但也创造了对不怎么需要技能的安全司机的新需求，这些司机只需坐在驾驶座上照看车辆。