经验分享如何在自己的创业中，用上GPT3等AI大模型

　　本文约3900字，建议阅读10分钟
　　本文介绍了在创业中使用GPT3的AI模型。
　　随着机器学习技术的逐渐成熟并从学术走向工业，支持大规模机器学习所需的方法和基础设备也在不断发展。利用这些进步对初创公司来说机遇与风险并存几乎所有初创公司，都以各种方式利用机器学习来竞争各自的市场。
　　在这之前差不多经历了9年多的时间，当时的深度学习革命起源于一个2012年起，一年一度的竞赛，即AlexNet的ImageNetLSVRC竞赛（由研究社群举办的计算机视觉竞赛）。在一次比拼中，一个三人小组（AlexKrizhevsky、IllyaSutskever和GeoffreyHinton）使用了一种称为卷积神经网络的技术来理解照片的内容。他们毫无悬念地赢得了比赛以相当大的优势击败了所有其他人并且他们使用的系统仅仅是在700美元的游戏显卡上训练出来的。
　　至此机器学习的世界永远地改变了。
　　一年之内，初创公司开始涌现以复制AlexNet的成功。我之前的公司AlchemyAPI（2015年被IBM收购）早在2013年就使用我们的AlchemyVision计算机视觉API发布了这项工作的第一个商业版本。大约在这个时候成立的其他初创公司还包括DeepMind（被谷歌收购）、MetaMind（被Salesforce收购）和Clarifai等。学术界也发生了巨大变化，许多专家迅速从对人工智能的怀疑转变为全心全意地拥抱深度学习。
　　快进到2022年：神经网络已经改变了我们日常使用的软件系统中机器智能的方方面面，从识别我们的语音，到推荐我们的新闻摘要中的内容（且不论好坏）。
　　现在的系统仍然使用神经网络但规模大不相同。最近用于理解和生成人类语言的系统，例如OpenAI的GPT3，在超级庞大的数据上进行了训练：数千块GPU（每块至少花费一千美元）被编织成一个由高速网络互连的数据存储基础设施组成的复杂结构。虽然2012年最先进的系统可以在700美元的游戏显卡上进行训练，但今天的最先进系统通常被称为预训练模型可能需要用数千万美元的计算设备来训练。
　　这些大规模、高成本的预训练模型的出现为初创公司和其他希望在人工智能或机器学习方面进行创新的人带来了机遇、风险和限制。尽管它们可能无法在研究的前沿与谷歌、Facebook或OpenAI竞争，但小微企业可以利用这些巨头的工作，当然包括预训练模型，来启动他们自己的基于机器学习的应用程序的开发。
　　预训练网络为小型团队提供支持
　　AlexNet等神经网络最初是针对每项任务从头开始训练的当网络需要几周时间在单块游戏显卡上进行训练时，这是可行的，但随着网络规模、计算资源和训练数据量开始按需求扩展时，难度要大得多。这导致了一种称为预训练的方法的普及，该方法首先使用大量计算资源在大型通用数据集上训练神经网络，然后使用更少量的资源，比如数据和计算资源，对手头的任务进行微调。
　　近年来，随着机器学习在许多领域的工业化和落地（例如语言或语音处理），并且可用于训练的数据量急剧增加，预训练网络的使用量也呈爆炸式增长。例如，使用预先训练的网络可以让初创公司使用少得多的资源来（相比于从头开始训练所需的数据和计算资源）研发产品。这种方法在学术界也越来越流行，研究人员可以快速微调预训练网络以完成新任务，然后发表成果。
　　对于某些任务领域包括理解或生成书面文本、识别照片或视频的内容以及音频处理随着预训练模型的出现而不断发展，比如BERT、GPT、DALLE、CLIP还有一些其他的模型。这些模型在大型通用数据集（通常是数十亿个训练示例的数量级）上进行了预训练，并由资金充足的AI实验室（例如谷歌、微软和OpenAI的实验室）以开源形式发布。
　　商业化机器学习应用的创新速率与这些预训练模型的公益化效果不容小觑。对于那些没有配备超级计算机的现场工作人员来说，它们一直是灵丹妙药。它们使初创公司、研究人员和其他人能够快速掌握最新的机器学习方法，而无需花费时间和资源从头开始训练这些模型。
　　预训练模型的风险：规模、成本和外包创新
　　然而，在预训练的基础模型领域，并不是所有的模型都面对着一片坦途，而且随着它们的应用越来越多，风险也接踵而来。
　　与预训练模型相关的风险之一便是其规模的不断扩大。谷歌的T511b（于2019年开源）等神经网络已经需要一组昂贵的GPU来简单地加载和进行预测。而微调这些系统需要更多的资源。由谷歌、微软、OpenAI在20212022年间创建的最新模型通常非常庞大，以至于这些公司没有将它们作为开源发布它们现在需要数千万美元来创建，并且越来越多地被视为重要的IP投资，即使对于这些巨头来说也是如此。
　　然而，即便这些最新模型是开源的，仅仅加载这些网络以进行预测（机器学习用语中的推理）所涉及的资源需求量，也比许多初创公司和学术研究人员可以运用多。例如，OpenAI的GPT3需要大量GPU才能加载。即使使用AmazonWebServices等现代云端计算，也需要将数十台Amazon最昂贵的GPU机器配置到高性能计算集群中。
　　对于那些使用预训练模型的人来说，数据集对齐也是一个挑战。对大型通用数据集进行预训练并不能保证网络能够对专有数据执行新任务。网络可能缺乏上下文信息或存在基于其预训练的偏见，以至于即使进行微调也可能无法轻易解决问题。
　　例如，自然语言处理领域的流行预训练模型GPT2最初于2019年初宣布，因此模型是对在该日期或之前收集的数据进行了训练。想想自2019年以来发生的一切疫情，有任何涉及吗？最初的GPT2模型肯定会知道什么是流行病，但是缺乏围绕COVID19及其近年来出现的变异株的详细信息。
　　为了说明这一点，这里是GPT2试图完成句子COVID19是：GPT2（2019）：COVID19是一种高容量LED屏幕，可显示有关电池大小和状态的信息。
　　相比之下，2021年发布的开源语言模型GPTJ完成的句子如下：
　　GPTJ（2021）：COVID19是一种新型冠状病毒，主要影响呼吸系统，会导致一种具有多种临床表现的疾病。
　　相当戏剧性的差异对吧？数据集对齐和训练数据的时效性可能非常重要，具体取决于用例。任何在机器学习工作中利用预训练模型的初创公司都应该密切关注这些类型的问题。
　　云API更易得，但外包不是免费的
　　OpenAI、微软和英伟达等公司已经看到了计算资源需求规模增加所带来的挑战，并正在通过云API做出措施，这些API能够在其托管的基础设施上运行推理和微调大型模型。
　　当然，每个主要的云提供商现在都提供一套机器学习服务，在某些情况下，还提供专为这些工作负载设计的定制处理器。这可以通过将计算和基础设施挑战转移给更大的公司，为初创公司、研究人员甚至个人爱好者提供有限的应对措施。
　　然而，这种方法有其自身的风险。无法托管您自己的模型意味着依赖集中式的计算集群进行训练和推理。这可能会在构建预备投入生产的机器学习应用程序时产生外部风险：网络中断、API的并发性故障或速率限制，或者托管公司的政策变化可能会导致的重大运营影响。此外，当敏感的标记数据集（其中一些可能被HIPAA等法规涵盖）必须发送给云提供商进行微调或推理时，IP泄漏的可能性可能会让一些人感到不舒服。
　　从底线的角度来看，调用这些API对COGS（销售成本）的影响，也可能是那些使用云计算来满足其机器学习需求的人关注的问题。使用价格因供应商而异，更不用说API调用、数据存储和云实例的成本将随着您的使用而增加。如今，许多使用云API进行机器学习的公司最终可能会尝试过渡到自托管或自训练模型，以更好地控制其机器学习途径并消除外部风险和成本。
　　使用托管和预训练模型的机会和风险导致许多公司在试验阶段利用云API来启动产品开发。这正是一家公司试图寻找适合其产品的市场的时候。利用云API可以让公司快速启动并大规模运行其产品，而无需投资于昂贵的基础计算设施、模型训练或数据收集。来自谷歌、IBM、微软和OpenAI等提供商的云机器学习服务和托管的预训练模型现在正为数千家初创公司和学术研究项目提供支持。
　　一旦公司确认其产品与市场契合，它通常会过渡到自托管或自训练模型，以获得对数据、流程和知识产权的更多控制。这种转变可能很困难，因为公司需要能够扩展其基础架构以满足模型的需求，还要进行管理与数据收集，还伴随着注释和存储相关的成本上升。为了实现这一转变，公司正筹集越来越多的投资者资金。
　　我最近的创业公司Hyperia最近就进行了这样的转变。早期，我们在努力了解业务会议和客户语音对话的内容时尝试了云API。但最终我们决定从头掌控我们自己的事务，启动了大规模的数据收集和模型训练工作，以构建我们自己的专有语音和语言引擎。对于许多商业模式来说，如果要实现积极的单位经济化和市场差异化，这种演变是不可避免的。
　　具备战略性并密切关注大型人工智能实验室
　　预训练模型是机器学习中最新的颠覆性趋势之一，但不会是最后一个。
　　在公司继续建造更大的机器学习超级计算集群（Facebook最新的计算集群包括超过16，000块GPU）的同时，研究人员正忙于开发新技术以降低训练和托管最先进的神经网络的计算成本。谷歌最新的LaMDA模型利用多项创新来比GPT3更有效地训练，学术界正在迅速研发模型蒸馏和嘈杂学生训练等技术以减小模型大小。
　　这样或那样的创新成果意味着初创公司可以继续创新但随着环境的不断变化，保持警惕是很重要的。值得警惕的事情包括：
　　云API绝对可以加速公司的产品与市场契合之路，但往往会带来长期的问题。制定战略退出计划非常重要，这样这些API就不会控制您产品的命运。预训练模型可以极大地加快您的机器学习工作并降低整体训练和数据收集成本，但了解这些系统的局限性（例如，训练数据的时效性）很重要。密切关注巨头们的AI实验室（谷歌、微软、IBM、百度、Facebook、OpenAI等）的最新成果。机器学习正在以极快的速度迭代更新，每个月都会发布新技术、模型和数据集。这些版本通常会在意想不到的时间发布，如果您能够快速适应，这将对您公司的机器学习工作产生巨大影响。
　　最终，机器学习的未来及其对初创公司和科技公司的影响是不确定的，但有一件事是明确的：了解可用资源并做出明智决策的公司将比那些只寻求AI辅助的公司更容易取得成功。