蜂蛰伤论坛

首页 » 常识 » 诊断 » 寒冬里的求索科技公司的新突破
TUhjnbcbe - 2023/11/2 22:22:00

陈永伟/文

随着亚马逊、脸书、微软、特斯拉等公司相继启动大规模裁员,美国的科技企业似乎彻底进入了“寒冬”。当目睹了一众大型科技企业在短短几个月内失去了数千亿,甚至近万亿美元的市值之后,很多人对这些企业,以及整个科技领域的未来产生了怀疑。

这场科技企业集体遭遇的“寒冬”会持续多久呢?对此,我个人是比较乐观的。如果我们回顾一下历史,就会发现在上一次互联网泡沫破灭之后不久,互联网领域就迎来了新生,而催动那次新生的很多重要技术和商业模式则是在市场最低迷的那一段时间内孕育的。

这段历史告诉我们,无论总体环境多么恶劣,如果一个行业中含有的新力量足够多,那么它重新赢回繁荣的希望就很大。而在当下,只要我们对美国的科技企业进行一些观察,就会发现即使在这一段萧条期内,这些企业依然没有停止对技术的研发,以及与技术匹配的商业模式的探索。而这一切,很可能会成为开启下一轮繁荣的关键。

在本文中,我们将对七个技术领域的发展进行一些介绍,看一看在这些领域中,科技企业正在怎样求索着未来。

大模型带来的AI小高潮

几年前,我曾应邀做过一个关于人工智能对就业影响的报告。在报告之后的问答环节,有一位女士向我问道,她想让自己的孩子学点儿难以被人工智能替代的技艺,不知道计算机是不是一个理想的选择。我当时的回答是:“在我个人看来,编程是很可能被人工智能所取代的,至少一些对创造性要求不高的编程是这样,因为它们其实就是按照某些规则来处理问题,而只要这些规则是明确的,那么人工智能就应该很容易实现。”

尽管我对自己的判断是比较自信的,但在当时,我估计如果要让人工智能可以像人类程序员一样编程,得要用上至少十年的时间。但在短短的几年之后,事实就证明,我当时的预期实在是太保守了。就在这几天,一款名为ChatGPT的交互式AI程序刷爆了朋友圈。尽管交互式AI并不是什么新东西,例如微软小冰、苹果Siri都可以归于这一类别,但过去的类似AI所能进行的交互、处理的问题通常比较简单,至多只能算是一个小型的辅助工具。ChatGPT则完全不同,它可以被用来处理相对复杂的任务。

比如,我曾让ChatGPT解答一个“鸡兔同笼”问题。当我把问题输入对话框之后,ChatGPT就会开始和一个小学生一样,列方程、算答案。一会儿,一个完整的解答就出现了。不过,不知道是由于对中文的文本训练不足还是其他什么原因,它给出的答案并不正确。我要求程序重试,于是,ChatGPT就又进行了一遍演算。到第三遍时,它给出了正确的答案以及十分工整的解答过程。相比于求解用文字描述的数学题,ChatGPT在其他一些需要描述的任务上要好得多。例如,我让它生成一段关于Web3.0的一千字左右介绍,它立刻生成了对应的文本,并且从我个人的判断看,其内容还是有一定专业水准的。

ChatGPT最令人吃惊的功能还是我认为可能还要过上几年才能实现的编程。比如,我让它用python语言编写一个“九九乘法表”,它立刻编写了对应的程序,还顺带生成出了运行的结果。值得一提的是,ChatGPT强大的编程能力甚还造就了一个最近流传颇广的段子:说由于马斯克要求推特的程序员们每周都要提交编写的程序,所以现在这些程序员正在密集使用ChatGPT,让这个AI来帮助他们应付“黑心老板”的压榨。

当然,如果有哪个程序员真的要用这种方法来糊弄马斯克,那可能多半是难以蒙混过关的。因为归根到底,其实创造ChatGPT的OpenAI最早就是由马斯克和山姆·阿尔特曼(SamAltman)等人一起缔造的。据说,在年12月,马斯克和硅谷知名创业孵化器YCombinator的掌门人阿尔特曼,以及PayPal联合创始人彼得·蒂尔(PeterTheil)在一个人工智能的会议上相遇,三人相谈甚欢,一拍即合,于是就在一周之后成立了OpenAI。此后,马斯克由于特斯拉与OpenAI在数据上的利益冲突问题离开了OpenAI。不久后,微软就对OpenAI投资了10亿美元,并让OpenAI用Azure云来进行模型的训练。

在微软的强大财力和资源的支持之下,Ope-nAI训练出了一系列功能强大的AI产品,而其中最为著名的就是自然语言处理模型GPT系列。所谓GPT,是“生成性预训练”(GenerativePre-Training)的简称。这种训练方式分为两步:第一步利用没有标签的文本数据集训练语言模型,第二步是根据具体的下游任务对模型进行调整。相关的研究证明,采用这种训练方式,可以很好地利用海量的无标签文本材料,从而让训练效果更好。

当然,除了训练原理外,GPT系列模型最显著的特点就是其包含的巨大参数数量。在GPT-1中,参数数量约为1.17亿个;GPT-2的参数数量约为15亿个;而到了GPT-3,参数数量更是达到了骇人的亿个。如此巨大的参数,在经过海量学习材料的训练和校准之后,所得到的AI就可以很好地模拟人的思维和语言习惯,从而可以让AI能够用类似人的方式来思考和处理各种问题。

前面我们所提到的ChatGPT,其实只不过是GPT-3的一个模块,它的功能主要是让GPT-3所产生的结果以一个更为自然的方式呈现出来,从而让人与AI的交互更为便利。但仅仅是这样一个模块,就足以让数百万的注册用户震撼了,甚至还有人在使用ChatGPT之后惊呼:有了这个东西,那谷歌搜索不就要下岗了?

应该说,这种感叹是一定道理的。由于GPT经过了海量的文本训练,因此其对知识文献的整理能力是相当强悍的,从这个角度看,它将来确实有可能取代现在谷歌的部分功能,尤其是在各界期待已久的GPT-4面世之后。不过,如果要说它可以就此让谷歌“下岗”,这或许就有些言过其实了。

其原因,除了GPT系列本身依然存在的缺陷之外,更重要的是谷歌本身的人工智能能力也不容小觑。不仅谷歌自身的AI部门已经开发出了PaLM、LaMDA等功能强大的AI模型,其收购的DeepMind更是与OpenAI齐名的AI研究机构。例如,几年前击败人类顶级围棋选手,掀起人工智能热潮的AlphaGo,就是出自DeepMind。

而近年来,DeepMind更是开发出了很多堪称“逆天”的AI模型,例如其在年推出的AlphaFold就预测了超过两亿个蛋白质的结构,从而对分子生物学产生了巨大的推动作用;而其在最近推出的DeepNash,则可以有效处理信息不对称条件下的博弈,在实战中,已经可以战胜西洋*棋的顶尖人类高手。即使在大型自然语言模型方面,它也毫不逊色于OpenAI。目前,其已经训练的大语言模型就包括Go-pher、Chinchilla等。尤其值得注意的是,和OpenAI通过持续增加参数数量来提升模型表现不同,谷歌和Deep-Mind目前正在尝试用较少的参数来训练较少的模型。例如,Gopher模型的参数是亿个,而Chinchilla模型的参数则只有Gopher的1/4,约为亿个,但在各种实验中,Chinchilla模型的表现则要优于Gopher。可以想象,如果在后续的实践中,谷歌将Deep-Mind训练出的这些AI模型集成到其搜索引擎当中,那么ChatGPT或者其他的产品想要轻易撼动其地位,也并不是一件容易的事。

需要指出的是,以上提到的这些AI模型其实只是现在科技巨头们开发的AI模型中比较有代表性的几个。随着人工智能技术的日益成熟,几乎所有科技巨头都加入了对高性能AI产品的研发,而各种明星AI产品则如雨后春笋般涌现。仅比较近的产品就有脸书的OPT-B(其参数量和GPT-3类似,为亿个),以及微软与英伟达联合开发的Megatron-TuringNLG(其参数达到了亿个)等。不出预料的话,在未来的相当长的一段时间内,AI将会成为科技巨头们竞争的主战场。

开启计算的量子时代

随着人工智能、元宇宙等新技术陆续得到应用,人们对于算力的需求正变得越来越大。因此,如何突破算力瓶颈,也就成为了科技巨头们最为

1
查看完整版本: 寒冬里的求索科技公司的新突破