远大期货官网

“One ring to rule them all”

这是影戏《魔戒》中的一句经典台词，用以形容一枚占有*统治职位的*魔戒。

通用人工智能领域，也曾泛起过这样一枚“*魔戒”。它的登场，同样有着一个在学术圈来看违反祖训、惊世骇俗的论文问题——“Attention Is All You Need”。

站在AIGC如火如荼、种种类GPT模子层出不穷的2023年回望，那时这篇论文的问题有多“狂妄”，这枚魔戒的影响力就有多大。且与影戏中的*魔戒带来彻底的扑灭差异，这枚AGI的“*魔戒”指向全新的缔造。

那么，又是谁缔造了这枚“*魔戒”？他们现在在何方，是否又在酝酿着新一轮的AI风暴？

现在我们都知道OpenAI开启了GPT时代，但再往前追溯，它是站在巨人的肩膀上才气采摘下来的功效，这个巨人的肩膀就包罗了2017年揭晓的这篇“Attention Is All You Need”。

这篇论文提出了名声大噪的Transformer架构，是谷歌著名算法BERT中最主要的部门，更是ChatGPT 末尾的“T”。

尔后，Transformer 所向无敌，从自然语言处置机械翻译最先，席卷整个 NLP 领域。

现在6年已往，ChatGPT险些是Transformer结下的最丰盛的果实，而耕作了Transformer架构的8位作者—— Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Lukasz Kaiser 和 Illia Polosukhin，大多数现在不在谷歌事情。事实上，其中有七人不再驻足依恋于谷歌这颗苍天大树之下。

我们统计，“Transformer八子”中，“转投小厂派”一人：Lukasz Kaiser则已在2021年加入 OpenAI担任研究员。

Llion Jones是8人中现在*还在谷歌事情的，只是事情地址换到了日本。他曾玩笑地示意，自己对论文作出了最有意义的孝顺，是写下了Attention is all you need这个“图谋不轨”的问题。

其中，创业派6人选择了自主门户，且基本上从谷歌一出来就已经获得了 VC 的支持。

本文将着重梳理“Attention Is All You Need”中创业派的最新动向。

01、“真实感”的保鲜期有多久？

原Google Brain研究员Aidan Gomez的创业公司生怕是内里最受瞩目的。

Aidan Gomez

Aidan Gomez开办的公司叫做Cohere，是一家确立于2019年的加拿大AI创企，专注于提供NLP模子，辅助企业改善人机交互，包罗行使Transformer架构快速部署对话式AI谈天机械人、天生式搜索引擎、文本摘要总结、增强向量搜索等。这家公司的另外两位首创人Nick Frosst和Ivan Zhang，也和Aidan Gomez一样具有学术靠山，且三位首创人均是多伦多大学校友。

Cohere之以是备受业内瞩目，除了首创团队的靠山之外，也有一部门缘故原由在于，它的投资者中尚有图灵奖获得者Geoffrey Hinton、着名人工智能研究员李飞飞、UC伯克利大牛Pieter Abbeel的身影。这三位在当今人工智能领域都是执牛耳的人物。

这样的大牛背书之下，Cohere的融资措施也十分紧凑，划分于2021年9月获得4000万美元A轮融资，2022年2月获得1.59亿美元B轮融资。

随着天生式浪潮在今年到达一个小热潮，今年5月，据《纽约时报》报道，Cohere更是拿到了2.5 亿美元的融资，估值到达20亿美元，本次投资者包罗CRM*Salesforce、著名芯片制造商Nvidia、Inovia Capital等。《纽约时报》写道，Cohere也是为数不多在手艺层面具备与OpenAI举行竞争的AI企业之一。有报道称Cohere现有员工已经到达近200人。

与Aidan Gomez选择的赛道类似，论文一作Ashish Vaswani在脱离谷歌后，也介入开办了一家将NLP手艺用于通用助手的公司Adept，并任该公司首席科学家。在谷歌事情后，Vaswani撰写了19篇论文，神经网络是他自2011年以来一直追求的配合主题。

Transfomer八子中的Niki Parmar也加入了Adept，任CTO。值得一提的是，Niki Parmar 是这个论文 8 位作者里*的女性。

Adept虽然确立较晚（2022年4月才正式确立），但也遇上了这一波AIGC的浪潮：今年3月拿到了3.5亿美金的B轮融资，由General Catalyst和Spark Capital团结领投，Addition、Greylock、Atlassian Ventures、Microsoft、Nvidia、Workday Ventures等机构跟投，尚有众多的硅谷明星创业者作为小我私人投资人投资。

这轮融资将Adept的总融资额增至4.15亿美金，公司估值跨越10亿美金，提升独角兽。

来自江西，晨帆基金完成备案

不外，Adept最新这轮融资已经和Ashish Vaswani、Niki Parmar没什么关系了。由于他们两都在2022年底先后脱离Adept，确立了一家名为EssentialAl的公司，目的是为企业构建软件以便于他们使用大型语言模子。今年5月，EssentialAl宣布了由Thrive Capital 领投的800万美元融资。值得一提的是，Thrive Capital 也是OpenAI 的投资者。该公司仍处于隐身模式，尚未推出任何产物。一位靠近该公司的新闻人士称，Conviction 和天使投资人 Elad Gil 也介入了这轮融资。

值得一提的是，创业派除了上面几位年轻面貌，也不乏已经为谷歌效力20多年的老员工。

这位老员工就是Noam Shazeer。他在2018年开发了Mesh-Tensorflow，这是*个用于在超级盘算机上训练大型Transformer的现实系统。

2021年，Noam Shazeer 也脱离了谷歌，与前谷歌工程师 Daniel De Freitas 配合建立了 Character.AI，致力于开发天生式 AI 谈天机械人 Web 应用程序。迄今为止，该公司已筹集了约 2 亿美元，估值靠近独角兽，约有20名员工。

02、“创业派”中的冒险者

都说创业是一场冒险，那么，跨界创业更是冒险中的冒险。

Transformer八子中，Jakob Uszkoreit是当之无愧的冒险经受，他的创业去向应该是*跨界色彩、也是最有难度的。

Uszekoreit 被以为是发现 Transformer 架构的幕后推手。GoogleBrain事情时代，他组建了Google助手的语言明晰团队，并介入了早期的Google翻译事情。

在谷歌事情了 13 多年之后，Jakob Uszkoreit也于 2021 年脱离了谷歌，他建立的 Inceptive，是一家彻头彻尾的AI 生命科学公司，致力于使用神经网络 高通量实验来设计下一代 RNA 分子。

到现在为止，该公司已筹集了 2000 万美元。

另一位跨界派Illia Polosukhin，险些是踏出了AI圈，投入到区块链浪潮中。

这位硅谷著名的IT天才，是Google TensorFlow人工智能开源项目的主要代码孝顺者，还曾任Google深度学习小组项目主管，带队卖力焦点搜索算法营业近10年。他在2017年2月就脱离了谷歌，开办了区块链底层手艺公司NEAR Protocol，吸引了包罗a16z、 MultiCoin Capital、Metastable、Coinbase Ventures等区块链领域的著名投资机构。

这家公链手艺公司可以托管去中央化应用程序和智能合约，被誉为“以太坊杀手”， 现在估值约为20亿美元。

03、新的硅谷“八叛徒”故事？

从Transformer八子现在的故事走向来看，已有些许昔时硅谷传奇——仙童“八叛徒”的风貌。

这件往事里，“叛徒”是一个褒义词。在晶体管刚刚问世之际，8位肖克利半导体实验室焦点人物纷纷出走，先后开办了仙童、英特尔和AMD等著名的半导体公司。可以说， 1970 年前后的半导体浪潮中，大部门半导体公司都起于仙童。依附“八叛徒”的智慧和创新精神不停开枝散叶，微处置器得以普及，盘算机变得加倍迅速和壮大，硅谷更是一举成为了全球半导体产业的中央，引领着信息时代的浪潮。

现在这段美谈已往已近70年，硬件的突破已经泛起边际效应，新一轮的信息革命蓄势待发，人类需要加倍智能的手艺来解决庞大的问题，创新的火种移交到AI领域，硅谷似乎迎来了新的八君子。

我们不难发现，和仙童“八叛徒”类似，“Transformer八子”自己已经积累了厚实的履历和手艺知识，他们在谷歌时代推动了人工智能领域的生长，脱离谷歌进入到各行各业中，能让这些名贵的资源和知识更普遍地应用于差其余领域和行业。

更主要的是，这一批去职的AI大牛，同样具备极高的缔造力和冒险精神。

他们都曾表达过对现状的不满，追求更高的目的和更具打击力的缔造。

八子中的“创业派”代表Niki Parmar就曾示意，在谷歌，公司整体更注重改善现有产物，而不是确立全新的产物种别。

无论是脱离谷歌开办自己的公司或加入其他创新型企业，他们能够加倍自由地探索和实践新的想法和观点，从而推着手艺的不停提高。

而且这些AI大牛们的去职，也有助于推动相助生态的形成。他们往往与其他优异的科学家、工程师和创业者慎密相助，配合开展创新项目和研究。这种相助生态能够加速创新的历程，促进手艺和头脑的交流，为整个行业带来更多的时机和突破。

正如八子中的另一位“创业派” Aidan Gomez所说：“在谷歌这样的大公司内部举行探索的自由度有限，你无法真正自由地举行产物创新。从基本上说，（这家公司的）结构不支持它。以是你必须自己去制作这个结构。”

这一批脱离谷歌的小分队，正在以加倍自由的方式探索和生长新的手艺和方式，进一步推动通用人工智能的提高。

这样来看，Transformer八子的泛起与出走，既是起势，或许也是某种顺势，正如昔时的仙童“八叛徒”一样。