随着大语言模型研究对算力、数据和人力的要求越来越高,高校在大模型时代的定位越显尴尬。事情已经比较清楚了,AI研究的组织方式,已经产生了质变,而且我很怀疑这只是一个开始,很快会扩散到其他领域。

我之前在另一个blog《OpenAI与古田军号》 对这个问题有过一些思考,现在我对这种变化的认识更加深刻了。

这种变化背后是“还原论”的失败。所谓还原论,指的是一种研究的范式或者指导思想,即“复杂的系统可以通过将其化解、拆解各部分的方法来加以理解和描述”。实验室的研究,正是还原论的实践:通过少量人力和物力研究分解的模型。这种研究的组织范式在过去几百年都是比较成功的,很多新科学新技术都是脱胎于实验室。工业界承担的任务主要是技术集成和工程实现,做成产品。

但是大模型有独特的性质:作为一个复杂系统,必须在一定规模之上才能产生效果。还原论在大模型面前是彻底失效的,因此实验室的组织方式也失效了。不仅仅是“产品”,连新技术都无法在实验室中产生。我怀疑大模型只是一个起点,随着复杂科学的兴起,还原论的失败可能在更多领域显现,比如量子计算机、脑科学等等。

新时代的研究组织方式的特点有:

  • 规模化:大量的人力物力
  • 工业化:组织形式类似工业界,集团作战,且有明确的任务和分工。
  • 商业化:以商业化产品为目的,而不是paper。只有商业化,至少是商业化的可能,才能筹集足够的资金。
  • 探索性:不仅仅是技术集成和工程实现,也需要探索性的研究,发现新的科学和技术。这是和一般工业界的区别。

其实在OpenAI之前,航天的研究也是这样的,只是我没有重视。比如马斯克的可回收火箭,也必须是一定规模之上才能看到效果。某种程度上,SpaceX就已经是新时代研究组织方式的先驱者了。

特别值得强调的是,并非人多钱多就是“新时代研究组织方式”了。有的高校实验室有上百人,却是各自为战,一团散沙。即便是工业界,很多公司也没有进入新时代。据我了解,商汤内部的研究组织方式非常松散,更接近传统的实验室,虽然产生了很多paper,但并没有带来类似大语言模型的突破。

如果不能意识到这种变化,必然会落后。我未来数年的任务,不仅仅是技术本身,也包括探索研究的组织方式,比如如何开展实验室和工业界之间有效双赢的合作;如何分配任务,发挥两者各自长处;在何时进行规模化,等等。发表paper是相对容易的,但如果想真正做出有影响力的工作,并推动社会的进步,这种探索是必要的。