死死团
精华
|
战斗力 鹅
|
回帖 0
注册时间 2022-1-24
|
我本人就是做LLM的,我大概可以解释说一下.
就是一开始很多人做AI的终极目标就是追求一个world model,
这个world model本身是可以按照人类的理解去理解这个世界的
但是由于各种各样的原因把,world model本身在chatgpt之前是认为很遥远更多是一种幻想.
并且andrew ng(一个大佬)当时和国内的很多大佬都认为data centric model才是重点,
也就是说追求的是为特定不同的任务来量身定做小模型.
因为当时的openai虽然也有了GPT3,但是耗费了大量的资金和资源,最后也没有任何成果.
当时最好的语言模型还是T5 bert这些,但是openai就是用一种教徒式的信仰(上次华为的大佬跟我们形容的),
坚信scaling law这个东西,也就是假如我们的模型没有能力(无论是现在基础的记忆还是未来更进一步的智能),
核心原因只是我们模型本身不够大.他们最后也获得了成功,现在小模型还有其他语言模型基本上相当于快死亡了.
并且他们的预感是随着更多的计算资源的投入,GPT本身迟早有智能,比如说openai的目标是2030年之前实现GPT自己可以完成科研项目
但是这点反正也有很多人质疑,认为这个东西无论如何都不会有智力.
但是即使这样,很多人也承认,GPT这个东西算是人类目前最接近world model的工具.
也就是说GPT这东西本质上是可以符合人类的认知来认知我们这个世界的.当然距离真正的world model还有很大距离就是了 |
|