陈根：大模型之难！3年后，数据可能会耗尽？
时间：2023-08-31 04:41:59
(相关资料图)
文/陈根
研究机构Epoch AI认为，对数据需求急剧增加，以至于可用于训练的高质量文本可能会在2026年耗尽。
大模型的核心三要素就是算法、算力与数据，而决定着大模型智商水平的核心就是数据，数据就如同人类的知识教育输入一样，输入高质量的知识，相对而言就能产出高质量的认知。
而大模型对于数据的学习能力则取决于算力，当算力不断提升的情况下，就意味着大模型学习人类数据的能力越来越快，而人类社会所产出高质量数据的能力将远落后于大模型的学习能力。
那么根据算力演变，以及人类社会产生数据能力的模型推算，训练大模型的数据将在2026年耗尽这是完全可能，甚至在很多领域会更快的被耗尽。
因此，从这个层面来看，掌握着产业核心数据的公司将是接下来重点需要关注的领域。这也正是我一直所说的，要关注行业垂直领域，拥有着核心数据的公司，这些公司在叠加了AI技术之后，将很快训练出行业垂直性的专业小模型。
而从商业落地价值实现的层面来看，专业小模型比通用大模型更快的实现商业变现与行业变革的能力。同样，这也让我们看到，没有掌握核心数据的公司，不论是谈论大模型，或是谈论小模型，本质上都只是炒作。因为没有数据，就不可能训练出相应的模型。
