以是Bob以为，，，，，从现在起各人会继续扩大、刷新和打磨这三个看法。。。。。这很是难，，，，，需要大宗智慧和起劲。。。。。但若干年后再转头看，，，，，我们不会看到有其他新泛起的根天性手艺趋势。。。。。 之以是会泛起收益递减，，，，，是由于模子的智能增添与所投入的算力呈对数线性关系——也就是说，，，，，要提升一定幅度的智能，，，，，就必需成倍增添算力。。。。。 实质上，，，，，预训练是规模重大、耗时长期的训练历程，，，，，要用整个数据中心一连运行好几个月。。。。。而当要训练下一个新模子时，，，，，通常要在多个数据中心上完成。。。。。 这可以依赖一些算法效率的提升，，，，，但从基础上说，，，，，必需等新的数据中心建成。。。。。这无法像推理那样在六个月内完成刷新，，，，，而是需要数年的时间。。。。。 纵然正在重点开发推理能力，，，，，仍然希望刷新预训练，，，，，提高推理时的效率、支持更长的上下文或更好地使用上下文。。。。。而要做到这些时，，，，，就必需重新最先，，，，，在新架构上重新举行预训练，，，，，然后再进入整个推理优化流程。。。。。 但若是让人马上去盘算2个五位数的乘法，，，，，对一样平常人来说完全做获得，，，，，但不可连忙获得准确效果。。。。。由于人类天生就需要「在回覆前思索」—— 就像以前，，，，，学术界还能做出很大的突破。。。。。但厥后，，，，，当Bob再看到学术论文时，，，，，他会想：「哦，，，，，这个我们早就做过了，，，，，他们刚刚又重新发明了一次。。。。。」