以是Bob以为，，，，，，从现在起各人会继续扩大、刷新和打磨这三个看法。。。。这很是难，，，，，，需要大宗智慧和起劲。。。。但若干年后再转头看，，，，，，我们不会看到有其他新泛起的根天性手艺趋势。。。。 之以是会泛起收益递减，，，，，，是由于模子的智能增添与所投入的算力呈对数线性关系——也就是说，，，，，，要提升一定幅度的智能，，，，，，就必需成倍增添算力。。。。 实质上，，，，，，预训练是规模重大、耗时长期的训练历程，，，，，，要用整个数据中心一连运行好几个月。。。。而当要训练下一个新模子时，，，，，，通常要在多个数据中心上完成。。。。 这可以依赖一些算法效率的提升，，，，，，但从基础上说，，，，，，必需等新的数据中心建成。。。。这无法像推理那样在六个月内完成刷新，，，，，，而是需要数年的时间。。。。 纵然正在重点开发推理能力，，，，，，仍然希望刷新预训练，，，，，，提高推理时的效率、支持更长的上下文或更好地使用上下文。。。。而要做到这些时，，，，，，就必需重新最先，，，，，，在新架构上重新举行预训练，，，，，，然后再进入整个推理优化流程。。。。 但若是让人马上去盘算2个五位数的乘法，，，，，，对一样平常人来说完全做获得，，，，，，但不可连忙获得准确效果。。。。由于人类天生就需要「在回覆前思索」—— 就像以前，，，，，，学术界还能做出很大的突破。。。。但厥后，，，，，，当Bob再看到学术论文时，，，，，，他会想：「哦，，，，，，这个我们早就做过了，，，，，，他们刚刚又重新发明了一次。。。。」