大自然用了亿万年优化的神经算法，，，，，，，或许正是突破目今人工智能瓶颈的钥匙
。。。。[1]”克日，，，，，，，美国哈佛大学团队和相助者探索了生物强化学习中多个时间标准的保存，，，，，，，借此证实在多个时间标准上学习的强化学习智能体具有奇异的盘算优势，，，，，，，并发明在执行两种行为使命的小鼠实验中，，，，，，，当多巴胺能神经元（Dopaminergic Neurons）编码夸奖展望误差时，，，，，，，体现出了多样化地折扣时间常数的特征
。。。。 这一效果为明确多巴胺能神经元的功效异质性提供了新范式，，，，，，，为“人类和动物使用非指数折扣”这一履历性视察提供了机制基础，，，，，，，并为设计更高效的强化学习算法开发了新途径
。。。。 日前，，，，，，，相关论文揭晓于Nature[2]，，，，，，，加拿大麦吉尔大学助理教授、原美国哈佛大学博士后研究员保罗·马赛（Paul Masset）是第一作者兼配合通讯作者
。。。。 研究中，，，，，，，研究团队使用专有模子诠释了时间折扣（temporal discounting）的异质性，，，，，，，这种异质性既体现在由线索引发的瞬时反应中，，，，，，，也体现在被称为“多巴胺斜坡”的较慢时间标准波动里
。。。。其中的要害在于，，，，，，，单个神经元在差别使命中丈量获得的折扣因子具有显著相关性，，，，，，，这批注这些折扣因子拥有统一种细胞特异性属性
。。。。 需要说明的是，，，，，，，时间折扣（Temporal Discounting）是指个体对奖励或处分的主观价值评估会随着时间延迟而下降的心理征象
。。。。这一看法在行为经济学、神经科学和强化学习领域具有主要意义
。。。。折扣因子（Discount Factor）则是强化学习中的焦点参数，，，，，，，用于权衡智能体关于未来奖励的重视水平
。。。。 不少人工智能领域的最新希望都依赖于时序差分（TD，，，，，，，temporal difference）强化学习
。。。。在这一学习要领中，，，，，，，时序差分的学习规则被用于学习展望信息
。。。。 在该领域之中，，，，，，，人们基于关于未来的预期值，，，，，，，来一直地更新目今的预计值，，，，，，，这让时序差分要领在解决“未来夸奖展望”和“行动妄想优化”这两类使命上展现出了卓越性能
。。。。 关于古板时序差分学习来说，，，，，，，它接纳牢靠折扣因子的标准化设定，，，，，，，即仅仅包括简单学习时间标准
。。。。这一设定在算法收敛后会导致指数折扣的爆发，，，，，，，即未来奖励的价值会随着时间单位泛起出牢靠比例的衰减
。。。。 只管这种牢靠折扣因子的标准化设定，，，，，，，关于坚持学习规则的精练性和自洽性至关主要，，，，，，，可是众所周知的是人类和动物这些生物体在举行跨期决议时，，，，，，，并不会体现出指数型折扣行为
。。。。 人类与动物这些生物体能够动态地调理自身的折扣函数，，，，，，，以便顺应情形的时间统计特征
。。。。而当这种调理功效失调的时间，，，，，，，可能是泛起心理异
；；；；；蝾净寄持旨膊〉谋昙
。。。。 研究团队体现，，，，，，，将时序差分学习规则加以进一步扩展之后，，，，，，，能够让人造神经系统与生物神经系统学习越发重大的展望表征
。。。。越来越多的证据批注，，，，，，，生物系统中保存富厚的时间表征，，，，，，，尤其是在基底神经节中
。。。。需要说明的是，，，，，，，基底神经节是脊椎动物大脑中一组起源差别的皮质下核
。。。。而探明这些时间表征究竟是怎样学习的，，，，，，，仍然是神经科学领域和心理学领域的一个要害问题
。。。。 在大大都时间学习理论中，，，，，，，一个主要组成部分即是多重时间标准的保存，，，，，，，这使得系统能够捕获差别一连时间规模内的时间依赖性：较短的时间标准，，，，，，，通常能够处置惩罚快速转变的关系以及即时依赖性关系
；；；；；较长的时间标准，，，，，，，通常能够捕获缓慢转变的特征以及处置惩罚恒久依赖性关系
。。。。 别的，，，，，，，人工智能领域的研究批注，，，，，，，通过纳入多个时间标准的学习，，，，，，，深度强化学习算法的性能可以获得提升
。。。。那么，，，，，，，大脑中的强化学习是否也体现出这种多时间标准特征？？？ 为此，，，，，，，研究团队研究了多时间标准强化学习的盘算寄义
。。。。随后，，，，，，，他们发明多巴胺能神经元会在差别的时间标准上编码展望，，，，，，，从而能为大脑中的多时间标准强化学习提供潜在的神经基础
。。。。 研究团队发明，，，，，，，关于在种种重大问题中的体现来说，，，，，，，那些接纳多时间标准学习的强化学习智能体，，，，，，，远远优于接纳简单时间标准的智能体
。。。。 为了说明多时间标准表征的盘算优势，，，，，，，他们展示了几个示例使命：包括一个简朴的线性迷宫、一个分支迷宫、一个导航场景和一个深度 Q 网络（DQN，，，，，，，deepQ-network）场景
。。。。 同时，，，，，，，智能体基于已经习得的线索关联价值，，，，，，，通过解码网络针对价值信息举行使命特异性转换，，，，，，，最终天生与使命需求相匹配的行为输出
。。。。 由于某些使命涉及到多时间标准值上的重大非线性操作，，，，，，，于是研究团队使用战略梯度为每个使命训练了一个通用的非线性解码器
。。。。 鉴于本次研究旨在评估多时间标准价值表征相比单时间标准表征的焦点优势，，，，，，，以及旨在探讨这些优势能在多洪流平上被一个与代码无关的浅易解码器所使用
。。。。因此，，，，，，，在研究团队的模子中，，，，，，，多时间标准价值信号并不直接驱动行为输出，，，，，，，而是作为一种增强型状态表征，，，，，，，以便能为后续使命特异性行为的解码提供信息基础
。。。。 通过此，，，，，，，他们剖析了多时间标准强化学习智能体的奇异盘算优势，，，，，，，并批注这一视角能够诠释多巴胺能神经元活动背后的多个原理
。。。。 研究团队体现，，，，，，，“将多巴胺能神经元明确为通过时序差分强化学习算法盘算奖励展望误差”的看法，，，，，，，彻底改变了人们关于这类神经元的功效的认知
。。。。 可是，，，，，，，也有研究通过拓展纪录位点的剖解学规模，，，，，，，展现了多巴胺神经元响应保存显著的异质性，，，，，，，不过这些发明难以在经典的时序差分强化学习框架中获得合明确释
。。。。 同时，，，，，，，许多看似异常的发明可以在强化学习框架的扩展中获得协谐和整合，，，，，，，从而进一步增强时序差分理论在捕获大脑学习机制重大性方面的强盛能力和通用性
。。。。 相比古板强化学习框架中基于标量展望误差的要领，，，，，，，多巴胺系统能够学习和表征更富厚的信息，，，，，，，这是由于多巴胺系统使用了“参数化向量展望误差”
。。。。在“参数化向量展望误差”中，，，，，，，包括了关于奖励函数未来时间演化的离散拉普拉斯变换
。。。。 需要说明的是，，，，，，，离散拉普拉斯变换（DLT，，，，，，，Discrete Laplace Transform）是经典拉普拉斯变换在离散时间或离散空间上的推广，，，，，，，主要用于信号处置惩罚、系统控制和机械学习等领域
。。。。 另据悉，，，，，，，调解折扣因子已被用于在多种算法中提升性能，，，，，，，相关要领包括：通过元学习获取最优折扣因子、学习依赖状态的折扣因子，，，，，，，以及连系并行指数折扣智能体
。。。。 可是，，，，，，，神经元通过使命或情境来适配全局折扣函数的召募机制是什么？？？剖解位置与折扣行为之间的关联是什么？？？以及 5-羟色胺等其他神经递质对这种适配的孝顺是什么？？？这些都是尚未解决的问题
。。。。 同样的，，，，，，，向量化误差信号关于下游时间表征的调控机制仍有待进一步研究
。。。。而明确这种神经资源“调动”机制的背后原理，，，，，，，有助于人们在机制层面明确时间标准多样性在时间决议中的校准作用与失调作用
。。。。 此前曾有研究探索了多巴胺能神经元的折扣机制，，，，，，，并以为单个多巴胺能神经元体现出双曲线折扣
。。。。然而，，，，，，，此前这一研究接纳非提醒性奖励反应作为零延迟奖励的丈量指标，，，，，，，这种要领可能导致效果越发偏向于双曲线折扣模子
。。。。 相比之下，，，，，，，本次研究团队的数据与单个神经元水平的指数折扣坚持一致，，，，，，，这批注每个多巴胺能神经元所界说的强化学习机制，，，，，，，和强化学习算法的规则是相互切合的
。。。。 当这些差别的指数折扣在生物体层面结适时，，，，，，，可能会泛起类似双曲线的折扣
。。。。也就是说，，，，，，，多个时间标准对全局盘算的相对孝顺决议了生物体水平的折扣函数，，，，，，，并且该函数会凭证情形危害率的不确定性举行校准
。。。。 因此，，，，，，，适外地引入折扣因子的异质性，，，，，，，关于顺应情形的时间不确定性很是主要
。。。。这一看法也与漫衍式强化学习假说保存相似之处，，，，，，，该假说以为乐观与气馁的校准失衡会导致习得价值泛起误差
。。。。 由于遗传、发育或转录因素导致的这种漫衍误差，，，，，，，可能会使生物体在学习历程中要么倾向于追求短期目的、要么倾向于追求恒久目的
。。。。同样的，，，，，，，这种看法也可用于指导算法设计，，，，，，，使其能够调动并使用这些自顺应的时间展望
。。。。 总的来说，，，，，，，本次效果建设了一个全新的研究范式，，，，，，，能被用于剖析多巴胺能神经元中展望误差盘算的功效机制，，，，，，，这不但为生物体疾病状态下的跨期决议障碍提供了新的机明确释，，，，，，，更为新一代算法的设计带来了主要启示
。。。。