刚刚我说的分布收敛并不是概率学意义上的分布收敛,而是一个新的定义。
就是上述随机分布式优化过程。
严格定义就是对于一个随机优化过程{x—},如果其经验分布u—弱收敛于一个稳态分布μ—∞,则称该过程是分布收敛的。」
说完,乔源扭头看了眼抱着盒饭,已经没心情继续吃的骆余馨,挑了挑眉毛,说道:「师姐,现在请一定不要眨眼,看我给你变个魔术啊!」
听了这话,骆余馨报复性疯狂眨了眨眼,但没吭声。
可惜乔源说完之后就已经扭过头,不管不顾的继续开口说道:「现在我们定义个新的泛函,嗯,不如就给它取个新名字叫分布熵吧————」
话音落下,黑板上又多出—排的公式:v(p)=∫f()p()d+∫p()lnp()d
「师姐先别急着犟啊,刚才我说了,引入随机性,那是不是就可以把整个粒子系统当成一个热力学系统?
当然你要是看不懂这一步也没关系,不影响你观看魔术。现在我问你一个问题,这个系统最终会去哪?」
骆余馨依然没有回答,然后乔源则开始自问自答了。
「这就是解决这个问题最重要的定理之一了,想想我刚才对分布收敛的定义,系统的经验分布μ—会弱收敛于一个稳态分布μ—∞。
非常非常巧合的是,当我们完成这一系列推导之后就会发现,这个稳态分布恰好就是这个分布熵的极小点!这个结果可以通过简单的计算就能确定!
看吧,得到这一步之你是不是开始觉得太神奇了?所以你肯定要问,这是为什么呢?
答案就藏在这一步。其中第一项∫fp是性能驱动,它要把分布推向性能更好的区域。
第二项就是熵,它不止代表了随机性,更让分布不会坍缩成一个点,而是始终保持探索性!」
说完,乔源拿着粉笔随手在黑板上一划————
「现在明白我的思路了吧?收敛性证明就等同于证明这个泛函v(p)是沿动力学下降的,并且有下界。
看吧,当时间趋近于无穷时,v(p)会收敛到它的极小值。相应地,分布p也会收敛到对应的稳态分布。」
说完,乔源扔下粉笔,转头看向骆余馨,问道:「今天的魔术变完了,师姐你喜欢这个表演吗?」
随后依然不等骆余馨说话,乔源又继续说道:「有为集团发给了我两个问题,一个动力学建模,另一