非凸函数上，随机梯度下降能否发散？能有条件，比凸函数发散更难

如果想要更为有用的算子，则几乎可以肯定只需要的算子是可微的或者黎曼年那时候面，否则勉强选择一些处处年那时候面、不出可微的疯狂算子（crazy function），例如 Weierstrass 算子。

所以，关于「随机切线攀升能否取值于非凸算子」这一解出决办法，ta 显然在某些先决条件下「不会」，因为很多非凸算子它们有可能制止 wrt 可微性。在明确指出假定时，永远不要低估地理学家的想象力。

所以，ta 建议发帖者将解出决办法改回「切线攀升在什么先决条件下不会取值于某类非凸算子」，然后将每类算子作为子解出决办法顺利进行研究课题，并减轻打破传统观念切线攀升新方法的非凸算子假定。

接着来看发帖 @astone977 就是宣称了原贴主旨那时候面普遍存在的一些解出决办法。ta 回应，当发帖者显然人脑的数量级表面不会总括凸时，则严重损失算子也总括凸的。但是，MSE 等严重损失算子是凸算子。将一个非凸映射（人脑）广泛应用一个严重损失算子的输入，可以始创一个非凸数量级表面不会。

如果我们将 MSE、BCE 等凸算子称为严重损失算子，那么不应该运用于相同的名词来叙述一个人脑的非凸数量级表面不会。这在现在始终是造成了不安的根源，所以 ta 就是指了出来。

最后，发帖 @Funktapus 也回应，如果发帖者只是在争辩建模期间尽量避免局部零点，则这是建模各个领域一个普遍且极为古老的解出决办法。上不会而言，答案是「不会」。

我们可以运用于随机新方法来跳出小的局部零点。Guy・马丁新方法（Monte Carlo）是一种经典的新方法。另一种新方法是在开始切线攀升此前创设一个网格并追踪有序零点的大区域。

大家如何看待这个解出决办法呢？有用的小伙伴劝在留言区全力发言。

参考链接：_can_stochastic_gradient_descent_converge_on/