基于Jensen-Shannon散度的贝叶斯神经网络新损失函数

Kullback-Leibler (KL)散度在最先进的贝叶斯神经网络(BNNs)中被广泛用于估计权重的后验分布。然而，KL散度是无界的和不对称的，这可能会导致优化过程中的不稳定或可能产生较差的泛化。为了克服这些限制，我们研究了有界的、对称的、更一般的Jensen-Shannon (JS)散度。为此，我们提出了两个新的bnn损失函数。第一个损失函数使用几何JS散度(JS- g)，它是对称的，无界的，并提供了高斯先验的解析表达式。第二个损失函数使用对称且有界的广义JS散度(JS- a)。我们证明了传统的基于散度的KL损失函数是本文提出的两个损失函数的一种特殊情况。为了计算损失的散度部分，对JS-G采用解析表达式，对JS-A采用蒙特卡罗方法。我们使用这两种方法提供了优化损失函数的算法。所提出的损失函数提供了额外的参数，可以调整以控制正则化的程度。 The regularization performance of the JS divergences is analyzed to demonstrate their superiority over the state-of-the-art. Further, we derive the conditions for better regularization by the proposed JS-G divergence-based loss function than the KL divergence-based loss function. Bayesian convolutional neural networks (BCNN) based on the proposed JS divergences perform better than the state-of-the-art BCNN, which is shown for the classification of the CIFAR data set having various degrees of noise and a histopathology data set having a high bias.

*附预印本。