本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# Kullback-Leibler 散度 (KL)
<a name="clarify-data-bias-metric-kl-divergence"></a>

*Kullback-Leibler 散度 (KL) 指標觀察構面 *a*、P (y) 的標籤分布與構面 d、P a (y) 的分布有多少偏離。* d它也被稱為 P(y) 相對於 P(y) a的相對熵，並量化從 P(y) d移動到 P(y) a時丟失的資訊量。d

Kullback-Leibler 散度的公式如下：

        KL(Pa \$1\$1 Pd) = ∑yPa(y)\$1log[Pa(y)/Pd(y)]

它是機率 Pa(y) 和 Pd(y)，其中期望由機率 Pa(y) 加權之間的對數差的期望值。這不是分布之間的真實距離，因為它是非對稱的，並且不滿足三角形不等式。執行程序使用自然對數，以 nats 為單位給 KL。使用不同的對數基數會產生比例結果，但使用不同的單位。例如，使用基數 2 給出 KL 的位元單位。

例如，假設一組貸款申請人的核准率為 30% (構面 *d*)，而其他申請人 (構面 *a*) 的核准率為 80%。Kullback-Leibler 公式為您提供了構面 a** 與構面 *d* 的標籤分布散度，如下所示：

        KL = 0.8\$1ln(0.8/0.3) \$1 0.2\$1ln(0.2/0.7) = 0.53

公式中有兩個術語，因為在這個例子中標籤為二進位。除了二進位標籤之外，此指標還可以應用於多個標籤。例如，在大學招生情況下，假設可能分配申請人三個類別標籤之一：y i = \$1y0, y1, y2\$1 = \$1被拒絕，等候清單，已接受\$1。

二進位、多範疇和連續型結果的 KL 指標值範圍為 [0, \$1∞)。
+ 接近零的值代表結果是不同構面的相似分布。
+ 正值代表標籤分布散度，正值越大散度越大。