Feltételes entrópia és tulajdonságai

Ez az oldal a korábbi SCH wiki-ről lett áthozva. Az eredeti változata itt érhető el.

Ha úgy érzed, hogy bármilyen formázási vagy tartalmi probléma van vele, akkor kérlek javíts rajta egy rövid szerkesztéssel.

Ha nem tudod, hogyan indulj el, olvasd el a migrálási útmutatót

Feltételes entrópia definíciója

X-nek az Y feltétellel vett feltételes entrópiája a következő: [math] H(X|Y) = - \sum\limits_{y\in \mathcal Y} \sum\limits_{x\in \mathcal X} p(x,y) \log p(x|y)[/math]

megjegyzés: [math]H(X|Y) = - \sum\limits_{y \in \mathcal{Y}} p(y) \sum_{x\in\mathcal X} p(x|y) \log p(x|y)[/math] [math]H(X|Y=y) = -\sum\limits_{x\in \mathcal X} p(x|y) \log p(x|y)[/math]

Feltételes entrópia tulajdonságai

a)

[math] H(X,Y) = H(X) + H(Y|X) [/math]

[math] H(X,Y) = H(Y) + H(X|Y) [/math]

b1)

[math] 0 \leq H(X|Y) [/math]

Egyenlőség akkor áll fenn, ha X függvénye Y-nak. (Hiszen ekkor X nem hordoz új információt Y ismeretében)

b2)

[math] H(X|Y) \leq H(X) [/math]

Egyenlőség akkor áll fenn, ha X és Y teljesen függetlenek.

c)

[math] H(X|Y,Z) \leq H(X|Z) [/math]

d)

[math] H(X|Y) \leq H(X|f(Y)) [/math]

e) láncszabály

[math] H(X_1, X_2, \dots, X_n) = H(X_1) + H(X_2|X_1) + \dots + H(X_n|X_1, X_2, \dots, X_{n-1}) [/math]