Feltételes entrópia és tulajdonságai

A VIK Wikiből
A lap korábbi változatát látod, amilyen (vitalap) 2012. október 21., 20:59-kor történt szerkesztése után volt. (Új oldal, tartalma: „{{GlobalTemplate|Infoalap|InfElmTetel2}} ==Feltételes entrópia definíciója== X-nek az Y feltétellel vett '''feltételes entrópiája''' a következő: <math> H(…”)
(eltér) ← Régebbi változat | Aktuális változat (eltér) | Újabb változat→ (eltér)
Ugrás a navigációhoz Ugrás a kereséshez

Ez az oldal a korábbi SCH wiki-ről lett áthozva. Az eredeti változata itt érhető el.

Ha úgy érzed, hogy bármilyen formázási vagy tartalmi probléma van vele, akkor kérlek javíts rajta egy rövid szerkesztéssel.

Ha nem tudod, hogyan indulj el, olvasd el a migrálási útmutatót


Feltételes entrópia definíciója

X-nek az Y feltétellel vett feltételes entrópiája a következő: [math] H(X|Y) = - \sum\limits_{y\in \mathcal Y} \sum\limits_{x\in \mathcal X} p(x,y) \log p(x|y)[/math]

megjegyzés: [math]H(X|Y) = - \sum\limits_{y \in \mathcal{Y}} p(y) \sum_{x\in\mathcal X} p(x|y) \log p(x|y)[/math] [math]H(X|Y=y) = -\sum\limits_{x\in \mathcal X} p(x|y) \log p(x|y)[/math]

Feltételes entrópia tulajdonságai

a)

[math] H(X,Y) = H(X) + H(Y|X) [/math]

[math] H(X,Y) = H(Y) + H(X|Y) [/math]

b1)

[math] 0 \leq H(X|Y) [/math]

Egyenlőség akkor áll fenn, ha X függvénye Y-nak. (Hiszen ekkor X nem hordoz új információt Y ismeretében)

b2)

[math] H(X|Y) \leq H(X) [/math]

Egyenlőség akkor áll fenn, ha X és Y teljesen függetlenek.

c)

[math] H(X|Y,Z) \leq H(X|Z) [/math]

d)

[math] H(X|Y) \leq H(X|f(Y)) [/math]

e) láncszabály

[math] H(X_1, X_2, \dots, X_n) = H(X_1) + H(X_2|X_1) + \dots + H(X_n|X_1, X_2, \dots, X_{n-1}) [/math]