InfElmTetel39

Ez az oldal a korábbi SCH wiki-ről lett áthozva. Az eredeti változata itt érhető el.

Ha úgy érzed, hogy bármilyen formázási vagy tartalmi probléma van vele, akkor kérlek javíts rajta egy rövid szerkesztéssel.

Ha nem tudod, hogyan indulj el, olvasd el a migrálási útmutatót

vissza InfelmTetelek-hez <style> li {margin-top: 4px; margin-bottom: 4px;} </style>

Információs divergencia

Definíció

Másnéven Kullback-Liebler távolság.

Tekintsük a következő valószínűségi eloszlásokat:
[math] \underline{p} = (p_1, p_2, ..., p_n) [/math]
[math] \underline{q} = (q_1, q_2, ..., q_n) [/math]

Ezen eloszlások információs divergenciája a következő:

[math] D(\underline{p}|\underline{q}) = \sum_{i=1}^{n} p_i log \frac{p_i}{q_i} [/math]

Tulandonságai

Pozitív

Az információs divergencia mindig pozitív.
[math] 0 \leq D(\underline{p}|\underline{q}) [/math]

Bizonyítás:
TODO: definíció szerint, majd a Jensen egyenlőtlenség követkeményével.

Nulla

[math] 0 = D(\underline{p}|\underline{q}) [/math] acsa. ha a két valószínűségi eloszlás megegyezik.

Ismeretlen nevű tulajdonság

Egy adott eloszlás entrópiájának és az egyenletes eloszlásra vonatkozó információs divergenciájának összege mindig [math] log n [/math]

[math] \underline{u}=(u_1, u_2, ..., u_n),[/math] ahol [math] \forall i : u_i = 1/n [/math]

[math] H(p) = log n - D(\underline{p}|\underline{u}) [/math]

Bizonyítás:

TODO: Behelyettesítünk az entrópia és az információs divergencia képletébe. A inf. div. nél a logaritmusban a hányados szerint az egész szummát két szumma kölönbségévé alakítjuk. Az egyenletes eloszlás 1/n-jét behelyettesítjük. A többi kiesik. Szevasztok.

-- Sales - 2006.06.27.