„InfElmTetel39” változatai közötti eltérés
(vitalap) (Új oldal, tartalma: „{{GlobalTemplate|Infoalap|InfElmTetel39}} vissza InfelmTetelek-hez <style> li {margin-top: 4px; margin-bottom: 4px;} </style> ==Információs diverge…”) |
(Nincs különbség)
|
A lap jelenlegi, 2012. október 21., 19:59-kori változata
Ez az oldal a korábbi SCH wiki-ről lett áthozva. Az eredeti változata itt érhető el.
Ha úgy érzed, hogy bármilyen formázási vagy tartalmi probléma van vele, akkor kérlek javíts rajta egy rövid szerkesztéssel.
Ha nem tudod, hogyan indulj el, olvasd el a migrálási útmutatót
vissza InfelmTetelek-hez
<style> li {margin-top: 4px; margin-bottom: 4px;} </style>
Tartalomjegyzék
Információs divergencia
Definíció
Másnéven Kullback-Liebler távolság.
Tekintsük a következő valószínűségi eloszlásokat:
[math] \underline{p} = (p_1, p_2, ..., p_n) [/math]
[math] \underline{q} = (q_1, q_2, ..., q_n) [/math]
Ezen eloszlások információs divergenciája a következő:
[math] D(\underline{p}|\underline{q}) = \sum_{i=1}^{n} p_i log \frac{p_i}{q_i} [/math]
Tulandonságai
Pozitív
Az információs divergencia mindig pozitív.
[math] 0 \leq D(\underline{p}|\underline{q}) [/math]
Bizonyítás:
TODO: definíció szerint, majd a Jensen egyenlőtlenség követkeményével.
Nulla
[math] 0 = D(\underline{p}|\underline{q}) [/math] acsa. ha a két valószínűségi eloszlás megegyezik.
Ismeretlen nevű tulajdonság
Egy adott eloszlás entrópiájának és az egyenletes eloszlásra vonatkozó információs divergenciájának összege mindig [math] log n [/math]
[math] \underline{u}=(u_1, u_2, ..., u_n),[/math] ahol [math] \forall i : u_i = 1/n [/math]
[math] H(p) = log n - D(\underline{p}|\underline{u}) [/math]
Bizonyítás:
TODO: Behelyettesítünk az entrópia és az információs divergencia képletébe. A inf. div. nél a logaritmusban a hányados szerint az egész szummát két szumma kölönbségévé alakítjuk. Az egyenletes eloszlás 1/n-jét behelyettesítjük. A többi kiesik. Szevasztok.
-- Sales - 2006.06.27.