KoopKerdesekZHOssz04

Ez az oldal a korábbi SCH wiki-ről lett áthozva. Az eredeti változata itt érhető el.

Ha úgy érzed, hogy bármilyen formázási vagy tartalmi probléma van vele, akkor kérlek javíts rajta egy rövid szerkesztéssel.

Ha nem tudod, hogyan indulj el, olvasd el a migrálási útmutatót

perceptron tanítás 3 tényezővel: alfa1=10; alfa2=0.1; alfa3=-3; melyiket választaná? És Adaline esetében? Ha egyik sem helyes javasoljon új tényezőt, és indokolja is meg!

__TODO__

Egy RBF-nél súlyok helyett FIR szűrők vannak, adja meg 1 FIR szűrő együtthatóinak módosító összefüggését!

__TODO__

Implikációt meg lehet-e tanítani perceptronnak, adaline-nak?

• Megoldás van a docxben, csak át kell másolni

Rosenblatt perceptronokból lehet-e MLP-t építeni, ha igen, hogyan, ha nem, miért nem?

• A szignum függvény nem deriválható, de ha lecseréljük szigmoidra, akkor máris deriválható, így használható a Back-Propagation, vagyis akkor építhető belőle MLP.

R = ((0.5 0) (0 0.2)) esetén az LMS eljárás konvergens-e? Vázlatosan rajzolja fel a kritériumfelület szintvonalait!

__TODO__

Milyen modellosztályok esetén használható fokszámbecslése a Lipschitz index? Lipschitz index definíciója (Lq^(N) = ...) meg volt adva - értelmezze, magyarázza meg az egyes betűk jelentését!

A Lipschitz index a mesterséges neurális hálók különböző dinamikus modellosztályainak fokszámának becslésére használandó. Az NFIR és az NARX modellosztályok esetén lehet használni. Ez egy heurisztikus eljárás, ahol figyelembe kell venni a Lipschitz hányadost és a regresszorvektor dimenzióját és egy alkalmasan megválasztott pozitív egész számot, amely a tanítópontok számának valamilyen lineáris kombinációja. A hányadosok közül a szummázási folyamatban fokozatosan növekvő számút kell figyelembe venni.

[math] Lq^{(N)}=(\Pi_{k=1}^{p}\sqrt{N}   q^{(N)}(k))^{1/p} [/math]

ahol [math] q^{(N)}(k) [/math] a

[math] q^{(N)}_{ij} = \frac {|y(i)-y(j)|} {|x(i)-x(j)|}[/math] ahol [math] i\neq j;        i,j=1,2,   …,P[/math]

Lipschitz hányadosok közül a k-adik legnagyobb érték, N a bemeneti változók száma (a regresszorvektor dimenziója), p pedig egy alkalmasan megválasztott pozitív szám, rendszerint p = 0,01P ~ 0,02P. (P a szokásos jelölésnek megfelelően a tanítópontok száma).

Mi a momentum eljárás és milyen esetben alkalmazható sikerrel?

Mi a momentum módszer, milyen célból alkalmazzák, és mely hálótípusoknál alkalmazható? Minden ismert hálótípusra adja meg és indokolja is meg a választ!

• A momentum módszer olyan heurisztikus eljárás, ahol az egyes lépésekben a súlymódosítás meghatározása két részből áll. Először a gradiens módszernek megfelelően meghatározunk egy súly módosító értéket, azonban nem ezzel végezzük el a korrekciót, hanem még figyelembe vesszük az előző módosítás hatását is. A súlymódosítás ennek megfelelően:

[math] \delta w ( k + 1 ) = \mu ( - {\triangledown} ( k ) ) + \eta \delta w ( {k} ) [/math]

ahol [math] {\eta}_{} [/math] az ún. momentum együttható, amelynek értéke 0 és 1 közötti kell legye (gyakori választás a 0.8 körüli érték).

• A momentum módszer különösen kedvező, ha a hibafelületen keskeny völgy húzódik végig, és a momentumtag nélkül a megoldás felé ezen völgy környezetében túl sok iteráció megtételével haladnánk, és MLP-nél alkalmazható. A módszer alkalmazásával lényegében azonos hibahatár elérése kevesebb számítással, kevesebb idő alatt.

Van egy MLP hálózatunk. A nagy (vastag szaggatott) nyíllal bejelölt súly módosító összefüggéseit határozza meg, ha backprop eljárást alkalmaz.

• Ehhez sincs kép...

Oszályozási feladatra akarunk LS Szupport Vektor Gépet használni. Fogalmazza meg a kritériumfüggvényt és a Lagrange egyenletet. Milyen alapgondolatot használ az eljárás, hogy a Lagrange egyenletből a másodlagos egyenlethez eljussunk? Mi lesz a másodlagos egyenlet?

• Szkennelt megoldás a docxben

Van 10000 50 dimenziós adata, illetve 100 10000 dimenziós adata, melyekkel tanuló hálót akar konstruálni. Két lehetőség közül választhat: MLP-t vagy SVM-et alkalmaz. Az adott esetekben milyen szempontokat venne figyelembe, és mit választana? Részletesen indokolja meg a választást.

• Az első esetre MLP-t használnék, mert sok a tanító pont a dimenziókhoz képset is (bár nem tudom 50 dimenzióhoz mi számít soknak igazán), jól meg lehet tanítani a hálót meg minősíteni is. A másodikra MLP-t nem alkalmaznék, mert nagyon kevés a pont a dimenziószámhoz képest, és szinte biztos a túl/sehogysem tanulás.
• A másodikra használnék SVM-et, mivel a kevés pont, sok dimenzió miatt elég valószínű, hogy meg tudja találni a nemlineáris elválasztó-egyenest, amivel az operál (állítólag). Hogy az elsőre használnék-e SVM-et.. talán a sok tanítópont miatt a kernelmátrix (ami kell a QP-hoz) nagyon nagy lenne, akkor már inkább az MLP.

Adja meg röviden a BackPropagation Through Time (BPTT) eljárás működését! Milyen hálónál alkalmazható, és mik az előnyei, illetve hátrányai az eljárásnak?

Olyan neurális hálózatokra melyek rekurrensek a back propagation algoritmusnak létezik kiterjesztése, mely az időbeli back propagation nevet viseli. Az algoritmus során a hálózatot egy előrecsatolt hálózatba transzformáljuk, olyan formában, hogy a hálózat egy adott időbeli állapota az új hálózat egy rétege lesz. Az előrecsatolt hálózatban csak a rétegek között vannak kapcsolatok, a rétegen belül nincsenek, ezért az eredeti hálózat felépítését úgy transzformáljuk, hogy a neuronok közötti kapcsolatok a következő réteg megfelelő neuronjához tartoznak. Például ha az i-ik neuron a j-ik neuronhoz wi,j súllyal van kapcsolva, akkor minden n-re az n-ik réteg i-ik neuronja az n + 1 –ik réteg j-ik neuronjához wi,j súllyal fog kapcsolódni. Ezeket mutatja a 8.6. ábra. http://mialmanach.mit.bme.hu/neuralis/ch08s04

Mutassa meg, hogy az EXOR probléma megoldható egy olyan RBF hálózattal, melynek két Gauss rejtett neuronja van, ahol a bázisfüggvények középpontjai [0 0] és [1 1]
Könyvből:
http://www.mit.bme.hu/books/neuralis/ch05s01 (5.1.4)

Batch-tanítás

• Minden pontra kiszámoljuk a szükséges módosításokat, de nem hajtjuk végre, majd átlagoljuk a módosításokat és egy lépésben hajtjuk végre a végén.->lokális minimumok lesznek->pontonkénti tanulásnál direkt zajt adunk hozzá ezek elkerülésére.

Súlyok kezdeti értéke: úgy kell indítani, hogy minden neuron a meredek részben legyen

-- Tsiga - 2012.05.16.
-- Főnök - 2012.06.03.
--asztalosdani 2013. június 6., 13:09 (UTC)