Kooperatív és tanuló rendszerek - vizsga 2012-05-29
Ez az oldal a korábbi SCH wiki-ről lett áthozva. Az eredeti változata itt érhető el.
Ha úgy érzed, hogy bármilyen formázási vagy tartalmi probléma van vele, akkor kérlek javíts rajta egy rövid szerkesztéssel.
Ha nem tudod, hogyan indulj el, olvasd el a migrálási útmutatót
Kooperatív és Tanuló Rendszerek vizsga 2012. május 29.
Első részből (1-6) legalább 16 pontot, a második részből (7-11) legalább 8 pontot kell szerezni!!
1. Egy (Rosenblatt) perceptronnal kell megtanítania a három (bináris) bemenetű többségi döntés függvényt. Meg tudja tanulni a perceptron a feladatot? Mi a helyzet, ha ugyanezt a feladatot egy Adaline-nak tanítja? Mindkét esetben adjon indoklást is! (4p)
Bemenet: [math]x_1,x_2,x_3 \epsilon \{0,1\}[/math] (lehetne {-1,1} is, nem tudom itt melyikre gondoltak, de gondolom mindkettővel elfogadják)
Helyes kimenet: [math]y = \begin{cases} -1 & \mbox{ ha } x_1+x_2+x_3 \leq 1 \\ +1 & \mbox{ ha } x_1+x_2+x_3 \geq 2 \end{cases}[/math]
Másképp írva: [math]y = \begin{cases} -1 & \mbox{ ha } x_1+x_2+x_3 \lt 1.5 \\ +1 & \mbox{ ha } x_1+x_2+x_3 \gt 1.5 \end{cases}[/math]
Az [math]x_1+x_2+x_3 = 1.5[/math] lineáris felület helyesen szeparálja a tanítópontokat, tehát a perceptron és az adaline is meg tudja tanulni a feladatot (mert azok lineárisan szeparálható osztályozási problémákra jók).
2. Alkalmazhat-e gradiens-alapú tanító eljárást a következő neurális hálóknál: Rosenblatt perceptron, adaline, egy vagy több rejtett rétegű MLP, RBF, CMAC, SVM, ha a súlyokat tanítjuk, és folytonos hibafüggvényt alkalmazunk? Indokolja meg válaszát! (5p)
3. Dinamikus hálók konstrukciójánál fontos részfeladat a regresszorvektor megválasztása. Mit jelent ez a feladat és mi a regresszorvektor meghatározásának a két fő lépése? A két fő lépés közül melyiknél és mely dinamikus modellosztályok esetében használható a Lipschitz index? Értelmezze a Lipschitz index [math]Lq^{(N)}=(\prod_{k=1}^{p}\sqrt{N}q^{(N)}(k))^{1/p}[/math] összefüggését, benne a jelöléseket is!(8p)
Amit találtam erről:
Egy általános nemlineáris dinamikus rendszermodell által megvalósított be-kimeneti kapcsolat − diszkrét idejű rendszerek esetében − az alábbi általános formában adható meg:
[math] y(k) = f(\phi,\varphi(k)) [/math]
Az [math] f(\phi,\varphi(k)) [/math] kapcsolat a modell struktúráját rögzíti, ahol [math] \varphi(k)) [/math] az ún. regresszorvektor, k az időindex, [math] \phi [/math] pedig a rendszer paramétereit összefoglaló vektor. A regresszorvektor feladata megadni, hogy a kimenet előállításában a modellezendő rendszer, folyamat milyen régebbi bemeneti és kimeneti adatait használjuk fel.
Többi itt: http://www.mit.bme.hu/books/neuralis/ch08s01
Lipschitz: http://www.mit.bme.hu/books/neuralis/ch08s06
(Majd később beírom ide rendesen)
Regresszorvektor meghatározásának a két fő lépése (+?): A regresszorvektor-választás egyfelől a nemlineáris dinamikus modellosztály megválasztását jelenti (NFIR, NARX (ezek kitüntetettek, mert előrecsatoltak) +NOE, NARMAX...), másfelől a modell-fokszám meghatározását is igényli. A bemenet-kimenet reprezentációk mellett a modell-fokszám a regresszorvektor konstrukciójánál figyelembe vett régebbi bemeneti és/vagy kimeneti, stb. értékek számát jelenti. Mivel a modell-fokszám előzetesen általában nem ismert, célszerű különböző modell-fokszámok mellett különböző komplexitású modellek létrehozása és valamilyen kritérium szerinti kiértékelése.
Lipschitz index jelölések:
4. Az alábbi két bemenetű - egy kimenetű visszacsatolt hálót szeretné BPTT módszerrel tanítani. Milyen kiterített hálót kap, ha 3 időlépésre kell elvégeznie a kiterítést. Adja meg a szaggatott vonallal jelzett súly (w) tanítási összefüggését. (10p)
Szintén nem megoldás, de:
Egy két processzáló elemből álló teljesen visszacsatolt hálózat (a), és időben kiterített előrecsatolt megfelelője (BPTT) (b).
További info: http://www.mit.bme.hu/books/neuralis/ch08s04
5. Mit jelentenek a szupportvektorok egy osztályozós SVM-nél? Lehet-e valamit mondani (pl. legalább alsó és felső korlátokat) egy N-változós osztályozási feladatnál, ha a tanító pontok száma P, a szupport vektorok számára hard margós (gyengítő változó nélküli) ([math]\star[/math]) lineáris és ([math]\star\star[/math]) nem lineáris esetben? Indokolja a választ! (5p)
Egy hosszú bevezetés a szupportvektorokhoz:
A lineáris kétosztályos osztályozási feladat megoldását adó szupport vektor gép az "optimális" elválasztó felületet határozza meg (a két osztályba tartozó tanítópontok között, a tanítópontoktól a lehető legnagyobb távolságra helyezkedik el a "felület"). Ennek a meghatározásához a következő kell:
[math]d_i(w^{*T}x_i + b^{*})\geq1[/math]
A feladatot feltételes szélsőérték-keresési problémaként tudjuk megfogalmazni, ahol a feltételek egyenlőtlenségek formájában vannak megadva. A feltételes szélsőérték-keresési feladat megoldását egy Lagrange kritérium megoldásával kereshetjük:
[math]L(w,b,\alpha)=\frac{1}{2}w^{T}w - \sum_{i=1}^{P}\alpha_i[d_i(w^{T}x_i + b) - 1 ][/math]
A optimalizálási feladat megoldásához a Karush-Kuhn-Tucker (KKT) elmélet szerint a fenti Lagrange kritériumot kell minimalizálni w és b szerint és maximalizálni [math]\alpha_i[/math] szerint, vagyis a Lagrange kritérium által definiált kritériumfelület nyeregpontját (saddle point) kell meghatározni.
A feltételes optimalizálási feladat megoldásához felírható annak duális alakja, melyben már csak az [math]\alpha_i[/math] Lagrange multiplikátorok az ismeretlenek. ... A linkben a 6.41-es képlet, majd: Azokat a tanítópontokat, amelyek résztvesznek a megoldás kialakításában, amelyekhez tartozó Lagrange multiplikátorok értéke nem nulla, szupport vektoroknak (support vectors) nevezzük. A szupport vektor gépek tehát olyan kernel gépek, ahol a kernel tér tényleges dimenziója nem a tanítópontok számával (P), hanem a szupport vektorok számával (Ps) egyezik meg.
Bővebben erről: http://www.mit.bme.hu/books/neuralis/ch06s03
A második kérdés nem valami pontos, de utólag megtekintésről kiderült, hogy a szupport vektorok számára kell korlát. Alsó korlát 2, felső korlát P, azaz a tanítópontok száma. Lineáris és nem lineáris esetben is (nem lineáris esetben ugye transzformáljuk magunkat és lineáris lesz).
6. Meg lehet-e határozni a CMAC háló gradiens alapú iteratív tanításnál a konvergenciát biztosító tanulási tényezőt ([math]\mu[/math](mü) bátorsági faktor), ha az összes tanító pontot ismeri és nem alkalmaz tömörítő leképezést? Ha igen, adja meg [math]\mu[/math](mü) összefüggését, ha nem indokolja meg, hogy miért nem. (8p)
Röviden most így pótvizsga előtt:
A lényeg, hogy CMAC kimenetében Adaline-ok vannak, amikre tudjuk, hogy 0<mű<1/lambda_max akkor konvergens. Na de itt az autokorrelációs mátrix (Adaline-nál R), nem x*xtranszponált várható értékéből jön, hanem az asszociációs vektorból valahogy. Ez a valahogy talán az A mátrixokból létrehozott új auto korrelációs mátrix lesz.
7. Mi a szemantikailag specifikált KQML lényege? (4p)
8. Beszéltünk mesterséges intelligenciában racionális ágensekről. Mit takar a "beszéd aktus, mint racionális cselekvés" megközelítés? (4p)
9. Az elosztott problémamegoldás körében fellépő konfliktusok feloldására milyen elemi protokollokat alakítottak ki? Mi a szerepük konfliktusfeloldás szempontjából? (4p)
10. Mi a Nash-egyensúly? Hogyan jelentkezik a fogoly paradoxonnál? (4p)
11. Mi a Borda-szavazás lényege és mi a fő problémája? (4p)
-- Main.tangostar - 2012.05.29.
-- Főnök - 2012.05.31.
