Kooperatív és tanuló rendszerek - vizsga 2012-05-29

← Vissza az előző oldalra – Kooperatív és tanuló rendszerek

Első részből (1-6) legalább 16 pontot, a második részből (7-11) legalább 8 pontot kell szerezni!!

1. Egy (Rosenblatt) perceptronnal kell megtanítania a három (bináris) bemenetű többségi döntés függvényt. Meg tudja tanulni a perceptron a feladatot? Mi a helyzet, ha ugyanezt a feladatot egy Adaline-nak tanítja? Mindkét esetben adjon indoklást is! (4p)

Bemenet: [math]x_1,x_2,x_3 \epsilon \{0,1\}[/math] (lehetne {-1,1} is, nem tudom itt melyikre gondoltak, de gondolom mindkettővel elfogadják)

Helyes kimenet: [math]y = \begin{cases} -1 & \mbox{ ha } x_1+x_2+x_3 \leq 1 \\ +1 & \mbox{ ha } x_1+x_2+x_3 \geq 2 \end{cases}[/math]

Másképp írva: [math]y = \begin{cases} -1 & \mbox{ ha } x_1+x_2+x_3 \lt 1.5 \\ +1 & \mbox{ ha } x_1+x_2+x_3 \gt 1.5 \end{cases}[/math]

Az [math]x_1+x_2+x_3 = 1.5[/math] lineáris felület helyesen szeparálja a tanítópontokat, tehát a perceptron és az adaline is meg tudja tanulni a feladatot (mert azok lineárisan szeparálható osztályozási problémákra jók).

2. Alkalmazhat-e gradiens-alapú tanító eljárást a következő neurális hálóknál

Rosenblatt perceptron, adaline, egy vagy több rejtett rétegű MLP, RBF, CMAC, SVM, ha a súlyokat tanítjuk, és folytonos hibafüggvényt alkalmazunk? Indokolja meg válaszát! (5p)

3. Dinamikus hálók konstrukciójánál fontos részfeladat a regresszorvektor megválasztása. Mit jelent ez a feladat és mi a regresszorvektor meghatározásának a két fő lépése? A két fő lépés közül melyiknél és mely dinamikus modellosztályok esetében használható a Lipschitz index? Értelmezze a Lipschitz index [math]Lq^{(N)}=(\prod_{k=1}^{p}\sqrt{N}q^{(N)}(k))^{1/p}[/math] összefüggését, benne a jelöléseket is!(8p)

Amit találtam erről:

Egy általános nemlineáris dinamikus rendszermodell által megvalósított be-kimeneti kapcsolat − diszkrét idejű rendszerek esetében − az alábbi általános formában adható meg:

[math] y(k) = f(\phi,\varphi(k)) [/math]

Az [math] f(\phi,\varphi(k)) [/math] kapcsolat a modell struktúráját rögzíti, ahol [math] \varphi(k)) [/math] az ún. regresszorvektor, k az időindex, [math] \phi [/math] pedig a rendszer paramétereit összefoglaló vektor. A regresszorvektor feladata megadni, hogy a kimenet előállításában a modellezendő rendszer, folyamat milyen régebbi bemeneti és kimeneti adatait használjuk fel.

Többi itt: http://www.mit.bme.hu/books/neuralis/ch08s01

Lipschitz: http://www.mit.bme.hu/books/neuralis/ch08s06

Regresszorvektor meghatározásának a két fő lépése (+?): A regresszorvektor-választás egyfelől a nemlineáris dinamikus modellosztály megválasztását jelenti (NFIR, NARX (ezek kitüntetettek, mert előrecsatoltak) +NOE, NARMAX...), másfelől a modell-fokszám meghatározását is igényli. A bemenet-kimenet reprezentációk mellett a modell-fokszám a regresszorvektor konstrukciójánál figyelembe vett régebbi bemeneti és/vagy kimeneti, stb. értékek számát jelenti. Mivel a modell-fokszám előzetesen általában nem ismert, célszerű különböző modell-fokszámok mellett különböző komplexitású modellek létrehozása és valamilyen kritérium szerinti kiértékelése.

Lipschitz index jelölések:

[math] q^{(N)}(k) [/math] a

[math] q^{(N)}_{ij} = \frac {|y(i)-y(j)|} {|x(i)-x(j)|}[/math] ahol [math] i\neq j;        i,j=1,2,   …,P[/math]

Lipschitz hányadosok közül a k-adik legnagyobb érték, N a bemeneti változók száma (a regresszorvektor dimenziója), p pedig egy alkalmasan megválasztott pozitív szám, rendszerint p = 0,01P ~ 0,02P. (P a szokásos jelölésnek megfelelően a tanítópontok száma).

4. Az alábbi két bemenetű - egy kimenetű visszacsatolt hálót szeretné BPTT módszerrel tanítani. Milyen kiterített hálót kap, ha 3 időlépésre kell elvégeznie a kiterítést. Adja meg a szaggatott vonallal jelzett súly (w) tanítási összefüggését. (10p)

info: http://www.mit.bme.hu/books/neuralis/ch08s04

5. Mit jelentenek a szupportvektorok egy osztályozós SVM-nél? Lehet-e valamit mondani (pl. legalább alsó és felső korlátokat) egy N-változós osztályozási feladatnál, ha a tanító pontok száma P, a szupport vektorok számára hard margós (gyengítő változó nélküli) ([math]\star[/math]) lineáris és ([math]\star\star[/math]) nem lineáris esetben? Indokolja a választ! (5p)

Egy hosszú bevezetés a szupportvektorokhoz:

A lineáris kétosztályos osztályozási feladat megoldását adó szupport vektor gép az "optimális" elválasztó felületet határozza meg (a két osztályba tartozó tanítópontok között, a tanítópontoktól a lehető legnagyobb távolságra helyezkedik el a "felület"). Ennek a meghatározásához a következő kell:

[math]d_i(w^{*T}x_i + b^{*})\geq1[/math]

A feladatot feltételes szélsőérték-keresési problémaként tudjuk megfogalmazni, ahol a feltételek egyenlőtlenségek formájában vannak megadva. A feltételes szélsőérték-keresési feladat megoldását egy Lagrange kritérium megoldásával kereshetjük:

[math]L(w,b,\alpha)=\frac{1}{2}w^{T}w - \sum_{i=1}^{P}\alpha_i[d_i(w^{T}x_i + b) - 1 ][/math]

Az optimalizálási feladat megoldásához a Karush-Kuhn-Tucker (KKT) elmélet szerint a fenti Lagrange kritériumot kell minimalizálni w és b szerint és maximalizálni [math]\alpha_i[/math] szerint, vagyis a Lagrange kritérium által definiált kritériumfelület nyeregpontját (saddle point) kell meghatározni.

A feltételes optimalizálási feladat megoldásához felírható annak duális alakja, melyben már csak az [math]\alpha_i[/math] Lagrange multiplikátorok az ismeretlenek. ... A linkben a 6.41-es képlet, majd: Azokat a tanítópontokat, amelyek résztvesznek a megoldás kialakításában, amelyekhez tartozó Lagrange multiplikátorok értéke nem nulla, szupport vektoroknak (support vectors) nevezzük. A szupport vektor gépek tehát olyan kernel gépek, ahol a kernel tér tényleges dimenziója nem a tanítópontok számával (P), hanem a szupport vektorok számával (Ps) egyezik meg.

Bővebben erről: http://www.mit.bme.hu/books/neuralis/ch06s03

A második kérdés nem valami pontos, de utólag megtekintésről kiderült, hogy a szupport vektorok számára kell korlát. Alsó korlát 2, felső korlát P, azaz a tanítópontok száma. Lineáris és nem lineáris esetben is (nem lineáris esetben ugye transzformáljuk magunkat és lineáris lesz).

6. Meg lehet-e határozni a CMAC háló gradiens alapú iteratív tanításnál a konvergenciát biztosító tanulási tényezőt ([math]\mu[/math](mü) bátorsági faktor), ha az összes tanító pontot ismeri és nem alkalmaz tömörítő leképezést? Ha igen, adja meg [math]\mu[/math](mü) összefüggését, ha nem indokolja meg, hogy miért nem. (8p)

Röviden most így pótvizsga előtt:

A lényeg, hogy CMAC kimenetében Adaline-ok vannak, amikre tudjuk, hogy 0<mű<1/lambda_max akkor konvergens. Na de itt az autokorrelációs mátrix (Adaline-nál R), nem x*xtranszponált várható értékéből jön, hanem az asszociációs vektorból valahogy. Ez a valahogy talán az A mátrixokból létrehozott új auto korrelációs mátrix lesz.

7. Mi a szemantikailag specifikált KQML lényege? (4p)

8. Beszéltünk mesterséges intelligenciában racionális ágensekről. Mit takar a "beszéd aktus, mint racionális cselekvés" megközelítés? (4p)

9. Az elosztott problémamegoldás körében fellépő konfliktusok feloldására milyen elemi protokollokat alakítottak ki? Mi a szerepük konfliktusfeloldás szempontjából? (4p)

10. Mi a Nash-egyensúly? Hogyan jelentkezik a fogoly paradoxonnál? (4p)

11. Mi a Borda-szavazás lényege és mi a fő problémája? (4p)

Jean-Charles de Borda javasolta 1770-ben a Borda-számlálást a Francia Tudományos Akadémia tagjainak megválasztására. A Borda-számlálás egy egyszerű rangsorolásos módszer, ahol az alternatívákat pontozzák a rangsorolásuk szerint. A hasonló módszereket együtt pozíciós szavazórendszernek nevezik. [math]k[/math] darab jelöltünk van, mindenki rangsorol, alternatívánként összegzés. Eredmény az alternatívák teljes, tranzitív szociális rendezése.