Rekurentná neurónová sieť
Vzhľad
Tomuto článku alebo sekcii chýbajú odkazy na spoľahlivé zdroje, môže preto obsahovať informácie, ktoré je potrebné ešte overiť. Pomôžte Wikipédii a doplňte do článku citácie, odkazy na spoľahlivé zdroje. |
Rekurentná neurónová sieť alebo rekurentná sieť je rozšírenie priamoväzbovej neurónovej siete spojením medzi neurónmi, ktoré umožňuje dvojcestné, dvojsmerné šírenie signálov medzi neurónmi v určitej časovej postupnosti, príp. šírenie signálu v rámci toho istého neurónu.
Rekurentné siete so spätnými väzbami sa dajú na priamoväzbové siete prekresliť tak, že spätne sa nahradia priamymi vstupmi z fiktívnych neurónov, pričom signály do nich sú privádzané z výstupov neurónov v ďalšom kroku (tieto signály, v porovnaní s priamoväzbovými sú oneskorené, posunuté).
Algoritmy učenia rekurentných sieti (RTRL algoritmus)
[upraviť | upraviť zdroj]V RTRL algoritme sa priebežne adaptujú váhy rekurentnej siete, využívajúc chyby et a et+1 , t.j. chyby z aktuálneho a predchádzajúceho cyklu.
RTRL Algoritmus:
- Inicializujeme hodnoty prvkov vahovych vektorov v, ṽ,w,ẃ
- Z trénovacej množiny predložíme prvý (t=1) vstup. Jeho dopredným šírením sieťou určíme ỹt ako aktivačnú hodnotu výstupného neurónu
- Z trénovacej množiny predložíme ďalší vstupný signál. Jeho dopredným šírením na výstup siete určíme ỹt+1. V tomto prípade pri doprednom šírení signálov prostredníctvom fiktívnych neurónov zohľadníme spätnoväzbové účinky neurónov výstupnej a skrytej vrstvy.
- Na aktualizáciu synaptických váh vj a ṽj medzi všetkými neurónmi skrytej a výstupnej vrstvy definujeme chybový term ∆t+1.
- Na adaptáciu synaptických váh určíme gradient chybovej funkcie, ktorým aktualizujeme jednotlivé váhy :
vj ← vj + ηoj∆t+1, j = 1, 2, ... s
ṽ ← ṽ + ηŷt∆t+1 - Na adaptáciu synaptyckých váh wrj, resp ẃj medzi vstupnou a skrytou vrstvou neurónov definujeme chybový term ∆j,t+1 a pravidlo na adaptáciu všetkých synaptických váh wrj, ẃj medzi spojeniami vstupných neurónov a neurónov skrytej vrstvy.
- Aplikujeme jednotlivé činnosti od 3. kroku až do posledného vstupného signálu z trénovacej množiny.