Rekurentná neurónová sieť

z Wikipédie, slobodnej encyklopédie

Rekurentná neurónová sieť alebo rekurentná sieť je rozšírenie priamoväzbovej neurónovej siete spojením medzi neurónmi, ktoré umožňuje dvojcestné, dvojsmerné šírenie signálov medzi neurónmi v určitej časovej postupnosti, príp. šírenie signálu v rámci toho istého neurónu.

Rekurentné siete so spätnými väzbami sa dajú na priamoväzbové siete prekresliť tak, že spätne sa nahradia priamymi vstupmi z fiktívnych neurónov, pričom signály do nich sú privádzané z výstupov neurónov v ďalšom kroku (tieto signály, v porovnaní s priamoväzbovými sú oneskorené, posunuté).

Algoritmy učenia rekurentných sieti (RTRL algoritmus)[upraviť | upraviť zdroj]

V RTRL algoritme sa priebežne adaptujú váhy rekurentnej siete, využívajúc chyby et a et+1 , t.j. chyby z aktuálneho a predchádzajúceho cyklu.

RTRL Algoritmus:

  1. Inicializujeme hodnoty prvkov vahovych vektorov v, ṽ,w,ẃ
  2. Z trénovacej množiny predložíme prvý (t=1) vstup. Jeho dopredným šírením sieťou určíme ỹt ako aktivačnú hodnotu výstupného neurónu
  3. Z trénovacej množiny predložíme ďalší vstupný signál. Jeho dopredným šírením na výstup siete určíme ỹt+1. V tomto prípade pri doprednom šírení signálov prostredníctvom fiktívnych neurónov zohľadníme spätnoväzbové účinky neurónov výstupnej a skrytej vrstvy.
  4. Na aktualizáciu synaptických váh vj a ṽj medzi všetkými neurónmi skrytej a výstupnej vrstvy definujeme chybový term ∆t+1.
  5. Na adaptáciu synaptických váh určíme gradient chybovej funkcie, ktorým aktualizujeme jednotlivé váhy :
    vj ← vj + ηojt+1,     j = 1, 2, ... s
    ṽ ← ṽ + ηŷtt+1
  6. Na adaptáciu synaptyckých váh wrj, resp ẃj medzi vstupnou a skrytou vrstvou neurónov definujeme chybový term ∆j,t+1 a pravidlo na adaptáciu všetkých synaptických váh wrj, ẃj medzi spojeniami vstupných neurónov a neurónov skrytej vrstvy.
  7. Aplikujeme jednotlivé činnosti od 3. kroku až do posledného vstupného signálu z trénovacej množiny.