Autor: Martin Kot

Klasické rozpoznávání vzorů a s tím i velká část aplikací neuronových sítí se většinou týká detekce systematických vzorů v souboru měření, které jsou neměnné v čase (statických vzorů). Typické aplikace vyžadují klasifikaci vstupních vektorů do jedné z několika tříd (analýza diskriminantů), nebo přibližný popis závislosti mezi pozorováními. Když vezmeme v úvahu i změny v čase, musíme přidat nový rozměr. Ačkoliv většina takových problémů může být stále vnímána jako statické rozpoznávání vzorů, přidává se zde několik zajímavých aspektů. Oblast analýzy takových prostorově-dočasných dat (tzn. dat, která mají prostorovou a dočasnou složku) je obvykle označována jako time series processing nebo temporal processing.

Teoreticky je vstupní vektor souvislou funkcí času. V praxi se čas bere jako množina diskrétních hodnot v nějakých intervalech. Proto se také mluví o časových sekvencích nebo sériích. V mnoha případech jsou hodnoty dostupné jen v diskrétních časových krocích (např. cena zboží každou hodinu nebo každý den), což přímo odpovídá časové sérii. Jindy jsou data sčítána nebo průměrována za nějaké období (např. počet narozených dětí za měsíc). Když je čas opravdu spojitý, musí se interval zvolit. Toto se nazývá vzorkování (sampling). Úzce spjato se vzorkováním je zpracování signálů. Na sériích se provádí:

• předpověď budoucího vývoje časové série
• klasifikace časových sérií do tříd
• popis časové série
• mapování jedné série na jinou

• TDNN - time-delay neural network - simuluje síť s pamětí pomocí zpoždění mezi neurony
• Jordanovy sítě
• Linear state space model
• Elmanova síť - multilayer perceptron s přidanou vstupní vrstvou zvanou stavová, která dostává kopii aktivace z vnitřní vrstvy v předchozím čase
• Back Propagation Through Time - rozšiřuje klasickou backpropagation síť bez paměti na nelineární systém s pamětí. BBTT pracuje jen v dávkovém módu po tom, co je celá trénovací množina zpracována a uložena. Proto potřebuje velké množství paměti a v mnoha reálných problémech nemůžeme BBTT užít k adaptaci sítě a použije se jiný on-line učící algoritmus.

V tomto referátu si ukážeme podrobněji několik možných aplikací neuronových sítí, které lze užít na časové řady. Podívejme se nejprve na klasický model vícevrstvého perceptonu. Je to statická struktura, která zobrazuje vstupní vektor x na výstupní vektor y. Tato síť je vhodná především k rozpoznávání vzorů, kde jak oba vektory představují prostorové vzory nezávislé na čase.

Vstupní vektor x je pak tvořen p vzorky x(n-1), ... , x(n-p), kde x(n) představuje vstupní signál v n-tém časovém kroku a p je tzv. řád predikce. Síť má jeden výstup y(n), který představuje odhad časové řady v n-tém kroku (x(n)). Je to statický model, všechny jeho parametry mají po celou dobu výpočtu pevné hodnoty.

S několika řešeními tohoto problému Vás seznámím v následujících kapitolách. Jsou to jednak tzv. FIR model neuronu a FIR-vícevrstvé sítě s modifikovaným algoritmem Back Propagation a dále několik rekurentních modelů.

FIR model neuronu

Motivací byla zřejmě myšlenka, reprezentovat paměť pomocí časového zpoždění jednotlivých synapsí. To znamená, že výstup synapse v čase t závisí nejen na signálu na vstupu synapse v čase t, ale i na vstupním signálu v předchozím časovém intervalu <t-T,t>.

Synapse je modelována lineárním, časově invariantním filtrem, který je určen svou impulsní odezvou h_ji(t). Odezva synapse u_i(t) na vstupní signál x_i(t) je pak dána vztahem

Aktivace daného neuronu v čase t se tedy spočítá

Konvoluční integrál se při výpočtu nahrazuje sumou(viz. obr. 2) a spojitá proměnná t diskrétní časovou proměnou n.

Vezmeme-li architekturu klasického vícevrstvého perceptronu a nahradíme-li perceptrony FIR modelem neuronu, dostaneme tzv. FIR multilayer perceptron. K učení sítě použijeme učení s učitelem, kde v každém časovém kroku porovnáme výstup sítě y_j(n) s požadovanou odezvou d_j(n). Definujeme chybu sítě:

 Tento postup je velice neefektivní díky redundantním vahám v nové síti. Ztrácí se tu symetrie mezi dopřednou propagací stavů a zpětnou propagací chyb, neexistuje žádný elegantní rekurzivní vzorec pro výpočet chybové funkce a do třetice, je třeba udržovat informace o tom, které váhy jsou shodné v původní síti.

Tyto problémy překonává algoritmus Temporal Back Propagation, který rozkládá chybovou funkci:

kde ní je parametr učení.

pro neuron vnitřní vrstvy.

M je velikost časového filtru a omega je množina neuronu z následující vrstvy. Dostali jsme v podstatě vektorové zobecnění standardního Back Propagation. Pro výpočet nové hodnoty w_ij(n) je však potřeba znát hodnoty d_m(n) až d_m(n+M), což jsou hodnoty budoucí. V praktické implementaci budeme l-tou vrstvu počítat se zpožděním lM, t.j. pro skrytou vrstvu

FIR multilayer perceptron je prostředkem pro modelování časových řad. Na soutěži ve Spojených Státech v roce 1992 bylo dáno k dispozici 1000 vzorků řady generované NH₃ laserem. Úkolem bylo predikovat dalších 100 vzorků.

Pro tento účel byla navržena vícevrstvá síť se dvěmi skrytými vrstvami, vstupní vrstva měla jeden neuron, první skrytá vrstva 12 neuronů se synaptickým filtrem velikosti 25, druhá skrytá vrstva 12 neuronů se synaptickým filtrem velikosti 5 a výstupní vrstva 1 neuron se synaptickým filtrem velikosti 5. Tato síť byla úspěšná a soutěž vyhrála.

Další možnost zpracovávat časové signály přináší rekurentní sítě. Paměť je realizována zpětnými vazbami. Model nazvaný Real-time Recurrent Network (obr.4) je tvořen N skrytými neurony a M vstupními jednotkami.

Skrytá vrstva ke vstupnímu vektoru x₁(n), ... ,x_M(n) počítá výstup y₁(n+1),...,y_N(n+1).

Všechny neurony skryté vrstvy mají zpětné vazby vedené ke všem neuronům této vrstvy. Některé neurony jsou navíc označeny jako výstupní. V každém kroku lze jako výstupní specifikovat jiné neurony.

kde d_j(n) je požadovaná odezva j-tého neuronu v čase n.

Zřetězená síť je tvořena M moduly se stejnou váhovou maticí W. Každý modul má na vstupu p posledních vzorků vstupního signálu x(n-k),...,x(n-k-p+1), kde k je číslo modulu.

Výstup všech N neuronů posledního modulu je veden zpět na vstup tohoto modulu, tedy poslední modul pracuje jako standardní Real-time recurrent network. Dále je výstup každého modulu veden na vstup modulu předcházejícího. První modul má pouze jeden výstup, který představuje výstup celé sítě y(n).

Učení probíhá bez učitele. Síť se přizpůsobuje přicházejícímu signálu. Každý modul počítá chybu jako odchylku od vstupního signálu e_k,1(n-k+1)=x(n-k+1)-y_k,1(n-k+1). Chybu celé sítě definujeme jako

Časový filtr počítá z q posledních výstupů sítě y(n-1),..., y(n-q) výstup celého systému x(n+1).

Zřetězená síť provádí globální aproximaci signálu a časový filtr aproximaci lokální. Výsledný výstup x(n+1) je odhadem vstupu vstupního signálu x(n+1). Tento systém byl úspěšně využit k modelování lidské řeči.

• Systémy pro odhad vývoje zahraničního obchodu (Citibank London, Bank of Australia)
• Volba portfolia a management
• Předpověď počasí
• Rozpoznávání řeči
• Předpověď a potvrzení srdečního infarktu z výstupu EKG (fyzikové mají citlivost 73.3% a přesnost 81.1%, neuronová síť 96% a 96%).
• Identifikace demence z analýzy EEG

FIR multilayer perceptron je síť učená algoritmem Temporal Back Propagation. Poté, co se jednou naučí, má všechny váhy fixované. Tyto sítě se osvědčily při modelování nestacionárních časových řad, klasifikaci nestacionárních signálů, adaptivním řízení a odstraňování šumu. Rekurentní sítě typu Real-time recurrent network jsou vhodné například pro neurobiologické modely nebo nelineární predikci řeči.