TECHNICKÁ UNIVERZITA V KOŠICIACH FAKULTA ELEKTROTECHNIKY A INFORMATIKY KATEDRA KYBERNETIKY A UMELEJ INTELIGENCIE

Transcription

1 TECHNICKÁ UNIVERZITA V KOŠICIACH FAKULTA ELEKTROTECHNIKY A INFORMATIKY KATEDRA KYBERNETIKY A UMELEJ INTELIGENCIE Využitie neurónových sietí pre rozpoznávanie fliaš pri recyklácii Ján ŠIDLOVSKÝ DIPLOMOVÁ PRÁCA 2005

2 Technická univerzita v Košiciach Fakulta elektrotechniky a informatiky Katedra kybernetiky a umelej inteligencie Využitie neurónových sietí pre rozpoznávanie fliaš pri recyklácii Diplomová práca Študijný odbor: Umelá inteligencia Vedúci diplomovej práce: Ing. Rudolf Jakša, PhD Diplomant: Ján Šidlovský Konzultant diplomovej práce: Ing. Rudolf Jakša, PhD Košice 2005

3 Čestné prehlásenie Prehlasujem, že som diplomovú prácu vypracoval samostatne s využitím uvedenej odbornej literatúry. V Košiciach dňa vlastnoručný podpis

4

5 Poďakovanie Na tomto mieste ďakujem vedúcemu a konzultantovi svojej diplomovej práce Ing. Rudolfovi Jakšovi, PhD za cenné rady, pripomienky a nápady, ktoré usmernili moje kroky pri realizácii diplomovej práce. Zároveň ďakujem svojim kolegom za pomoc pri riešení triviálnych problémov. Ďalej by som chcel poďakovať svojim rodičom, sestre a priateľom za morálnu podporu.

6 Názov práce : Využitie neurónových sietí pre rozpoznávanie fliaš pri recyklácii Katedra : Katedra kybernetiky a umelej inteligencie, TU FEI Košice Autor : Ján Šidlovský Vedúci DP : Ing. Rudolf Jakša, PhD Konzultant DP : Ing. Rudolf Jakša, PhD Dátum : Kľúčové slová : neurónová sieť, spätné šírenie chyby, fuzzy klasifikácia, rozpoznávanie, automaty na zber fliaš Anotácia : Táto diplomová práca analyzuje možnosti neurónových sietí pri riešení praktickej úlohy, akou je rozpoznávanie fliaš podľa ich tvaru a následné klasifikovanie do tried za účelom ich recyklácie. Vo svete existujú automaty na rozpoznávanie fliaš, ktoré využívajú výpočtovú inteligenciu, ale žiaden z nich nepoužíva neurónové siete. Aplikáciou neurónových sietí sa dosiahli uspokojivé výsledky. Použitie fuzzy klasifikácie v učiacom procese neurónovej siete umožnilo rozoznať neznámu fľašu od ostatných známych.

7 Thesis title : Application of neural networks for the bottle recognition for recycling Department : Department of Cybernetics and Artificial Intelligence, TU FEI Košice Author : Ján Šidlovský Supervisor : Ing. Rudolf Jakša, PhD Tutor : Ing. Rudolf Jakša, PhD Date : Keywords : neural network, backpropagation of error, fuzzy classification, recognition, reverse vending machines Annotation : This thesis is focused of analysis of neural networks used in practical task. The task is bottle recognition according to its shape and classification of these bottles to classes for recycling. Reverse vending machines use only computational intelligence and no of them use neural network. Application of neural networks for bottle recognition reach good results. Using fuzzy clasification in neural network learning proces facilitate recognize unknown bottle from the other known bottles.

8

9 Obsah Úvod Formulácia úlohy Prehľad súčasných aplikácií vo svete Rozpoznávanie fliaš pomocou neurónových sietí Stručný úvod do neurónových sietí Kontrolované učenie na doprednej neurónovej sieti metódou spätného šírenia chyby Fuzzy klasifikácia Modifikácia fuzzy klasifikácie pre obrazové dáta Zhlukovanie Výpočet priemeru Implementácia navrhnutého systému Predspracovanie obrazu Experimenty Trénovacie a testovacie vzorky Topológia siete, priebeh učenia a testovania Experimenty na neurónovej sieti s tradičnou metódou spätného šírenia chyby rôzne fľaše podobné fľaše fľaše fľaše fliaš fliaš fliaš Experimenty na neurónovej sieti s fuzzy klasifikačnou metódou spätného šírenia chyby fliaš Exp. 1-7 :... 42

10 5.5 Porovnanie správania neurónovej siete naučenej algoritmom BP a Fuzzy Classification BP pri neznámej fľaši Neznáma fľaša typ 1 (pozri obrázok 20) Neznáma fľaša typ 2 (pozri obrázok 21) Neznáma fľaša typ 3 (pozri obrázok 22) Neznáma fľaša typ 4 (pozri obrázok 23) Neznáma fľaša typ 5 (pozri obrázok 24) Neznáma fľaša typ 6 (pozri obrázok 25) Neznáma fľaša typ 7 (pozri obrázok 26) Vyhodnotenie výsledkov Záver Zoznam použitej literatúry Internetové zdroje Zoznam príloh Zoznam obrázkov a tabuliek... 60

11 FEI TU v Košiciach Diplomová práca List č. 1 Úvod Dodávky tekutín od dodávateľov ku zákazníkom sa v prevažnej väčšine expedujú vo fľašiach. Komerčné podmienky trhu nedovoľujú použiť fľaše rozdielnych výrobcov, a preto každá firma využíva fľaše charakteristické pre nich, alebo pre daný typ tovaru. Tieto fľaše sa u zákazníkov hromadia a z hľadiska šetrenia priestoru a šetrenia prírodných zdrojov je lepšie použité fľaše zozbierať a opätovne použiť. Tým vzniká problematika zberu a triedenia fliaš. Keďže je to monotónna práca, ktorá by ľudí unavovala, je na ňu v dnešnej uponáhľanej dobe vhodnejšie použiť automaty.

12 FEI TU v Košiciach Diplomová práca List č. 2 1 Formulácia úlohy V diplomovej práci: 1. Vypracujem prehľad aplikácií výpočtovej inteligencie pre rozpoznávanie s ohľadom na aplikáciu v recyklácii. 2. Navrhnem postup rozpoznávania fliaš určených na recykláciu s využitím neurónových sietí. 3. Implementujem navrhnutý systém. 4. Realizujem experimenty za účelom overenia funkčnosti a možnosti použitia navrhovaného systému. 5. Zhodnotím výsledky experimentov a možnosti reálneho použitia. 6. Vypracujem dokumentáciu podľa pokynov vedúceho diplomovej práce. Jednotlivé časti diplomovej práce sú realizované nasledovne: 1. Prehľad aplikácií popisujem v kapitole O mnou navrhovanom postupe rozpoznávania pojednáva kapitola Implementácia systému je uvedená v kapitole Realizovaným experimentom sa venujem v kapitole Zhodnoteniu výsledkov a možnostiam reálneho použitia je určená kapitola V prílohe pridávam abstrakt v anglickom jazyku, užívateľskú a systémovú príručku.

13 FEI TU v Košiciach Diplomová práca List č. 3 2 Prehľad súčasných aplikácií vo svete Výrobou automatov, ktoré boli spomenuté v úvode, sa vo svete zaoberajú firmy ako napríklad Tomra, Envipco, Sielaff, Wincor Nixdorf. Firma TOMRA (Nórsko) 1 Táto firma je lídrom na európskom trhu a zaoberá vývojom a výrobou automatov pre zber vratných a nevratných fliaš. Tie sú ďalej separované a určené na recykláciu. Automaty pre zber fliaš, ktoré táto firma vyrába, sú automatizované stroje určené na identifikáciu, roztriedenie a uskladnenie prijatých fliaš. Firma svoje produkty delí do troch kategórií: 1. automaty pre vratné fľaše 2. automaty pre nevratné fľaše 3. automaty pre vratné aj nevratné Parametre automatov firmy Tomra: využívajú počítačové videnie na spracovanie tvaru používajú 3D laser skener čas rozoznania: 1,5 6 sekúnd majú grafický LCD displej rozpoznávajú fľaše aj plechovky umožňujú horizontálne / vertikálne vkladanie okrem rozpoznávania podľa tvaru používajú čítačku čiarových kódov 1

14 FEI TU v Košiciach Diplomová práca List č. 4 Firma ENVIPCO (USA) 2 Envipco je svetový líder vo vývoji automatických systémov na recykláciu použitých obalov z fliaš. Bola založená Brucom De Wollfsonom, jedným z vynálezcov automatu na vratné fľaše. Firma má tri produkty: 1. CF MU Flaschomat CK98 CF 1500: CF1500M plechovky, CF1500G sklenené fľaše, CF1500P plastové fľaše, CF1500 Multi Unit všetky druhy fliaš a plechoviek majú počasiu odolný obal môžu byť uložené vonku spracujú 52 plechoviek, 30 plastových alebo sklenených fliaš za minútu majú úložný priestor, ktorý postačuje na uskladnenie 3750 plechoviek, 1600 plastových alebo 600 sklenených fliaš CF1500G a CF1500 Multi Unit triedia sklenené fľaše aj podľa farby cez telefonické spojenie si dokážu obnoviť informácie z dátového centra MU 2000: najsofistikovanejší a technicky najpokročilejší automat výsledok 10 ročného vývoja má len jeden vkladací port (jeden port dokáže rozoznať fľaše aj plechovky) spracuje 30 plechoviek, 30 plastových alebo sklenených fliaš za minútu má úložný priestor, ktorý postačuje na uskladnenie plechoviek, plastových a sklenených fliaš triedi sklenené a plastové fľaše aj podľa farby ak sa zásobníky blížia k plnej kapacite, automaticky zavolá ENVIPCO na ich vyprázdnenie 2

15 FEI TU v Košiciach Diplomová práca List č. 5 Firma Sielaff GmbH & Co. KG (Nemecko) 3 Jej produktom je automat RVM-01: automat na vratné fľaše a plechovky identifikuje PET fľaše do 2l, sklenené fľaše a plechovky plechovky a PET fľaše drví tým ušetrí 38-67% z kapacity úložného priestoru rozpoznávanie vykonáva pomocou kamery a čítačky čiarového kódu ovláda sa pomocou LCD displeja v prípade poruchy komunikuje so servisným centrom cez ISDN/GSM Firma Wincor Nixdorf (Poľsko) 4 Produktom tejto firmy je automat na vratné fľaše a prepravky fliaš s názvom RHEPRO: fľaše a prepravky rozpoznáva na základe tvaru, veľkosti, farby a čiarového kódu jeho databáza pozostáva z 1700 fliaš a plechoviek a 600 prepraviek rozpoznávanie loga pomáha identifikovať prepravky rovnakej farby rozpoznanie fľaše trvá menej ako sekundu a prepravky menej ako 4 sekundy databáza aj softvér sú aktualizované cez ISDN alebo LAN spojenie so servisným centrom

16 FEI TU v Košiciach Diplomová práca List č. 6 Obrázky jednotlivých automatov prevzaté zo stránok ich výrobcov. Obr. č. 1 Automaty firmy TOMRA (a Tomra600, b Tomra710, c Tomra Tempo) Obr. č. 2 Automaty firmy ENVIPCO (a CF1500, b Flaschomat CK 98)

17 FEI TU v Košiciach Diplomová práca List č. 7 Obr. č. 3 Automat firmy Sielaff (RVM-01) Obr. č. 4 Automat firmy Wincor-Nixdorf (RHEPRO)

18 FEI TU v Košiciach Diplomová práca List č. 8 3 Rozpoznávanie fliaš pomocou neurónových sietí 3.1 Stručný úvod do neurónových sietí Ľudský mozog je najzložitejším výpočtovým prostriedkom, aký človek pozná. Jeho sila spočíva v obrovskom množstve navzájom zoskupených neurónov prepojených do veľmi zložitej masívnej paralelnej siete. Tento masívny paralelizmus zaujal mnohých vedcov a odborníkov. Snaha o simuláciu niektorých funkcií ľudského mozgu vyústila do vzniku systémov nazývaných neurónové siete (anglicky neural networks - NN). Definícia podľa [1]: Neurónová sieť je masívne paralelný procesor, ktorý má sklon k uchovávaniu experimentálnych znalostí a ich ďalšieho využívania. Napodobňuje ľudský mozog v dvoch aspektoch: v neurónovej sieti sú poznatky zbierané počas učenia medzineurónové spojenia (synaptické váhy) sú využívané na ukladanie znalostí Činnosť neurónových sietí rozdeľujeme do dvoch fáz fáza učenia fáza života Nasledujúca časť je prevzatá z textu [1]. Jednou z najvýznamnejších vlastností neurónových sietí je to, že sú tzv. univerzálnym aproximátorom funkcií. Môže sa nám stať, že máme systém, ktorého popis je mimoriadne náročný alebo je systém natoľko zložitý, že jeho popis je takmer nemožný. K dispozícii však máme dáta, ktoré do systému vstupujú a zároveň aj k nim odpovedajúce výstupy. V takejto situácii môžeme použiť vhodnú neurónovú sieť a pokúsiť sa ju naučiť správať sa tak, ako sledovaný systém, a to pomocou trénovacích údajov (už spomínané vstupy a výstupy). Toto je veľmi dôležitý moment, ktorý determinuje aj aplikačné uplatnenie neurónových sietí v praxi. V súčasnosti nachádzajú neurónové siete uplatnenie vo veľkom množstve aplikácií. Vo všeobecnosti môžeme vymenovať niekoľko oblastí využitia neurónových sietí: problémy aproximácie funkcií, klasifikácie do tried, klasifikácia situácií, riešenie predikčných problémov, problémy riadenia procesov, transformácia signálov, asociačné problémy, simulácia pamäte.

19 FEI TU v Košiciach Diplomová práca List č. 9 Základným elementom a procesnou jednotkou neurónovej siete je neurón. Štruktúra neurónu je na obrázku 5. Obr. č. 5 Štruktúra neurónu Spojenie medzi dvomi neurónmi sa nazýva synaptické spojenie (synapsia). Synapsie majú svoj smer a spájajú jednotlivé neuróny do neurónovej siete. Z hľadiska toku signálu po synapsii delíme neuróny na predsynaptické (zdrojové) a postsynaptické (cieľové) pozri obrázok 6. Hodnota synaptickej váhy je w ij. Obr. č. 6 Označenie neurónov Neurón pozostáva z nasledujúcich hlavných častí: vstup do neurónu (dendrid) - je funkciou jednotlivých vstupov prichádzajúcich od predsynaptických neurónov (najčastejšie sa používa vážený súčet) Vstup do i-teho neurónu, ktorý má N predsynaptických neurónov môže byť vyjadrený v tvare N ini = wij y j=1 j + θ i (1), kde w ij sú synaptické váhy, y j sú výstupy z predsynaptických neurónov a θ i je prah neurónu i. prah neurónu - predstavuje vstup z okolitého sveta, teda nie od iných neurónov a jeho hodnota θ i je najčastejšie rovná -1. w i0 čiže - w i0.

20 FEI TU v Košiciach Diplomová práca List č. 10 aktivačná funkcia neurónu funkcia f a, ktorá je funkciou vstupu do neurónu in i a jej výstupom je premenná x i, ktorá definuje stav neurónu i a vypočítame ju podľa vzťahu i a ( in ) x = f (2), Existuje veľké množstvo aktivačných funkcií a medzi najpoužívanejšie patria: 1. Lineárna funkcia 2. Funkcia signum 3. Po častiach lineárna funkcia 4. Sigmoidálna funkcia i a ( ini ) ini i x = f = (3), 1 ak ini 0 x i = f ( ini ) = (4), 0 ak ini < ak ini x i = fa( ini ) = ini ak ini, (5), ak ini 2 x i = f a 1 1+ e ( ini ) = α ini (6), kde α je parameter strmosti sigmoidy Obr. č. 7 Priebehy aktivačných funkcií

21 FEI TU v Košiciach Diplomová práca List č. 11 Obr. č. 8 Priebehy ďalších aktivačných funkcií výstupná funkcia neurónu funkcia f out, ktorej vstupom je premenná x i a jej výsledok je výstup z neurónu y i. Vo všeobecnosti má tvar i out ( x ) y = f (7), Často je táto funkcia f out funkciou identickou t.j. y i = x i pre všetky i. Sám o sebe nie je model neurónu príliš zaujímavý. Zaujímavý je však výsledok množstva prepojení jednotlivých neurónov do neurónovej siete. Neuróny sú obvykle organizované do skupín nazývaných vrstvy. V topológii neurónovej siete poznáme tri druhy vrstiev vstupnú vrstvu jednu alebo viac skrytých vrstiev výstupnú vrstvu Podľa topológie môžeme neurónové siete rozdeliť na dopredné (feed-forward neural networks) rekurentné (recurent neural networks) Pri dopredných sieťach sú neuróny jednej vrstvy spojené iba s neurónmi nasledujúcich vrstiev (pozri obrázok 9). Pri rekurentných sieťach existujú aj spätné slučky v rámci vrstiev a linky smerujúce z neurónu k sebe samému (pozri obrázok 10). Rekurentné siete môžeme nahradiť doprednou neurónovou sieťou, pričom na jej vstup privádzame informáciu o histórii správania sa systému, t.j. časovo oneskorené vstupy, respektíve výstupy systému. Topológia takejto siete sa označuje ako časovo oneskorená dopredná neurónová sieť (time-delay feedforward neural network). i

22 FEI TU v Košiciach Diplomová práca List č. 12 Obr. č. 9 Dopredná neurónová sieť Obr. č. 10 Rekurentná neurónová sieť

23 FEI TU v Košiciach Diplomová práca List č. 13 Ako už bolo spomenuté, neurónové siete získavajú znalosti vo fáze učenia. Pod učením neurónovej siete rozumieme cielenú zmenu ich vnútorných parametrov, ktorá vedie k požadovanému správaniu sa siete, alebo k extrahovaniu informácií z ponúknutých dát. Učiace algoritmy je možné rozdeliť do nasledujúcich skupín kontrolované učenie (učenie s učiteľom supervised learning) pri tomto type učenia učiteľ poskytuje neurónovej sieti informáciu, ako má na prichádzajúce vstupy reagovať. Metódy kontrolovaného učenia sú napr. učenie na základe opravy chyby (error correction learning), stochastické učenie (stochastic learning) a učenie na základe hodnotenia činnosti (reinforcement learning). nekontrolované učenie (učenie bez učiteľa unsupervised learning) v tomto prípade neurónovej sieti ponúkame iba vstupy, neurónová sieť vstup spracuje a sama určuje výstup na základe určitých zákonitostí. K metódam nekontrolovaného učenia patrí napr. Hebbovo učenie (Hebbian learning), kooperačné a konkurenčné učenie (cooperative and competitive learning). 3.2 Kontrolované učenie na doprednej neurónovej sieti metódou spätného šírenia chyby Delta pravidlo Toto pravidlo predstavuje veľmi dôležitý postup pri výpočte zmeny synaptických váh ( w ij ). Lineárna aktivačná funkcia v neuróne i pre jednovrstvovú sieť s M vstupnými neurónmi má tvar M ( ini ) = ini = xiwij + i xi = f j=1 θ (8), Chybovú funkciu, ktorá má charakter funkcie najmenších štvorcov vyjadríme takto J N () t = Ji() t =.5 ( evi () t xi () t ) i= 1 N 0 (9), i= 1 To platí v prípade, že výstupná funkcia je identická (x i = ou i ), pričom ev i (t) je očakávaná, x i (t) vypočítaná hodnota na i-tom výstupe z neurónovej siete a N je počet týchto výstupov. Metóda najmenších štvorcov (least mean square - LMS) hľadá hodnoty zmeny synaptickej váhy pri minimalizácii tejto chybovej funkcie. 2

24 FEI TU v Košiciach Diplomová práca List č. 14 Zmenu synaptickej váhy v závislosti od negatívnej parciálnej derivácie chybovej funkcie podľa váhy vyjadríme vzťahom ( t) () t J wij() t = γ (10), w kde γ je učiaci parameter. Pravú stranu vo vzťahu (10) je možné upraviť J w ( t) () t ij J = x ( t) () t i ij xi w ( t) () t ij (11), Prvý člen pravej strany vzťahu (11) sa ďalej rovná J x () t () t i = ( ev () t x () t ) i i (12), a druhý člen vzťahu (11) na základe vzťahu (8) sa rovná x w ( t) () t i = ij x j () t (13), Ak (ev i (t) - x i (t)) označíme ako δ i (t), tak výsledný vzorec pre výpočet zmeny pri ľubovoľnom vstupe má tvar w ij i ( t) x ( t) = γ δ (14), Takto vypočítaná zmena synaptickej váhy podľa delta pravidla dala základ ďalším modifikáciám delta pravidla, čo prispelo k jeho rozšíreniu a aplikácii pri učení neurónových sietí. Signál δ(t) nazývame chybovým signálom [1]. j Metóda spätného šírenia chyby (error backpropagation) Delta pravidlo je základom učenia so spätným šírením chyby a umožňuje použite ľubovoľnej aktivačnej funkcie f aj nelineárneho typu, ktorá spĺňa podmienku diferencovateľnosti ( in) in x = f (15), A opäť o určovanie zmeny synaptických váh pre neurónovú sieť s nelineárnymi neurónmi, pričom postup bude analogický ako pri základnom delta pravidle, avšak o funkcii predpokladáme, že nie je lineárna a je diferencovateľná.

25 FEI TU v Košiciach Diplomová práca List č. 15 Stav neurónu i pri ľubovoľnom vstupe do neurónovej siete má tvar kde ( t) f ( in ( t) ) xi = i (16), in i M () t x () t wij() t + i = j=1 j θ (17), Základným problémom je stanovenie príslušného chybového signálu δ i pre každý neurón. Vedie to k jednouchému rekurzívnemu vzťahu pre výpočet jednotlivých chybových signálov δ i, ktoré predstavujú spätné šírenie chyby smerom od výstupu neurónovej siete. Keďže ( t) () t J δ i() t = (18), in i potom ( t) () t ( t) () t J xi δ i() t = (19), x in i i Najskôr si vyriešime druhý člen pravej strany vzťahu (19) a vzhľadom na vzťah (16) ho môžeme zapísať ako x in ( t) () t i = f i ( in () t ) i (20), Pre výpočet prvého člena pravej strany (19) musíme uvažovať dva prípady: neurón i je výstupným neurónom vtedy má hľadaná parciálna derivácia tvar J x () t () t i = ( ev () t x () t ) i i (21), a tým máme chybový signál δ i (t) na základe (20) a (21) vyriešený v tvare () t = ( ev ( t) x ( t) ) f ( in ( t) ) δ (22), i i i neurón i nie je výstupným neurónom výpočet je zložitejší a postupuje sa takto J x () t () t i = N h=1 J in ( t) () t h i in x h( t) () t i (23), kde N je počet výstupných neurónov, resp. počet neurónov vo vrstve napravo od vrstvy, v ktorej je neurón i (pozri obrázok 11). Čiarkovane je znázornené šírenie signálu δ i.

26 FEI TU v Košiciach Diplomová práca List č. 16 Obr. č. 11 Šírenie chybového signálu v neurónovej sieti Chybový signál δ i (t) pre neurón, ktorý nie je na výstupe teda vypočítame podľa i N = i h=1 () t f ( in () t ) δ ( t) w ( t) δ (24), kde δ h (t) sú chybové signály od neurónov z výstupnej vrstvy, alebo vrstvy napravo od nej a w hi (t) sú synaptické váhy od neurónu i ku každému z neurónov v nasledujúcej vrstve. h hi

27 FEI TU v Košiciach Diplomová práca List č Fuzzy klasifikácia Časť tejto kapitoly je prevzatá z [2]. Jednou z oblastí využitia doprednej neurónovej siete učenej metódou spätného šírenia chyby je klasifikácia vzoriek do tried, pričom počet výstupných neurónov sa zhoduje s počtom klasifikačných tried. Počas učenia sú na vstupné neuróny privádzané vektory vzoriek danej triedy a výstupné neuróny určené pre danú triedu sú nastavené na hodnotu 1, ostatné na hodnotu 0. Z toho dôvodu vektor očakávaných výstupov pozostáva len z dvoch ostrých hodnôt 0 a 1. Počas testovania (fáza života) mechanizmus víťaz berie všetko (winner take all - WTA) spôsobuje, že testovacia vzorka bude klasifikovaná do tej triedy, ktorej pridelený výstupný neurón má najvyššiu aktiváciu. Avšak v reálnom svete sú k dispozícii nejasne definované problémy s prekrytými alebo neostrými hranicami. Každá vzorka použitá počas učenia môže mať nenulovú príslušnosť k viac ako len k jednej triede (napr. keď bod leží na hranici prekrytých vzoriek). V takýchto prípadoch môžu mať vzorky rovnakú príslušnosť v každej z tried. Nemusíme však používať ostrú klasifikáciu týchto vzoriek, aj keď jej výhodou je, že výstupný neurón príslušný k danej triede má vyššiu aktiváciu, na druhej strane pritom zanedbávame malé ale významné výstupy získané z ostatných prekrytých tried. Práve kvôli tomu je vhodné do učiaceho procesu neurónovej siete včleniť fuzzy prístupy. Fuzzy klasifikácia pripúšťa vstupné dáta, v ktorých sú zahrnuté prekrývajúce sa vzorky, pričom ktorákoľvek vzorka môže patriť do viacerých tried s nenulovou príslušnosťou. Do neurónovej siete to zahrnieme tak, že namiesto ostrých hodnôt pre výstupné neuróny na ne privádzame príslušnosti vzorky ku danej triede. Potom sieť spätne šíri chybu s ohľadom na požadovanú hodnotu príslušnosti. Takže chyba, ktorá sa spätne šíri vynásobená váhami má väčší účinok v prípadoch, kedy je hodnota príslušnosti vyššia. Príspevok nejednoznačných alebo nejasne definovaných vektorov na zmenu váh je automaticky znížený. Samozrejme, že vektory, ktoré sú typické pre danú triedu by mali výraznejšie ovplyvniť určujúcu pozíciu a tvar rozdeľovacej plochy. Pri testovaní sa po privedení testovacej vzorky na vstup aktivujú výstupné neuróny a hodnota ich aktivácií je rovná príslušnosti danej testovacej vzorky ku triede, ktorú daný výstupný neurón predstavuje. Toto priraďovanie hodnôt výstupných fuzzy

28 FEI TU v Košiciach Diplomová práca List č. 18 príslušností namiesto tradičných binárnych výstupných hodnôt umožňuje sieti efektívnejšie klasifikovať neostré vzorky s prekrytými ohraničeniami. 3.4 Modifikácia fuzzy klasifikácie pre obrazové dáta Zhlukovanie Pri zhlukovaní sa viacero vzoriek s podobnými vlastnosťami nahradí centrom, ktoré sa potom pokladá za najcharakteristickejšiu vzorku pre danú triedu a jeho príslušnosť ku danej triede je rovná 1. Ku ostatným vzorkám sa vypočíta vzdialenosť od centra. Túto vzdialenosť po znormovaní považujeme za príslušnosť vzorky ku centru, čiže aj ku danej triede. Zhlukovanie v 2D priestore ako aj centrá jednotlivých zhlukov vidíme na obrázku 12. Obr. č. 12 Zhluky bodov a ich centrá v 2D priestore Výpočet priemeru Vo viacrozmernom priestore sa centrá môžu vytvárať spriemerovaním jednotlivých zložiek každej vzorky. Ak máme M vzoriek, pričom každá zo vzoriek má N zložiek, tak pre zložku j platí PRIEMER i ( ZLOZKA ) j M ( ZLOZKA ) VZORKA i j i= = 1 M (25), Z týchto priemerov a hodnôt zložiek vypočítame čiastkové rozdiely jednotlivých vzoriek ROZDIEL ij i ( ZLOZKA ) VZORKA ( ZLOZKA ) = PRIEMER (26), kde i je číslo vzorky a j číslo zložky i-tej vzorky j i j

29 FEI TU v Košiciach Diplomová práca List č. 19 Celkový rozdiel pre i-tu vzorku vypočítame ako sumu absolútnych hodnôt čiastkových rozdielov. Matematicky to vyjadríme takto CELKOVÝ ROZDIEL i = ROZDIEL ij N j= 1 (27), Na výpočet príslušnosti jednotlivých vzoriek ku danému priemeru (centru) si musíme ešte vypočítať súčet celkových rozdielov, ale len tých vzoriek, ktoré majú byť klasifikované do triedy, ktorej pripadá toto centrum. Pre ďalší postup pozri na obrázok 13. Obr. č. 13 Znázornenie funkcie na výpočet príslušnosti SCR súčet celkových rozdielov CR i celkový rozdiel pre i-tu vzorku P i príslušnosť vzorky i ku danej triede Túto funkciu môžeme matematicky zapísať takto CRi Pi = +1 (28), SCR Takto vypočítanú príslušnosť použijeme pri učení neurónovej siete ako očakávanú hodnotu výstupu neurónu pre danú klasifikačnú triedu.

30 FEI TU v Košiciach Diplomová práca List č Implementácia navrhnutého systému 4.1 Predspracovanie obrazu Aby sme mohli učiť neurónovú sieť, musíme pre ňu nájsť alebo vytvoriť vhodné trénovacie a testovacie dáta. Predspracovanie obrazu nám umožňuje priamo z digitálnej fotografie vytvárať súbor vzoriek. Postup takéhoto predspracovania je na obrázku 14. Obr. č. 14 Predspracovanie fotografie fľaše Po odfotení fľaše na stanovenom mieste sa fotografia oreže na presný rozmer (400x1200 bodov), potom sa na obrázku znormalizujú farby t.j. farby fľaše a pozadia sa zvýraznia, aby sa tvar fľaše ľahšie rozpoznal. Po znormalizovaní farieb sa obrázok zmenší na rozmer 20x60 bodov a skonvertuje sa do formátu pgm (portable gray map), ktorý má body v odtieňoch sivej farby. Z takto upraveného obrázku sa načítajú hodnoty farieb jednotlivých bodov (ich hodnota je od 0 do 255) a normalizujú sa do intervalu od 1 do 1. Tieto normalizované hodnoty sa uložia do súboru vzoriek, s ktorým potom neurónová sieť pracuje. Najlepšie bude, keď si tento postup ukážeme na reálnom príklade (pozri obrázok 15).

31 FEI TU v Košiciach Diplomová práca List č. 21 Obr. č. 15 Predspracovanie fotografie fľaše v praxi Takýto postup sa aplikuje na všetky fotografie, ktoré chceme spracovať do súboru vzoriek (jeden riadok v súbore je jedna vzorka). Na konci každého riadku je ešte pridaná hodnota príslušnosti danej vzorky ku danej triede vypočítaná použitím postupu, ktorý je popísaný v kapitole a na obrázkoch 16, 17 a 18. Obr. č. 16 Vytvorenie priemeru zo vzoriek Obr. č. 17 Výpočet rozdielov

32 FEI TU v Košiciach Diplomová práca List č. 22 Obr. č. 18 Výpočet celkových rozdielov a sumy celkových rozdielov Za hodnotu príslušnosti sa ešte pridá celočíselný identifikátor triedy, do ktorej vzorka patrí. Po celom predspracovaní a všetkých ďalších funkciách získame súbor vzoriek, ktorý má štruktúru ako môžeme vidieť na obrázku 19. Obr. č. 19 Vytváranie súboru vzoriek Pri učení neurónovej siete klasickou metódou spätného šírenia chyby sa príslušnosť ignoruje a požadovaná hodnota nadobúda iba stavy 0 a 1. Pri fuzzy klasifikácii neurónovou sieťou sa táto hodnota už používa, ako to už bolo spomenuté v kapitole 3.3.

33 FEI TU v Košiciach Diplomová práca List č Experimenty 5.1 Trénovacie a testovacie vzorky Každá trieda má 6 vzoriek (fotografie fľaše z rôznych uhlov - rotácia). Pri trénovaní sa pre každú triedu náhodne vyberú 4 vzorky a pri testovaní sa požívajú zvyšné 2. Vzorky jednotlivých tried sú zobrazené na obrázkoch Priemerné vzorky, z ktorých sa neskôr vypočítavajú rozdiely a z nich príslušnosti sú zobrazené na obrázku 27. Obr. č. 20 Ukážky jednotlivých vzoriek klasifikačnej triedy 1 Obr. č. 21 Ukážky jednotlivých vzoriek klasifikačnej triedy 2

34 FEI TU v Košiciach Diplomová práca List č. 24 Obr. č. 22 Ukážky jednotlivých vzoriek klasifikačnej triedy 3 Obr. č. 23 Ukážky jednotlivých vzoriek klasifikačnej triedy 4 Obr. č. 24 Ukážky jednotlivých vzoriek klasifikačnej triedy 5

35 FEI TU v Košiciach Diplomová práca List č. 25 Obr. č. 25 Ukážky jednotlivých vzoriek klasifikačnej triedy 6 Obr. č. 26 Ukážky jednotlivých vzoriek klasifikačnej triedy 7 Obr. č. 27 Ukážky jednotlivých priemerných vzoriek

36 FEI TU v Košiciach Diplomová práca List č Topológia siete, priebeh učenia a testovania Vzorka fľaše má 20 x 60, a preto vstupná vrstva neurónovej siete bude obsahovať 1200 neurónov. V skrytej vrstve sa pokusne osvedčilo 30 skrytých neurónov. Vo výstupnej vrstve je práve toľko neurónov, koľko je klasifikačných tried (pozri obrázok 28). Obr. č. 28 Topológia použitej siete (PT = počet klasifikačných tried) Učiaci parameter siete γ je nastavený na hodnotu 0,2 a počas celého učiaceho procesu sa nemení. Podobne aj parameter α (strmosť sigmoidálnej aktivačnej funkcie) je počas celého učiaceho procesu konštantný a jeho hodnota je 1. Prahy do skrytých a výstupných neurónov sú konštantne nastavené na 1. Neuróny medzi dvoma susediacimi vrstvami sú prepojené každý s každým (tzv. full connection). Váhy sa na začiatku učiaceho procesu náhodne inicializovali v rozsahu od 1 do 1.

37 FEI TU v Košiciach Diplomová práca List č. 27 Po nainicializovaní váh sa načíta súbor vzoriek, ktoré sa ešte náhodne rozdelia na trénovaciu a testovaciu množinu (pozri kapitolu 5.1). Počas učiaceho procesu sa v každej iterácii ukladá chyba na trénovacej a testovacej množine (súbory trenerr.dat a testerr.dat). Po každých 5000 iteráciách a pri ukončení programu sa ukladajú váhy (súbor weights.dat). Učiaci proces končí, ak je splnená aspoň jedna z nasledujúcich podmienok dosiahol sa stanovený počet iterácií dosiahla sa stanovená presnosť (hranica chyby na testovacej množine) priebeh chybovej funkcie 2x za sebou stúpol (chyba rastie nemá zmysel ďalej učiť) priebeh chybovej funkcie skokovito stúpa (stúpne, klesne, ale neklesne nižšie ako pred stúpaním) Pri testovaní sa načítajú uložené váhy, načíta sa súbor vzoriek, jednotlivé vzorky sa privedú na vstup neurónovej siete, a po prešírení signálu sieťou sa z výstupných hodnôt jednotlivých výstupných neurónov vypočítajú hodnoty do kontingenčnej tabuľky. 5.3 Experimenty na neurónovej sieti s tradičnou metódou spätného šírenia chyby Na tomto type siete sa vykonalo niekoľko experimentov zameraných na klasifikáciu fľaše do správnej triedy. Pri dvoch fľašiach sa navyše vykonali testy s podobnými fľašami. Pre lepšiu prehľadnosť bude každý experiment uvedený na samostatnom liste.

38 FEI TU v Košiciach Diplomová práca List č rôzne fľaše Exp. 1: Pri prvom experimente sa neurónová sieť učila na trénovacích vzorkách tried 1 a 3 (pozri obrázok 20 a 22). Po iteráciách sa na testovacích vzorkách otestovalo, či je sieť dostatočne naučená a dosiahla takéto výsledky Tab. č. 1 Kontingenčná tabuľka Obr. č. 29 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 30 Priebehy chybových funkcií

39 FEI TU v Košiciach Diplomová práca List č. 29 Exp. 2: Trénovanie prebehlo na vzorkách tried 2 a 7 (pozri obrázok 21 a 26). Výsledky testovania sú nasledovné Tab. č. 2 Kontingenčná tabuľka Obr. č. 31 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 32 Priebehy chybových funkcií

40 FEI TU v Košiciach Diplomová práca List č podobné fľaše Exp. 1: Trénovanie prebehlo na vzorkách tried 2 a 5 (pozri obrázok 21 a 24). Výsledky testovania sú nasledovné Tab. č. 3 Kontingenčná tabuľka Obr. č. 33 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 34 Priebehy chybových funkcií

41 FEI TU v Košiciach Diplomová práca List č. 31 Exp. 2: Trénovanie prebehlo na vzorkách tried 3 a 6 (pozri obrázok 22 a 25). Výsledky testovania sú nasledovné Tab. č. 4 Kontingenčná tabuľka Obr. č. 35 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 36 Priebehy chybových funkcií

42 FEI TU v Košiciach Diplomová práca List č fľaše Exp. 1: Trénovanie prebehlo na vzorkách tried 1, 2 a 3 (pozri obrázok 20, 21 a 22). Výsledky testovania sú nasledovné Tab. č. 5 Kontingenčná tabuľka Obr. č. 37 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 38 Priebehy chybových funkcií

43 FEI TU v Košiciach Diplomová práca List č. 33 Exp. 2: Trénovanie prebehlo na vzorkách tried 4, 5 a 6 (pozri obrázok 23, 24 a 25). Výsledky testovania sú nasledovné Tab. č. 6 Kontingenčná tabuľka Obr. č. 39 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 40 Priebehy chybových funkcií

44 FEI TU v Košiciach Diplomová práca List č fľaše Exp. 1: Trénovanie prebehlo na vzorkách tried 1 až 4 (pozri obrázok 20 až 23). Výsledky testovania sú nasledovné Tab. č. 7 Kontingenčná tabuľka Obr. č. 41 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 42 Priebehy chybových funkcií

45 FEI TU v Košiciach Diplomová práca List č. 35 Exp. 2: Trénovanie prebehlo na vzorkách tried 4 až 7 (pozri obrázok 23 až 26). Výsledky testovania sú nasledovné Tab. č. 8 Kontingenčná tabuľka Obr. č. 43 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 44 Priebehy chybových funkcií

46 FEI TU v Košiciach Diplomová práca List č fliaš Exp. 1: Trénovanie prebehlo na vzorkách tried 1 až 5 (pozri obrázky 20 až 24). Výsledky testovania sú nasledovné Tab. č. 9 Kontingenčná tabuľka Obr. č. 45 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 46 Priebehy chybových funkcií

47 FEI TU v Košiciach Diplomová práca List č. 37 Exp. 2: Trénovanie prebehlo na vzorkách tried 3 až 7 (pozri obrázky 22 až 26). Výsledky testovania sú nasledovné Tab. č. 10 Kontingenčná tabuľka Obr. č. 47 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 48 Priebehy chybových funkcií

48 FEI TU v Košiciach Diplomová práca List č fliaš Exp. 1: Trénovanie prebehlo na vzorkách tried 1 až 6 (pozri obrázky 20 až 25). Výsledky testovania sú nasledovné Tab. č. 11 Kontingenčná tabuľka Obr. č. 49 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 50 Priebehy chybových funkcií

49 FEI TU v Košiciach Diplomová práca List č. 39 Exp. 2: Trénovanie prebehlo na vzorkách tried 1 až 3 a 5 až 7 (pozri obrázky 20 až 22 a 24 až 26). Výsledky testovania sú nasledovné Tab. č. 12 Kontingenčná tabuľka Obr. č. 51 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 52 Priebehy chybových funkcií

50 FEI TU v Košiciach Diplomová práca List č fliaš Exp. 1: Trénovanie prebehlo na vzorkách tried 1 až 7 (pozri obrázky 20 až 26). Výsledky testovania sú nasledovné Tab. č. 13 Kontingenčná tabuľka Obr. č. 53 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 54 Priebehy chybových funkcií

51 FEI TU v Košiciach Diplomová práca List č. 41 Exp. 2: Trénovanie prebehlo na vzorkách tried 1 až 7 (pozri obrázky 20 až 26). Výsledky testovania sú nasledovné Tab. č. 14 Kontingenčná tabuľka Obr. č. 55 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 56 Priebehy chybových funkcií

52 FEI TU v Košiciach Diplomová práca List č Experimenty na neurónovej sieti s fuzzy klasifikačnou metódou spätného šírenia chyby Pri tejto úprave neurónovej siete sa uplatnila príslušnosť vzoriek ku danej klasifikačnej triede. Na výstupnej vrstve bolo 6 neurónov, každý zodpovedal jednej z klasifikačných tried fliaš Exp. 1-7 : Tab. č. 15 Kontingenčná tabuľka Obr. č. 57 Grafické znázornenie hodnôt z kontingenčnej tabuľky

53 FEI TU v Košiciach Diplomová práca List č. 43 Exp. 2: Tab. č. 16 Kontingenčná tabuľka Obr. č. 58 Grafické znázornenie hodnôt z kontingenčnej tabuľky

54 FEI TU v Košiciach Diplomová práca List č. 44 Exp. 3: Tab. č. 17 Kontingenčná tabuľka Obr. č. 59 Grafické znázornenie hodnôt z kontingenčnej tabuľky

55 FEI TU v Košiciach Diplomová práca List č. 45 Exp. 4: Tab. č. 18 Kontingenčná tabuľka Obr. č. 60 Grafické znázornenie hodnôt z kontingenčnej tabuľky

56 FEI TU v Košiciach Diplomová práca List č. 46 Exp. 5: Tab. č. 19 Kontingenčná tabuľka Obr. č. 61 Grafické znázornenie hodnôt z kontingenčnej tabuľky

57 FEI TU v Košiciach Diplomová práca List č. 47 Exp. 6: Tab. č. 20 Kontingenčná tabuľka Obr. č. 62 Grafické znázornenie hodnôt z kontingenčnej tabuľky

58 FEI TU v Košiciach Diplomová práca List č. 48 Exp. 7: Tab. č. 21 Kontingenčná tabuľka Obr. č. 63 Grafické znázornenie hodnôt z kontingenčnej tabuľky

59 FEI TU v Košiciach Diplomová práca List č Porovnanie správania neurónovej siete naučenej algoritmom BP a Fuzzy Classification BP pri neznámej fľaši Neznáma fľaša typ 1 (pozri obrázok 20) Tab. č. 22 Kontingenčná tabuľka (BP) Obr. č. 64 Grafické znázornenie hodnôt z kontingenčnej tabuľky (BP) Tab. č. 23 Kontingenčná tabuľka (FC BP) Obr. č. 65 Grafické znázornenie hodnôt z kontingenčnej tabuľky (FC BP)

60 FEI TU v Košiciach Diplomová práca List č Neznáma fľaša typ 2 (pozri obrázok 21) Tab. č. 24 Kontingenčná tabuľka (BP) Obr. č. 66 Grafické znázornenie hodnôt z kontingenčnej tabuľky (BP) Tab. č. 25 Kontingenčná tabuľka (FC BP) Obr. č. 67 Grafické znázornenie hodnôt z kontingenčnej tabuľky (FC BP)

61 FEI TU v Košiciach Diplomová práca List č Neznáma fľaša typ 3 (pozri obrázok 22) Tab. č. 26 Kontingenčná tabuľka (BP) Obr. č. 68 Grafické znázornenie hodnôt z kontingenčnej tabuľky (BP) Tab. č. 27 Kontingenčná tabuľka (FC BP) Obr. č. 69 Grafické znázornenie hodnôt z kontingenčnej tabuľky (FC BP)

62 FEI TU v Košiciach Diplomová práca List č Neznáma fľaša typ 4 (pozri obrázok 23) Tab. č. 28 Kontingenčná tabuľka (BP) Obr. č. 70 Grafické znázornenie hodnôt z kontingenčnej tabuľky (BP) Tab. č. 29 Kontingenčná tabuľka (FC BP) Obr. č. 71 Grafické znázornenie hodnôt z kontingenčnej tabuľky (FC BP)

63 FEI TU v Košiciach Diplomová práca List č Neznáma fľaša typ 5 (pozri obrázok 24) Tab. č. 30 Kontingenčná tabuľka (BP) Obr. č. 72 Grafické znázornenie hodnôt z kontingenčnej tabuľky (BP) Tab. č. 31 Kontingenčná tabuľka (FC BP) Obr. č. 73 Grafické znázornenie hodnôt z kontingenčnej tabuľky (FC BP)

64 FEI TU v Košiciach Diplomová práca List č Neznáma fľaša typ 6 (pozri obrázok 25) Tab. č. 32 Kontingenčná tabuľka (BP) Obr. č. 74 Grafické znázornenie hodnôt z kontingenčnej tabuľky (BP) Tab. č. 33 Kontingenčná tabuľka (FC BP) Obr. č. 75 Grafické znázornenie hodnôt z kontingenčnej tabuľky (FC BP)

65 FEI TU v Košiciach Diplomová práca List č Neznáma fľaša typ 7 (pozri obrázok 26) Tab. č. 34 Kontingenčná tabuľka (BP) Obr. č. 76 Grafické znázornenie hodnôt z kontingenčnej tabuľky (BP) Tab. č. 35 Kontingenčná tabuľka (FC BP) Obr. č. 77 Grafické znázornenie hodnôt z kontingenčnej tabuľky (FC BP)

66 FEI TU v Košiciach Diplomová práca List č Vyhodnotenie výsledkov Po experimentovaní s tradičnou neurónovou sieťou môžeme na grafoch v kapitole 5.3 vidieť, že sieť je naučená dobre a že predkladané vzorky klasifikuje správne do danej triedy. Dôkazom jej korektného naučenia je aj fakt, že dokázala s vysokou presnosťou rozoznať podobné fľaše (pozri kapitolu 5.3.2). Ak sa učiaci cyklus nezastavil skôr, bol umelo zastavený po iteráciách, pretože ak keď sa sieť ďalej učila, na výsledok rozpoznávania to už nemalo vplyv a už aj po iteráciach klasifikovala všetky predkladané vzorky do správnej klasifikačnej triedy. V ďalších cykloch by už len nepatrne zvyšovala výstup neurónov správnej klasifikácie a znižovala výstup neurónov tej nesprávnej. Na grafoch pri experimentoch s fuzzy klasifikačnou neurónovou sieťou vidíme (kapitola 5.4), že aj keď táto sieť neklasifikuje až s takou vysokou presnosťou ako tradičná neurónová sieť, ale jej výsledky sú postačujúce na správnu klasifikáciu predložených vzoriek do daných tried. Počas učenia sieť ani nedosiahla počet iterácií a najčastejším dôvodom ukončenia učiaceho cyklu bol nárast chyby na testovacej množine. Pri niektorých experimentoch skončila učiaci cyklus už po 200 iteráciach a po otestovaní mala taktiež uspokojivé výsledky (správna klasifikácia cca 70% a viac, nesprávna max 12%). Pri experimentoch s neznámou fľašou dosiahla uspokojivejšie výsledky sieť so zakomponovanou fuzzy klasifikáciou, pretože kým tradičná neurónová sieť sa snažila neznámu fľašu ostro zaklasifikovať do niektorej z už naučených tried, fuzzy klasifikačná neurónová sieť rozložila výstupný signál na viacero výstupných neurónov (pozri obrázky v kapitole 5.5). Výsledky týchto experimentov dokazujú, že na riešenie problému neznámej fľaše je vhodnejšia sieť s pridanou fuzzy klasifikáciou. Pri reálnej aplikácii tohto systému by sa namiesto drahých 3D laser skenerov použila obyčajná CCD kamera s potrebným osvetlením. Vďaka existencii grafických procesorov, ktoré vykonávajú množstvo operácií s obrazovými dátami, je možné odbremeniť hlavný procesor, ku ktorému by sa dostali už hotové predspracované dáta z kamery. Neurónová sieť by bola implementovaná programom na hlavnom procesore. Výstup z procesora by už spracovávali mechanizmy, ktoré by rozpoznané fľaše triedili a uskladňovali pre účely recyklácie, a prípadne podľa databázy by priradili rozpoznanej fľaši cenu a vydali nám o vrátení fľaše doklad.

67 FEI TU v Košiciach Diplomová práca List č Záver Na začiatku tejto diplomovej práce je vypracovaný prehľad automatov na rozpoznávanie a triedenie fliaš, ktoré sa vo svete aktuálne požívajú. V kapitole 3 je uvedený stručný úvod do neurónových sietí a fuzzy klasifikácie. Implementácia navrhovaného systému ako aj predspracovanie dát potrebných na ich ďalšie použitie neurónovou sieťou je opísané v kapitole 4 O vykonaných experimentoch a o získaných výsledkoch pojednáva kapitola 5. Celkovému vyhodnoteniu výsledkov možnostiam reálneho použitia je venovaná kapitola 6. Týmto boli splnené všetky body obsiahnuté v zadaní úlohy. Ako už bolo spomenuté v kapitole 6, doplnenie tradičnej metódy spätného šírenia chyby o fuzzy klasifikáciu výrazne pomohlo k riešeniu problému neznámej fľaše. Ak by sme chceli zahrnúť neznámu fľašu do množiny známych fliaš, museli by sme ju pridať do súboru vzoriek, priradiť jej ďalšiu klasifikačnú triedu (alebo už existujúcu, ak to tak chceme), vypočítať z nej priemernú vzorku, rozdiely, z nich príslušnosti a celú neurónovú sieť nanovo preučiť. Pri malých počtoch klasifikačných tried sa to ešte dá celkom rýchlo a uspokojivo zvládnuť, ale nevieme ako to je pri vyšších počtoch. Preto ak by bol náhodou problém s rýchlosťou učenia na klasickej doprednej neurónovej sieti, možnou alternatívou je použiť neurónovú sieť ART MAP, ktorej výhodnou vlastnosťou je, že nemusíme nanovo preučiť celú sieť, ale stačí len doučiť sieť len na novej fľaši. Či sa tým urýchli doba učenia je otázne, pretože nevieme odhadnúť, či sa bude dlhšie učiť dopredná neurónová sieť na celej novej trénovacej množine, alebo ART MAP na novej trénovacej vzorke. Ak by bol navrhovaný systém realizovaný, jeho výhodou by bola aj skutočnosť, že samotné učenie neurónovej siete by mohlo prebiehať niekde v centre na materskom počítači. Ak by sa vyskytla nová fľaša, bola by pridaná do súboru vzoriek a sieť by sa na pozadí učila. Pre automaty by na tomto centrálnom počítači boli k dispozícii doteraz najvhodnejšie váhy, ktoré by si mohli stiahnuť cez telefonické pripojenie po kábli, alebo cez bezdrôtové pripojenie (GSM, BlueTooth) alebo aj využitím internetového spojenia. Potom by stačilo, že do automatu by bola včlenená len fáza života neurónovej siete a odpadala by tak fáza učenia. Po naučení siete aj na novú fľašu by sa sprístupnili nové váhy a rozposlala by sa informácia o dostupnosti týchto váh jednotlivým automatom. A naopak, ak by sa rozpoznala v niektorom z automatov

68 FEI TU v Košiciach Diplomová práca List č. 58 neznáma fľaša, automat by ju síce vrátil naspať zákazníkovi s oznamom, že ju nepozná, ale zároveň by mohol o nej poslať informácie na centrálny počítač, ktorý by tieto informácie spracoval. Ak by boli tie informácie použiteľné do trénovacej množiny, zahrnuli by sa do nej a sieť by sa, ako som už vyššie spomínal, preučila.

69 FEI TU v Košiciach Diplomová práca List č Zoznam použitej literatúry [1] SINČÁK, Peter ANDREJKOVÁ, Gabriela: Neurónové siete inžiniersky prístup (1. diel). Košice : Elfa, s. ISBN Dostupné na internete: < [2] LIN, Chin-Teng - LEE, C. S. George: Neural Fuzzy Systems: A Neuro-Fuzzy Synergism to Intelligent Systems. New York : Prentice Hall, s. ISBN Internetové zdroje [3] < [4] < [5] < [6] < [7] < [8] < [9] <

70 FEI TU v Košiciach Diplomová práca List č Zoznam príloh 1. CD médium diplomová práca v elektronickej podobe, zdrojové kódy, dátové súbory, prílohy v elektronickej podobe. 2. Používateľská príručka 3. Systémová príručka 4. Abstrakt v anglickom jazyku 10 Zoznam obrázkov a tabuliek Zoznam obrázkov Obr. č. 1 Automaty firmy TOMRA (a Tomra600, b Tomra710, c Tomra Tempo)... 6 Obr. č. 2 Automaty firmy ENVIPCO (a CF1500, b Flaschomat CK 98)... 6 Obr. č. 3 Automat firmy Sielaff (RVM-01)... 7 Obr. č. 4 Automat firmy Wincor-Nixdorf (RHEPRO)... 7 Obr. č. 5 Štruktúra neurónu... 9 Obr. č. 6 Označenie neurónov... 9 Obr. č. 7 Priebehy aktivačných funkcií Obr. č. 8 Priebehy ďalších aktivačných funkcií Obr. č. 9 Dopredná neurónová sieť Obr. č. 10 Rekurentná neurónová sieť Obr. č. 11 Šírenie chybového signálu v neurónovej sieti Obr. č. 12 Zhluky bodov a ich centrá v 2D priestore Obr. č. 13 Znázornenie funkcie na výpočet príslušnosti Obr. č. 14 Predspracovanie fotografie fľaše Obr. č. 15 Predspracovanie fotografie fľaše v praxi Obr. č. 16 Vytvorenie priemeru zo vzoriek Obr. č. 17 Výpočet rozdielov Obr. č. 18 Výpočet celkových rozdielov a sumy celkových rozdielov Obr. č. 19 Vytváranie súboru vzoriek Obr. č. 20 Ukážky jednotlivých vzoriek klasifikačnej triedy Obr. č. 21 Ukážky jednotlivých vzoriek klasifikačnej triedy

71 FEI TU v Košiciach Diplomová práca List č. 61 Obr. č. 22 Ukážky jednotlivých vzoriek klasifikačnej triedy Obr. č. 23 Ukážky jednotlivých vzoriek klasifikačnej triedy Obr. č. 24 Ukážky jednotlivých vzoriek klasifikačnej triedy Obr. č. 25 Ukážky jednotlivých vzoriek klasifikačnej triedy Obr. č. 26 Ukážky jednotlivých vzoriek klasifikačnej triedy Obr. č. 27 Ukážky jednotlivých priemerných vzoriek Obr. č. 28 Topológia použitej siete (PT = počet klasifikačných tried) Obr. č. 29 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 30 Priebehy chybových funkcií Obr. č. 31 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 32 Priebehy chybových funkcií Obr. č. 33 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 34 Priebehy chybových funkcií Obr. č. 35 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 36 Priebehy chybových funkcií Obr. č. 37 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 38 Priebehy chybových funkcií Obr. č. 39 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 40 Priebehy chybových funkcií Obr. č. 41 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 42 Priebehy chybových funkcií Obr. č. 43 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 44 Priebehy chybových funkcií Obr. č. 45 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 46 Priebehy chybových funkcií Obr. č. 47 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 48 Priebehy chybových funkcií Obr. č. 49 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 50 Priebehy chybových funkcií Obr. č. 51 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 52 Priebehy chybových funkcií Obr. č. 53 Grafické znázornenie hodnôt z kontingenčnej tabuľky... 40

72 FEI TU v Košiciach Diplomová práca List č. 62 Obr. č. 54 Priebehy chybových funkcií Obr. č. 55 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 56 Priebehy chybových funkcií Obr. č. 57 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 58 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 59 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 60 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 61 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 62 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 63 Grafické znázornenie hodnôt z kontingenčnej tabuľky Obr. č. 64 Grafické znázornenie hodnôt z kontingenčnej tabuľky (BP) Obr. č. 65 Grafické znázornenie hodnôt z kontingenčnej tabuľky (FC BP) Obr. č. 66 Grafické znázornenie hodnôt z kontingenčnej tabuľky (BP) Obr. č. 67 Grafické znázornenie hodnôt z kontingenčnej tabuľky (FC BP) Obr. č. 68 Grafické znázornenie hodnôt z kontingenčnej tabuľky (BP) Obr. č. 69 Grafické znázornenie hodnôt z kontingenčnej tabuľky (FC BP) Obr. č. 70 Grafické znázornenie hodnôt z kontingenčnej tabuľky (BP) Obr. č. 71 Grafické znázornenie hodnôt z kontingenčnej tabuľky (FC BP) Obr. č. 72 Grafické znázornenie hodnôt z kontingenčnej tabuľky (BP) Obr. č. 73 Grafické znázornenie hodnôt z kontingenčnej tabuľky (FC BP) Obr. č. 74 Grafické znázornenie hodnôt z kontingenčnej tabuľky (BP) Obr. č. 75 Grafické znázornenie hodnôt z kontingenčnej tabuľky (FC BP) Obr. č. 76 Grafické znázornenie hodnôt z kontingenčnej tabuľky (BP) Obr. č. 77 Grafické znázornenie hodnôt z kontingenčnej tabuľky (FC BP) Zoznam tabuliek Tab. č. 1 Kontingenčná tabuľka Tab. č. 2 Kontingenčná tabuľka Tab. č. 3 Kontingenčná tabuľka Tab. č. 4 Kontingenčná tabuľka Tab. č. 5 Kontingenčná tabuľka Tab. č. 6 Kontingenčná tabuľka... 33

73 FEI TU v Košiciach Diplomová práca List č. 63 Tab. č. 7 Kontingenčná tabuľka Tab. č. 8 Kontingenčná tabuľka Tab. č. 9 Kontingenčná tabuľka Tab. č. 10 Kontingenčná tabuľka Tab. č. 11 Kontingenčná tabuľka Tab. č. 12 Kontingenčná tabuľka Tab. č. 13 Kontingenčná tabuľka Tab. č. 14 Kontingenčná tabuľka Tab. č. 15 Kontingenčná tabuľka Tab. č. 16 Kontingenčná tabuľka Tab. č. 17 Kontingenčná tabuľka Tab. č. 18 Kontingenčná tabuľka Tab. č. 19 Kontingenčná tabuľka Tab. č. 20 Kontingenčná tabuľka Tab. č. 21 Kontingenčná tabuľka Tab. č. 22 Kontingenčná tabuľka (BP) Tab. č. 23 Kontingenčná tabuľka (FC BP) Tab. č. 24 Kontingenčná tabuľka (BP) Tab. č. 25 Kontingenčná tabuľka (FC BP) Tab. č. 26 Kontingenčná tabuľka (BP) Tab. č. 27 Kontingenčná tabuľka (FC BP) Tab. č. 28 Kontingenčná tabuľka (BP) Tab. č. 29 Kontingenčná tabuľka (FC BP) Tab. č. 30 Kontingenčná tabuľka (BP) Tab. č. 31 Kontingenčná tabuľka (FC BP) Tab. č. 32 Kontingenčná tabuľka (BP) Tab. č. 33 Kontingenčná tabuľka (FC BP) Tab. č. 34 Kontingenčná tabuľka (BP) Tab. č. 35 Kontingenčná tabuľka (FC BP)... 55