Uczenie maszynowe

Uczenie maszynowe albo uczenie się maszyn, systemy uczące się (ang. machine learning) – stosunkowo młoda i szybko rozwijająca się dziedzina wchodząca w skład nauk zajmujących się problematyką SI.

Jest to nauka interdyscyplinarna ze szczególnym uwzględnieniem takich dziedzin jak informatyka, robotyka i statystyka. Głównym celem jest praktyczne zastosowanie dokonań w dziedzinie sztucznej inteligencji do stworzenia automatycznego systemu potrafiącego doskonalić się przy pomocy zgromadzonego doświadczenia (czyli danych) i nabywania na tej podstawie nowej wiedzy.

Uczenie maszynowe jest konsekwencją rozwoju idei sztucznej inteligencji i metod jej wdrażania praktycznego. Dotyczy rozwoju oprogramowania stosowanego zwłaszcza w innowacyjnych technologiach i przemyśle. Odpowiednie algorytmy mają pozwolić oprogramowaniu na zautomatyzowanie procesu pozyskiwania i analizy danych do ulepszania i rozwoju własnego systemu.

Uczenie się może być rozpatrywane jako konkretyzacja algorytmu czyli dobór parametrów, nazywanych wiedzą lub umiejętnością. Służy do tego wiele typów metod pozyskiwania wiedzy oraz sposobów reprezentowania wiedzy.

Ma to zapewnić zwiększanie:

• efektywności,
• wydajności,
• bezawaryjności,
• redukcji kosztów.

Początki uczenia maszynowego

Pierwszym przykładem maszynowego uczenia się, może być projekt Arthura Samuela z firmy IBM, który w latach 1952-1962 rozwijał program do szkolenia zawodników szachowych.

Przełomem w dziedzinie sztucznej inteligencji i maszynowego uczenia się było powstanie systemu eksperckiego Dendral na Uniwersytecie Stanforda w 1965. System ten powstał w celu zautomatyzowania analizy i identyfikacji molekuł związków organicznych, które dotychczas nie były znane chemikom. Wyniki badań otrzymane dzięki systemowi Dendral były pierwszym w historii odkryciem dokonanym przez komputer, które zostały opublikowane w prasie specjalistycznej.

W 1977 powstaje program AM (Automated Mathematician) napisany w języku programowania Lisp, którego autorem był Doug Lenat. Służył do zautomatyzowanego poszukiwania nowych praw matematycznych korzystając z algorytmów heurystycznych. Następcą AM został, również stworzony przez Lenata, program Eurisko.

Badania nad uczeniem maszynowym nabierają tempa od początku lat 90., kiedy Gerald Tesauro stworzył program TD-Gammon, potrafiący konkurować w grze Backgammon z mistrzami świata. Aby dojść do takiej perfekcji program ten uczył się swojej strategii grając jako przeciwnik w ponad milionie gier. Algorytm zaimplementowany w programie znalazł później zastosowanie w neuronauce.

W 1997 Garri Kasparow, mistrz świata w szachach, został pokonany walkowerem przez komputer Deep Blue w ostatniej z sześciu rozgrywek, w której został znacznie unowocześniony przez firmę IBM. Kasparow zarzucił firmie IBM oszustwo, która odmówiła mu dostępu do historii wcześniejszych gier Deep Blue. W ten sposób Kasparow nie był w stanie analizować strategii przeciwnika, podczas gdy twórcy Deep Blue niezwykle dokładnie analizowali i opracowywali wszystkie wcześniejsze rozgrywki Kasparowa tworząc odpowiednie algorytmy programu. Pozostało mu jedynie studiowanie sposobów gry ogólnodostępnych programów szachowych. Rosyjski szachista domagał się rewanżu, ale firma IBM nie zgodziła się i Deep Blue przeszedł na „emeryturę”. Krytycy wielokrotnie zarzucali firmie IBM, że zamiast sprawiedliwej rywalizacji szachowej mieli na celu wypromowanie swych rozwiązań technologicznych i marki.

Koniec lat 90. obfituje w powszechne zastosowanie algorytmów uczenia maszynowego w rozwoju sieci internet i działania wyszukiwarek internetowych (Google, Yahoo, MSN).

W 2006 ogólnodostępny program szachowy Fritz 10 pokonał mistrza świata Władimira Kramnika.

Współczesne definicje uczenia się

Uczenie się w kontekście sztucznej inteligencji oraz automatyki rozumiane jest inaczej niż tradycyjnie. Proces uczenia się systemu ma za zadanie osiągnięcie rezultatów opartych na wiedzy fragmentarycznej, umożliwiać doskonalenie się, tworzyć nowe pojęcia oraz wnioskować indukcyjnie.

Herbert Simon (1983)

„Uczenie się oznacza zmiany w systemie, które mają charakter adaptacyjny w tym sensie, że pozwalają systemowi wykonać za następnym razem takie same zadanie lub zadania podobne bardziej efektywnie.”

Ryszard Michalski (1986)

„Uczenie się to konstruowanie i zmiana reprezentacji doświadczanych faktów. W ocenie konstruowania reprezentacji bierze się pod uwagę: wiarygodność – określa stropień w jakim reprezentacji odpowiada rzeczywistości, efektywność – charakteryzuje przydatność reprezentacji do osiągania danego celu, poziom abstrakcji – odpowiada zakresowi szczegółowości i precyzji pojęć używanych w reprezentacji; określa on tzw. moc opisową reprezentacji. Reprezentacja jest rozumiana jako np. opisy symboliczne, algorytmy, modele symulacyjne, plany, obrazy.”

Donald Michie (1991)

„System uczący się wykorzystuje zewnętrzne dane empiryczne w celu tworzenia i aktualizacji podstaw dla udoskonalonego działania na podobnych danych w przyszłości oraz wyrażania tych podstaw w zrozumiałej i symbolicznej postaci.”

Cele teoretyczne i ogólne zastosowanie uczenia maszynowego

Uczenie maszynowe w teorii ma prowadzić do określonych celów m.in.:

• tworzenia nowych pojęć,
• wykrywania nieznanych prawidłowości w danych,
• formułowania reguł decyzyjnych,
• przyswajania nowych pojęć i struktur przy pomocy uogólnienia i analogii,
• modyfikowania, uogólniania i precyzowania danych,
• zdobywania wiedzy poprzez interakcję z otoczeniem,
• formułowania wiedzy zrozumiałej dla człowieka.

Ogólne zastosowanie maszynowego uczenia się to m.in.:

• analiza i użytkowanie olbrzymich baz danych, w przypadku których rozmiary, złożoność oraz wymóg ciągłej aktualizacji uniemożliwiają niezautomatyzowaną analizę (np. w takich dziedzinach jak ekonomia, medycyna, chemia),
• dostosowywanie się systemu do środowiska poprzez dynamiczną modyfikację, pozwalającą na poprawne działanie w zmiennych warunkach (robotyka, systemy sterowania, produkcji, analizy danych),
• poszukiwanie i analiza zależności w dużych bazach danych w celu syntetycznego przedstawiania informacji według podanych kryteriów (systemy eksperckie , wyszukiwarki internetowe),
• analiza, badanie i opracowywanie bardzo złożonych problemów, trudnych do opisu i często nie posiadających wystarczających modeli teoretycznych, których uzyskanie jest kosztowne, czasochłonne lub mało wiarygodne (fizyka, matematyka).

Zastosowania praktyczne

Uczenie maszynowe wciąż się rozwija i znajduje nowe praktyczne zastosowania. Ilość możliwych zastosowań jest niezwykle ogromna i pozwala przewidzieć, że w przyszłości każdy aspekt techniki będzie zawierać jakąś implementację algorytmów maszynowego uczenia się.

Są to na przykład:

• oprogramowanie do rozpoznawania mowy:
  • automatyczne tłumaczenie,
  • rozpoznawanie mowy ludzkiej,
  • dyktowanie komputerowi,
  • interfejsy użytkownika sterowane głosem,
  • automatyzacja głosem czynności domowych,
  • interaktywne biura obsługi,
  • rozwój robotów.
• automatyczna nawigacja i sterowanie:
  • kierowanie pojazdem (ALVINN),
  • odnajdywanie drogi w nieznanym środowisku,
  • kierowanie statkiem kosmicznym (NASA Remote Agent),
  • automatyzacja systemów produkcji i wydobycia (przemysł, górnictwo),
• analiza i klasyfikacja danych:
  • systematyka obiektów astronomicznych (NASA Sky Survey),
  • rozpoznawanie chorób na podstawie symptomów,
  • modelowanie i rozwijanie terapii lekowych,
  • rozpoznawania pisma na podstawie przykładów,
  • klasyfikowanie danych do grup tematycznych wg. kryteriów,
  • aproksymacja nieznanej funkcji na podstawie próbek,
  • ustalanie zależności funkcyjnych w danych,
  • przewidywanie trendów na rynkach finansowych na podstawie danych mikro i makro ekonomicznych.

Metody uczenia się i typy reprezentacji wiedzy

Uczenie maszynowe i jego powodzenie zależy od wyboru odpowiedniej metody formułującej problem, zbioru uczącego (czyli doświadczeń) oraz sposobu uczenia się nowych pojęć.

Metody maszynowego uczenia się

• Wnioskowanie wartości funkcji logicznej z przykładów.
• Uczenie drzew decyzyjnych (Decision Tree Learning) – drzewo decyzyjne to graficzna metoda wspomagania procesu decyzyjnego, stosowana w teorii decyzji. Algorytm drzew decyzyjnych jest również stosowany w uczeniu maszynowym do pozyskiwania wiedzy na podstawie przykładów. Jest to schemat o strukturze drzewa decyzji i ich możliwych konsekwencji. Zadaniem drzew decyzyjnych może być zarówno stworzenie planu, jak i rozwiązanie problemu decyzyjnego. Metoda drzew decyzyjnych jest szczególnie przydatna w problemach decyzyjnych z licznymi, rozgałęziającymi się wariantami.
• Uczenie Bayesowskie – metody oparte na twierdzeniu sformułowanym przez XVIII-wiecznego matematyka Thomasa Bayesa odgrywają znaczną i ostatnio rosnącą rolę w dziedzinie sztucznej inteligencji, zwłaszcza w uczeniu się maszyn. Można ogólnie powiedzieć, że wzór Bayesa stał się podstawą do rozwoju teorii i algorytmów różnych form wnioskowania probabilistycznego.
• Uczenie z przykładów (Instance-based Learning) – w odróżnieniu od metod uczenia, które konstruują ogólny, tzw. jawny opis funkcji docelowej, kiedy dostarczane są dane uczące, uczenie tego typu po prostu zapamiętuje przykłady. Uogólnianie nad tymi przykładami jest odwlekane do czasu, aż nowy przykład (zadanie) ma być klasyfikowane. Za każdym razem, kiedy przychodzi nowe zapytanie (przykład), badane są jego powiązania z zapamiętanymi przykładami aby ustalić wartość docelowej funkcji nowego przykładu.
• Uczenie się zbioru reguł – zbiór reguł w postaci klauzul Hornowskich może być interpretowany jako program w np. języku Prolog.
• Analityczne uczenie – metody uczenia indukcyjnego (wykorzystują sieci neuronowe, drzewa decyzyjne ), wymagają pewnej liczby przykładów aby osiągnąć pewien poziom uogólnienia. Analityczne uczenie stosuje wiedzę aprioryczną i wnioskowanie dedukcyjne do powiększania informacji dostarczanej przez przykłady uczące.
• Połączenie indukcyjnego i analitycznego uczenia – czyste indukcyjne uczenie formułuje ogólne hipotezy poprzez znalezienie empirycznych regularności w przykładach uczących. Natomiast czyste analityczne uczenie stosuje aprioryczną wiedzę do otrzymania ogólnych hipotez dedukcyjnie. Połączenie obu podejść daje korzyści: lepszą poprawność i trafność uogólniania gdy dostępna jest wiedza aprioryczna oraz szukanie zależności w obserwowanych danych uczących do wypracowania szybkiej wiedzy apriorycznej.
• Wzmocnione uczenie (Reinforcement Learning) – wzmocnione uczenie odnosi się do pytania, jak autonomiczny agent, który odbiera bodźce i działa w swoim środowisku może się uczyć wybierać najlepszą akcję aby osiągnąć cel działania. Ten ogólny problem obejmuje takie zadania jak uczenie optymalizacji w fabrykach i uczenie się poprzez aktywny udział w grach.

Typy reprezentacji wiedzy

Wiedza wygenerowana wyżej wymienionymi metodami może mieć postać m.in.:

• reguł (najczęściej postaci jeżeli X to Y),
• drzew decyzyjnych,
• klauzul logiki predykatów,
• taksonomii,
• rozkładów prawdopodobieństwa,
• funkcji przejść automatów skończonych,
• reguł gramatyki formalnej,
• sieci semantycznych.

Ograniczenia i problemy

Pomimo szybkiego rozwoju w dziedzinie uczenia maszynowego, systemy nadal pozostają w jakimś stopniu zależne od człowieka. Sam proces projektowania systemu wymaga od człowieka określenia sposobów zdobywania wiedzy oraz jej reprezentacji.

Poza etapem tworzenia systemu powstają następujące problemy:

• zbyt mała lub zbyt duża zależność systemu od środowiska, w którym się znajduje co może prowadzić do niepełnej analizy danych lub błędnej interpretacji,
• wiarygodność i poprawność generowanych wniosków, według Poppera „wiedza zdobyta w wyniku obserwacji ma charakter jedynie domyślny”, a rozumowanie indukcyjne nie może być w pełni udowodnione, a jedynie sfalsyfikowane,
• niekompletne lub częściowo sprzeczne dane,
• niezdefiniowanie ograniczeń dziedzinowych, może prowadzić do zbyt daleko idących uogólnień i błędnych wniosków.

W związku z powyższymi problemami przyjęto następujące postulaty, które wiedza generowana przez systemy powinna spełniać:

• wiedza generowana przez system powinna podlegać kontroli i ocenie człowieka, według podanych przez niego kryteriów.
• system powinien być zdolny do udzielenia wyjaśnienia w przypadku problemu.
• wiedza powinna być zrozumiała dla człowieka, czyli wyrażalna w opisie i modelu myślowym przez niego przyjętym.