Ocena modelu klasyfikacyjnego

Ocena modelu klasyfikacyjnego

sztuczna inteligencja

Każdy model klasyfikacyjny, powinien zostać poddany ocenie pod względem poprawności klasyfikacji. W tym celu powstało wiele przydatnych i użytecznych statystyk, które pomagają  w wyborze najlepszego modelu. Poniżej przedstawiono i opisano niektóre z nich.

Confusion matrix

Confusion matrix  –  macierz klasyfikacji, w której wiersze odpowiadają prawdziwym decyzjom, a kolumny decyzjom przewidywanym przez klasyfikator. Inaczej mówiąc dzięki tej statystyce widzimy:

  • Ile „0” zostało zakwalifikowanych jako „0”
  • Ile „0” zostało zakwalifikowanych jako „1”
  • Ile „1” zostało zakwalifikowanych jako „1”
  • Ile „1” zostało zakwalifikowanych jako „0”

Schemat macierzy klasyfikacji.

Dzięki temu w jasny i czytelny sposób jesteśmy w stanie ocenić wysokość błędu I oraz II stopnia. Dodatkowo możemy wyliczyć dodatkowe statystyki takie jak „czułość” i „specyficzność”, które są niezbędne do wyznaczenia krzywej ROC.

Recall score

Recall score (True Positive Rate) – inaczej „czułość” jest to stosunek „Prawdziwych Pozytywnych” decyzji do sumy  „Prawdziwych Pozytywnych” i „Fałszywych negatywnych”. Inaczej mówiąc jest to statystyka, która informuje nas w jakim procencie nasz model prawidłowo rozpoznaje pozytywne decyzje.

Precision

Precision (PPV) – jest to stosunek „Prawdziwych Pozytywnych” decyzji do sumy  „Prawdziwych Pozytywnych” i „Fałszywych Pozytywnych”.

ROC

ROC curve (Receiver Operating Characteristic) – Krzywa ROC –  jest to graficzna reprezentacja efektywności modelu predykcyjnego. Im ta krzywa przyjmuję bardziej wypukły kształt tym model jest dokładniejszy. Oś pozioma reprezentuje „False Positive Rate” czyli 1- specyficzność, natomiast oś pionowa wskazuje „True Positive Rate” (czułość). Krzywa jest funkcją punktu odcięcia tzw. „cut-off”.

AUROC

AUROC  (Area Under the ROC) pole powierzchni pod krzywą ROC.  Prawdopodobieństwo, że badany model predykcyjny oceni wyżej (score) losowy element klasy pozytywnej od losowego elementu klasy negatywnej. Im większy ten wskaźnik tym lepiej( max 100% – model idealny , 50% – losowy).

F1

F1 score – jest to miara łącząca w sobie Precision i Recall. Miara ta jest pomocna do znalezienia równowagi pomiędzy precyzją a recall. Postać jej funkcji jest następująca:

W literaturze przedmiotu można znaleźć znacznie więcej miar będących rozszerzeniem powyższych.  Celem artykułu było przybliżenie zagadnienia oceny modeli klasyfikacyjnych, które jest bardzo szerokie.

0 Komentarzy

Napisz komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

*

SALESMAN Sprzedaż Analityka Smarketing ©2019

lub

Zaloguj się używając swojego loginu i hasła

lub     

Nie pamiętasz hasła ?

lub

Create Account