Nadgradnja mere AUC pri analizi klasifikatorjev s krivuljami ROC

Mera AUC, ki se uporablja na področju vrednotenja klasifikatorjev in predstavlja eno glavnih orodij analize ROC, ima določene pomanjkljivosti. Ne upošteva namreč vrednosti točkovnih ocen (angl. scores) primerov, temveč le njihovo razvrstitev. Posledica tega dejstva je njena nezanesljivost pri ocenjevanju množic primerov, pri katerih so razlike med točkovnimi ocenami primerov zanemarljive. Slabost mere AUC pa je tudi njena neinformativnost pri medsebojnem primerjanju množic, ki vsebujejo enako število napak. Raziskovalci so iz teh razlogov predlagali izboljšave mere AUC, ki upoštevajo tudi vrednosti točkovnih ocen. V tem delu obravnavamo štiri tovrstne mere. Ugotovljeno pa je bilo, da tudi te izpeljanke ne odpravijo vseh slabosti oz. celo vpeljejo nove. Pri njih se namreč lahko pojavi neprimeren vpliv lastnosti obravnavanih množic primerov na obnašanje teh različic. Temeljni namen tega diplomskega dela je bil iz osnovne AUC in njenih izpeljank pridobiti novo mero, ki bi zgoraj naštete pomanjkljivosti odpravila in tako bolj informativno in obenem tudi verodostojno ocenjevala sposobnosti klasifikatorjev. Pri tem smo nameravali nadzirati in prilagoditi tudi omenjene vplive množic primerov. Poglavitni rezultat diplomskega dela je torej nova mera za ocenjevanje klasifikatorjev, ki je bila preizkušena v nadzorovanem okolju. Glede na raznolikost točkovnih ocen, dobljenih od klasifikatorjev, smo z namenom splošne uporabnosti nove mere v njeno formulo vgradili parametre, s katerimi je mogoče prilagajati njeno delovanje. Na podlagi predstavljene končne primerjave različic ocenjujemo, da ima novopredlagana mera, ob upoštevanju nekaterih predpostavk, določene prednosti pred obstoječimi različicami.