Σύγκριση μεθόδων εντοπισμού ακραίων τιμών

Abstract

Τα τελευταία χρόνια λόγω της προόδου της τεχνολογίας, όλο και περισσότερα άτομα ασχολούνται με τη μελέτη δεδομένων και την εξαγωγή αποτελεσμάτων από πειράματα είτε σε επαγγελματικό είτε σε ερασιτεχνικό επίπεδο. Κάποια στιγμή οι ως επί το πλείστον ερευνητές συναντούν το πρόβλημα, αν οι παρατηρήσεις τους είναι σωστές και πρέπει να λάβουν μέρος στην ανάλυση των αποτελεσμάτων. Συνεπώς, θα πρέπει να αποφασίσουν αν οι παρατηρήσεις αυτές θα πρέπει να απαλειφθούν ή αν με κάποιο τρόπο να ομαλοποιηθούν ώστε να μειωθεί η επίδρασή τους στην απόρροια των μετρήσεων. Στόχος της διπλωματικής εργασίας είναι η σύγκριση των μεθόδων εντοπισμού αυτών των ακραίων παρατηρήσεων. Για την επίτευξη αυτού του στόχου στο πειραματικό κομμάτι της εργασίας, διάφορα σύνολα δεδομένων επε- ξεργάζονται με τη χρήση εργαλείων και βιβλιοθηκών της γλώσσας προγραμματισμού Python, καθώς επίσης και του πακέτου αλγορίθμων μηχανικής μάθησης scikit-learn. Οι αλγόριθμοι εντοπισμού ακραίων τιμών που χρησιμοποιήθηκαν είναι οι DBscan, Elliptical Envelope, Gaussian Mixture Model, Local Outlier Factor, Isolation Forest Mahalanobis distance και OneClassSVM. Με αυτόν τον τρόπο πραγματοποιούνται οι προβλέψεις ως προς την ακρίβεια που παρουσιάζει η κάθε μέθοδος. Με το πέ- ρας των πειραμάτων της διπλωματικής εργασίας, καταλήγουμε στο συμπέρασμα ότι στις περισσότερες περιπτώσεις, η απαλοιφή των ακραίων τιμών βοήθησε στη βελτίωση των ποσοστών ακριβείας.