Αυτοματοποιημένη εύρεση βέλτιστων παραμέτρων λογισμικού

Abstract

Οι υπερπαράμετροι είναι σημαντικές για τους αλγόριθμους μηχανικής μάθησης, καθώς έχουν σημαντική επίδραση στην απόδοση των μοντέλων μηχανικής μάθησης. Ως αποτέλεσμα έχουν αναπτυχθεί αρκετές μέθοδοι που αυτοματοποιούν τη δια- δικασία επιλογής των βέλτιστων υπερπαραμέτρων ενός λογισμικού. Σε αυτήν τη διπλωματική εργασία μελετούνται ως μέθοδοι βελτιστοποίησης οι αλγόριθμοι ανα- ζήτησης πλέγματος, τυχαίας αναζήτησης, τεχνητής αποικίας μελισσών, βελτιστοποί- ησης σμήνους σωματιδίων, η Μπεϋζιανή βελτιστοποίηση, ο γενετικός αλγόριθμος, ο Tree-structured Parzen Estimators και ο Mesh Adaptive Direct Search. Επιπλέον, εξετάζονται και δύο λογισμικά το Nomad και το Optuna. Αναλύεται το θεωρη- τικό υπόβαθρο και στη συνέχεια μελετάται η επίδραση τους σε ένα τύπο τεχνητού νευρωνικού δικτύου, πιο συγκεκριμένα στον MultiLayer Perceptron (MLP), στις δια- δικασίες της κατηγοριοποίησης και της παλινδρόμησης. Αξίζει να σημειωθεί ότι όλοι οι αλγόριθμοι κατάφεραν να βελτιώσουν το αποτέλεσμα, αλλά αυτό που τους δια- φοροποιεί σημαντικά είναι ο χρόνος εκπαίδευσης.