Αλγόριθμοι αρχικοποίησης βαρών νευρωνικών δικτύων

Abstract

Την τελευταία δεκαετία, η τεχνητή νοημοσύνη και γενικότερα οι τεχνικές της μη- χανικής μάθησης διατηρούν μία ανοδική πορεία και χρησιμοποιούνται κατά κόρον, καθώς αξιοποιούνται με πολλούς τρόπους και δίνουν λύσεις σε αρκετά προβλήματα. Μία πτυχή της μηχανικής μάθησης είναι τα Νευρωνικά Δίκτυα, ένα πολύπλοκο μο- ντέλο εμπνευσμένο από τους νευρώνες του εγκεφάλου, που επεκτείνεται σε ένα μεγάλο φάσμα προβλημάτων κατηγοριοποίησης και βελτιστοποίησης. Η εργασία αυτή στοχεύει στο να αναδείξει τα οφέλη αλλά και τα περιθώρια βελ- τίωσης, που παρέχει ή δέχεται αντίστοιχα ένα Συνελικτικό Νευρωνικό Δίκτυο κατά την εκπαίδευση του, το οποίο είναι ένα εκ των διαφόρων Νευρωνικών Δικτύων που υπάρχουν. Τα Συνελικτικά Δίκτυα έχουν ποικίλες εφαρμογές στην ανάλυση, κατηγοριοποίηση και επεξεργασία εικόνας, και γι’ αυτό αποτελούν ένα ιδιαίτερα ενδιαφέρον και επίκαιρο αντικείμενο μελέτης. Η λειτουργία τους, όσον αφορά την κατηγοριοποίηση εικόνων, επικεντρώνεται στη συνέλιξη, μία διαδικασία η οποία επιδιώκει να εξάγει μοναδικά χαρακτηριστικά και μοτίβα από εικόνες που αντι- κατοπτρίζουν το ίδιο αντικείμενο, και στη συνέχεια να τις κατηγοριοποιήσουν στο εκάστοτε αντικείμενο. Στην παρούσα εργασία, θα αξιοποιηθούν διάφορα μοντέλα Συνελικτικών Δι- κτύων ανάλογα με το σύνολο δεδομένων που στοχεύουν να κατηγοριοποιήσουν. Τα μοντέλα είναι τρία: LeNet, ModNet1 και ModNet2. Όσον αφορά τα σύνολα δεδο- μένων, αρχικά θα εξεταστεί το MNIST και το Fashion MNIST, δύο σχετικά απλά σύνολα δεδομένων, που εμπεριέχουν χειρόγραφους αριθμούς και ρούχα αντίστοιχα, αλλά αμφότερες αποτελούν ασπρόμαυρες εικόνες. Μετέπειτα αξιοποιούνται τα Cifar10 και Cifar100, έγχρωμες εικόνες που διαχωρίζονται σε 10 και 100 κλάσεις αντίστοιχα, όπου εδώ οι διαδικασίες εκπαίδευσης μεγαλώνουν...