Βελτιστοποίηση τεχνικών υπολογιστικής εκφόρτωσης με χρήση αλγορίθμων μηχανικής μάθησης

Abstract

Η παρούσα διπλωματική εργασία εξετάζει την εφαρμογή τεχνικών Ενισχυτικής Μάθησης (Reinforcement Learning) στο πεδίο της υπολογιστικής στις παρυφές του δικτύου (Mobile Edge Computing - MEC) και, κυρίως, στη βελτιστοποίηση της διαδικασίας υπολογιστικής εκφόρτωσης (computation offloading). Το MEC αποτελεί μια καινοτόμο προσέγγιση που στοχεύει στη μείωση της καθυστέρησης και στη βελτίωση της ποιότητας υπηρεσίας και απόδοσης των συσκευών χρηστών, μεταφέροντας τον υπολογιστικό φόρτο από αυτές σε κοντινούς διακομιστές στις παρυφές του δικτύου. Η εργασία επικεντρώνεται στην αντιμετώπιση των προκλήσεων της υπολογιστικής εκφόρτωσης, όπως η δυναμική κατανομή πόρων και η βελτιστοποίηση της ενεργειακής κατανάλωσης. Αρχικά, μέσω βιβλιογραφικής ανασκόπησης, αναλύθηκαν διάφορα σενάρια υπολογιστικής εκφόρτωσης και οι υπάρχουσες υλοποιήσεις. Στη συνέχεια, διατυπώθηκε το πρόβλημα της υπολογιστικής εκφόρτωσης, το οποίο εστιάζει στη βέλτιστη κατανομή εργασιών μεταξύ της τοπικής συσκευής και του απομακρυσμένου διακομιστή, λαμβάνοντας υπόψη περιορισμούς, όπως η κατανάλωση ενέργειας και ο χρόνος καθυστέρησης. Για την αντιμετώπιση του προβλήματος, αναπτύχθηκε ένα περιβάλλον προσομοίωσης που αναπαριστά την δυναμική ενός συστήματος MEC. Στην συνέχεια, στο περιβάλλον αυτό, εφαρμόστηκαν τρεις αλγόριθμοι ενισχυτικής μάθησης: Proximal Policy Optimization (PPO), Advantage Actor Critic (A2C) και Deep Q-Network (DQN) και συγκρίθηκαν τα αποτελέσματά τους. Ιδιαίτερη έμφαση δόθηκε στη βελτιστοποίηση των υπερπαραμέτρων για την επίτευξη βέλτιστης απόδοσης. Τα πειραματικά αποτελέσματα αποδεικνύουν ότι το πρόβλημα της υπολογιστικής εκφόρτωσης μπορεί να αντιμετωπιστεί επιτυχώς με την χρήση των παραπάνω αλγορίθμων. Ωστόσο, αναγνωρίστηκαν προκλήσεις στη διαμόρφωση ενός ρεαλιστικού περιβάλλοντος προσομοίωσης και στον σχεδιασμό κατάλληλων συναρτήσεων ανταμοιβής. Τέλος, αναλύεται η αποτελεσματικότητα της προτεινόμενης μεθόδου και παρουσιάζονται μελλοντικές ερευνητικές κατευθύνσεις, όπως η αύξηση της πολυπλοκότητας και της ακρίβειας του συστήματος MEC και η ενσωμάτωση πιο σύνθετων μοντέλων ενεργειακής κατανάλωσης.