Πλαίσιο σημασιολογικών επικοινωνιών με μοντέλα βασισμένα σε Transformer
Abstract
Με την εξέλιξη από την πρώτη γενιά (1G) στην πέμπτη γενιά (5G), ο ρυθμός μετάδοσης που επιτεύχθηκε βελτιώθηκε δεκάδες χιλιάδες φορές και η χωρητικότητα του συστήματος πλησιάζει σταδιακά το όριο Shannon. Επιπλέον, η εμφάνιση νέων ασύρματων εφαρμογών, παράγει πρωτοφανείς ποσότητες δεδομένων που θα επιβαρύνουν τη χωρητικότητα των σύγχρονων ασύρματων δικτύων. Καθώς τα δίκτυα έκτης γενιάς (6G) εισέρχονται στην εποχή των ευφυών επικοινωνιών, δίνεται έδαφος στις σημασιολογικές επικοινωνίες, ένα νέο παράδειγμα επικοινωνίας που επικεντρώνεται στην εξαγωγή και την εκμετάλλευση του νοήματος των δεδομένων κατά τη διάρκεια της επικοινωνίας. Σε αντίθεση με τις παραδοσιακές ασύρματες επικοινωνίες, οι σημασιολογικές επικοινωνίες μεταδίδουν μόνο τις απαραίτητες πληροφορίες, που σχετίζονται με τη συγκεκριμένη εργασία, στο δέκτη, γεγονός που οδηγεί σε σημαντική μείωση της κίνησης δεδομένων και βελτίωση της συνολικής απόδοσης του συστήματος. Επίσης, η επεξεργασία φυσικής γλώσσας, με την υποστήριξη της βαθιάς μάθησης, έχει σημειώσει μεγάλη επιτυχία στην ανάλυση και την κατανόηση μεγάλου αριθμού γλωσσικών κειμένων.
Στην παρούσα διπλωματική εργασία παρουσιάζεται η δημιουργία ενός διατερματικού πλαισίου σημασιολογικών επικοινωνιών για την αποστολή και λήψη δεδομένων κειμένου, με σκοπό την ανάδειξη των οφελών των σημασιολογικών επικοινωνιών στις ασύρματες επικοινωνίες. Η δημιουργία του εν λόγω πλαισίου περιλαμβάνει την υλοποίηση μοντέλων που αναλαμβάνουν την εξαγωγή των σημασιολογικών πληροφοριών ενός κειμένου και τη χρήση ενός μοντέλου για την ανακατασκευή των σημασιολογικών πληροφοριών. Η υλοποίηση των μοντέλων εξαγωγής σημασιολογικών πληροφοριών πραγματοποιήθηκε μέσω εκπαίδευσης και fine tuning προεκπαιδευμένων μοντέλων που βασίζονται σε transformer, χρησιμοποιώντας συγκεκριμένα σύνολα δεδομένων. Το μοντέλο που χρησιμοποιείται για την ανακατασκευή των σημασιολογικών πληροφοριών πρόκειται για ένα μεγάλο γλωσσικό μοντέλο βασισμένο σε transformer, το οποίο μέσω της εύρεσης και χρήσης κατάλληλης προτροπής, καθοδηγείται στη σωστή ανακατασκευή των σημασιολογικών πληροφοριών.
Αξιολογώντας το πλαίσιο σε μετρικές σημασιολογικών επικοινωνιών και εφαρμόζοντας το σε δεδομένα κειμένου, συμπεραίνουμε ότι το υλοποιημένο πλαίσιο μπορεί να χρησιμοποιηθεί για την αποστολή και λήψη δεδομένων κειμένου, ελαχιστοποιώντας τη μεταφορά περιττών πληροφοριών, μειώνοντας έτσι την κίνηση δεδομένων και βελτιστοποιώντας τη συνολική απόδοση του συστήματος.