Σχεδίαση και υλοποίηση βοηθού ρομποτικού βραχίονα με φωνητική αλληλεπίδραση και χρήση μηχανικής όρασης

Abstract

Στη σημερινή εποχή με τη συνεχόμενη ανάπτυξη της τεχνολογίας και της επιστήμης των υπολογιστών έχει δημιουργηθεί το απαραίτητο τεχνολογικό υπόβαθρο για την εξέλιξη και υλοποίηση ακόμα και των πιο περίπλοκων μηχανισμών. Η ψηφιοποίηση σχεδόν όλων σε συνδυασμό με την πρόοδο της ρομποτικής, υπόσχεται ένα μέλλον όπου η πρόσβαση σε μηχανήματα υψηλής τεχνολογίας θα είναι διαθέσιμη για όλους. Τα ρομπότ γίνονται όλο και πιο ικανά λόγω της δυνατότητας τους να εκτελούν πιο πολύπλοκους υπολογισμούς, να ενσωματώνουν ανεπτυγμένες τεχνολογίες μηχανικής μάθησης και όρασης καθώς και να αλληλοεπιδρούν με φυσικότητα με τον άνθρωπο μέσω όλο και πιο πλούσιων αισθητήρων και τελικών εργαλείων δράσης. Λαμβάνοντας υπόψιν τη σημαντικότητα ενασχόλησης και υλοποίησης ενός τέτοιου ρομποτικού συστήματος, η παρούσα διπλωματική εργασία παρουσιάζει τον σχεδιασμό και την υλοποίηση ενός ολοκληρωμένου, αλληλοεπιδρώμενου φωνητικά, ρομποτικού βραχίονα μεταβίβασης αντικειμένων στο χρήστη. Το ρομποτικό σύστημα βασίζεται στο ρομποτικό βραχίονα Niryo-One, οπού στη περιοχή του καρπού έχει τοποθετηθεί usb camera. Τα αντικείμενα αναγνωρίζονται ως προς το χρώμα, το σχήμα και κάποια ως προς το είδος τους. Παράλληλα, δύναται η λειτουργία ανάγνωσης QR codes, όπου με την εκτύπωση και τοποθέτηση αυτών στα αντικείμενα, μπορούν να δοθούν προσωπικές ονομασίες προσφώνησης σε αυτά. Το εν λόγω ρομποτικό σύστημα, λόγω των διαφορετικών λειτουργιών αναγνώρισης και εξατομίκευσης που προσφέρει μπορεί να χρησιμοποιηθεί σε διάφορους τομείς όπως π.χ. στη βιομηχανία, στην ιατρική περίθαλψη, στο οικιακό περιβάλλον και σε άλλους.

With the continuous growth of technology and computer science, the necessary technological background has been created for the evolution and implementation of even the most complex mechanisms. The digitization of practically everything, coupled with advances in robotics, promises a future where access to high-tech machines will be available for all. Robots are becoming increasingly capable due to their ability to execute more complex computations, integrate advanced machine learning and vision technologies, and interact naturally with humans through increasingly richer sensors and end-effectors. Considering the importance of occupation and implementation of such a robotic system, the present diploma thesis aims to design and implement a comprehensive voice interaction robotic arm to deliver objects to the user. The robotic system is based on a Niryo-One robotic arm where a USB camera has been installed in the area of the end-effector. The objects are recognized based on the colour, shape, and some of them in terms of their type. At the same time, the QR code reading function can be used to print and place them on the items in order to call them with a personal preference name. This robotic system, due to the variety of recognition and customization functions it offers, can be used in various fields such as industry, medical care, home environment and others.