Ο όγκος του περιεχομένου που παράγεται από τους χρήστες στην εποχή του Web 2.0 (διαδίκτυο, τηλεόραση, κινητό τηλέφωνο) και η σύγκλιση των μέσων διάθεσης περιεχομένου διαμορφώνουν το πεδίο της επεξεργασίας πολυμέσων και θέτουν την ερευνητική κοινότητα προ νέων προκλήσεων. Οι συσκευές είναι πια εφοδιασμένες με προηγμένες λειτουργικότητες παρέχοντας στους χρήστες απεριόριστη πρόσβαση στον πλούτο του κοινόχρηστου περιεχομένου. Το περιεχόμενο αυτό είναι κατεξοχήν πολυτροπικό, συνδυάζοντας κείμενο, (κινούμενα) γραφικά, ήχο, ομιλία, εικόνα και βίντεο. Οι τεχνολογίες πολυμέσων σήμερα επιτρέπουν στους χρήστες τον χειρισμό του περιεχομένου με καινοφανείς τρόπους. Ο συνδυασμός ηλεκτρονικών υπολογιστών, κινητών συσκευών και δικτύων επιτρέπει στον κάθε χρήστη να δημιουργήσει, να επεξεργαστεί, να μεταδώσει, να μοιραστεί, να συλλέξει, να προσωποποιήσει και να αλληλεπιδράσει με το πολυμεσικό περιεχόμενο.

Για να καταστεί όλο αυτό το πολυμεσικό περιεχόμενο αξιοποιήσιμο από επιχειρήσεις, από διοικητικές υπηρεσίες –τόσο σε επίπεδο κεντρικής διοίκησης όσο και αυτοδιοίκησης είναι απαραίτητο να οργανώνεται και να αναλύεται με τρόπο δομημένο. Επιπλέον, ιδιαίτερη μέριμνα πρέπει να λαμβάνεται για θέματα αναπαράστασης, μοντελοποίησης, ανάλυσης και δεικτοδότησης πολυμέσων.

Οι ερευνητικές δραστηριότητες του ΙΕΛ στον προκείμενο άξονα στοχεύουν στην ανάπτυξη μεθοδολογιών και εργαλείων για την ανάλυση και οργάνωση πολυμεσικών συλλογών. Θερμά ερευνητικά πεδία αποτελούν όλες οι βασικές συνιστώσες της τυπικής αρχιτεκτονικής πολυμέσων:

• Διεπαφές συλλογής πολυμέσων
• Διεπαφές ανάλυσης και δεικτοδότησης (εργαλεία ανάλυσης ήχου, βίντεο και εικόνας)
• Διεπαφές πρόσβασης σε πολυμεσικό περιεχόμενο (εργαλεία αναζήτησης, περιήγησης και επιλογής)
• Υποσυστήματα προσωποποίησης και διάθεσης περιεχομένου (εργαλεία οπτικοποίησης και εξαγωγής περίληψης)

Επιτεύγματα:

• βράβευση αλγορίθμων για την κατάτμηση εικόνων χειρόγραφων κειμένων σε γραμμές κειμένου και λέξεις σε δύο διεθνείς διαγωνισμούς κατάτμησης χειρογράφων (ICDAR07 & ICDAR09 Handwriting segmentation contest)
• καινοτόμες τεχνικές δεικτοδότησης ομιλητή
• αλγόριθμοι εξαγωγής χαρακτηριστικών, όπως του ρυθμού, για την μεταγραφή σήματος μουσικής
• VideoTextReader: εφαρμογή για την αναγνώριση κειμένου σε βίντεο
• εργαστηριακό πρωτότυπο για την αναγνώριση χειρόγραφων μαθηματικών συμβόλων με ψηφιακό στυλό
• εργαστηριακό πρωτότυπο για την εξαγωγή περίληψης από πολυμεσικό περιεχόμενο
• SpeakerTracer: εφαρμογή για την δεικτοδότηση ομιλητών σε δελτία ειδήσεων με βάση το ηχητικό σήμα

Ερευνητικοί και αναπτυξιακοί στόχοι:

• αναγνώριση κινούμενου κειμένου σε βίντεο
• εντοπισμός και βελτιστοποίηση κειμενικής πληροφορίας σε σκηνές βίντεο
• συγκρότηση παράλληλου σώματος (on line & off line) χειρόγραφων δεδομένων για τα Ελληνικά
• αναγνώριση χειρόγραφου κειμένου με υβριδικές τεχνικές
• ανακατασκευή μαθηματικών εκφράσεων με βάση την τοπολογία και γραμματικές εκφράσεων
• αναγνώριση χειρογράφων για ψηφιακό στυλό και χαρτί, διαδραστικούς πίνακες και tablet pcs
• δεικτοδότηση χειρόγραφων σε αρχαία ελληνικά και βυζαντινά ιστορικά αρχεία