Αντικείμενο της Δράσης αυτής είναι η ανάπτυξη προηγμένης ακουστικής, αντιληπτικής και ψυχολογικής ανάλυσης των λεκτικών και μη λεκτικών επικοινωνιακών σημάτων κατά την αυθόρμητη διάδραση, με στόχο την ανάπτυξη αλγόριθμων και αυτόματων διαδικασιών ικανών να αναγνωρίζουν ανθρώπινες συναισθηματικές καταστάσεις. Σημαντικές παράμετροι που θα ληφθούν υπόψη είναι η ενσωμάτωση των αλγόριθμων και των διαδικασιών που θα αναπτυχθούν για εφαρμογές στο χώρο των τηλεπικοινωνιών και για την αναγνώριση των συναισθηματικών καταστάσεων, χειρονομιών, εκφράσεων προσώπου και ομιλίας. Στόχος είναι η υλοποίηση έξυπνων avatars και διαδραστικών διαλογικών συστημάτων τα οποία είναι δυνατόν να αξιοποιηθούν με βασική επιδίωξη τη βελτίωση της πρόσβασης του χρήστη σε μελλοντικές υπηρεσίες τηλεπικοινωνιών. Τα αναμενόμενα αποτελέσματα της Δράσης είναι τα εξής:

1. Η συνεισφορά στον προσδιορισμό των ποσοτικών και ποιοτικών χαρακτηριστικών που περιγράφουν τις λεκτικές και μη λεκτικές τροπικότητες.
2. Η προώθηση της τεχνολογικής υποστήριξης για την ανάπτυξη προηγμένων πολυτροπικών συστημάτων (π.χ. μέσω της αξιοποίησης σημάτων που προέρχονται από διαφορετικές τροπικότητες).
3. Η διαμόρφωση νέων θεωριών που θα διευκρινίζουν το ρόλο των λεκτικών και μη λεκτικών τροπικοτήτων στην επικοινωνία, και την αξιοποίησή τους από τις υπηρεσίες τηλεπικοινωνιών.