M105. Μηχανική Μάθηση

1. Ταυτότητα Μαθήματος:

Τίτλος μαθήματος: Μηχανική Μάθηση (MachineLearning)

Εξάμηνο διδασκαλίας: 1ο

Ώρες εβδομαδιαίως: 3

Μονάδες ECTS: 6

2. Μαθησιακοί Στόχοι:

Σκοπός του μαθήματος είναι να αποκτήσει ο φοιτητής μια σφαιρική άποψη του πεδίου της μηχανικής μάθησης μελετώντας τα κυριότερα μοντέλα και μεθόδους μάθησης με ή χωρίς επίβλεψη. Δίνονται βασικά στοιχεία της θεωρίας μάθησης έτσι ώστε να αποκτήσει αντίληψη του τι είναι εφικτό από τα μοντέλα αυτά, ποιες είναι οι δυνατότητες και ποιοι οι περιορισμοί που υπάρχουν στη μάθηση. Επί πλέον ο φοιτητής εισάγεται στην θεωρία και την εφαρμογή των ασαφών συστημάτων και των εξελικτικών αλγορίθμων.

3. Αντικείμενο του μαθήματος:

Τα θέματα που καλύπτει είναι:

Εισαγωγή: Βασικές έννοιες

Η έννοια της μάθησης
Προβλήματα Μάθησης
Τύποι Μάθησης
Γενίκευση – Cross validation
Δεδομένα και λογισμικό για μηχανική μάθηση

Μαθηματικό υπόβαθρο

Γραμμική άλγεβρα: διανύσματα, πίνακες
Βελτιστοποίηση: Παράγωγοι, κλίση, κατάβαση δυναμικού

Γραμμικά Μοντέλα Μάθησης

Μέθοδος ελαχίστων τετραγώνων
Perceptron
Λογιστική Παλινδρόμηση και Softmax
Fisher Linear Discriminant Analysis

Νευρωνικά Δίκτυα

Δίκτυο Perceptron Πολλαπλών Στρωμάτων (Multilayer Perceptron)
Εκπαίδευση MLP (Back-Propagation)

Μοντέλα Βαθιάς Μάθησης

Βαθιά Δίκτυα Πεποιθήσεων (Deep Belief Networks)
Βαθιοί Αυτοσυσχετιστές (Deep Auto-Encoders)
Συνελικτικά Δίκτυα (Convolutional Neural Networks)
Εφαρμογές

Μηχανές Διανυσμάτων Υποστήριξης

Support Vector Machines (SVM)
Support Vector Regression (SVR)

Πιθανοτικά Μοντέλα Bayes

Εισαγωγικές έννοιες πιθανοτήτων
Ο κανόνας του Μπέιζ (Bayes)
Ταξινόμηση με τη Μέγιστη εκ των Υστέρων Πιθανότητα (ΜεΥΠ)
Μπεϊζιανά δίκτυα πεποιθήσεων
Απλοϊκός κανόνας Μπέιζ (Naive Bayes)

Ανάλυση Δεδομένων

Ανάλυση Κυρίων Συνιστωσών (Principal Component Analysis – PCA)
Ανάλυση Ανεξάρτητων Συνιστωσών (Independent Component Analysis – ICA)
Θετική Παραγοντοποίηση Πινάκων (Non-negative Matrix Factorization – NMF)

Συσταδοποίηση (Clustering)

Εκτίμηση κατανομής πιθανότητας
Αλγόριθμος K-Means
Αλγόριθμος EM
Ιεραρχική συσταδοποίηση
Αλγόριθμος DBSCAN

Ασαφή Συστήματα

Εξελικτικοί Αλγόριθμοι

4. Διδακτική Μέθοδος

Προσφέρονται εβδομαδιαίες διαλέξεις θεωρίας καθώς επίσης και εργαστηριακές διαλέξεις με στόχο την εκμάθηση της γλώσσας python και των σχετικών εργαλείων εκπαίδευσης μοντέλων βαθιάς μάθησης. Οι φοιτητές θα υλοποιούν υποχρεωτικά τελική εργασία εξαμήνου όπου θα υλοποιούνται και θα αποτιμούνται μοντέλα μηχανικής μάθησης για αναγνώριση προτύπων ή για πρόβλεψη τιμών.

5. Μέθοδος αξιολόγησης φοιτητών

Η αξιολόγηση των φοιτητών στηρίζεται τελική γραπτή εξέταση καθώς και στην τελική εργασία.

6. Απαιτήσεις εξοπλισμού – λογισμικού

Απαιτείται η χρήση της γλώσσας Python με τα πακέτα όπως για παράδειγμα tensorflow/keras. Οι φοιτητές εκπαιδεύονται στην χρήση διαδικτυακών πλατφορμών εκπαίδευσης όπως google colab ή kaggle.

7. Προτεινόμενη Βιβλιογραφία

Κ. Διαμαντάρας και Δ. Μπότσης, Μηχανική Μάθηση, Κλειδάριθμος 2019.
Κ. Διαμαντάρας, Τεχνητά Νευρωνικά Δίκτυα, Κλειδάριθμος 2007.
Goodfellow Ian, Bengio Yoshua and Courville Aaron, “Deep Learning”, MIT Press, 2016, http://www.deeplearningbook.org
Theodoridis, Sergios, “Machine learning: a Bayesian and optimization perspective”, Academic Press, 2015
C. Bishop, Pattern Recognition and Machine Learning, Springer 2006
S. Haykin, Neural Networks and Learning Machines (3rd Edition), Prentice Hall, 2008
J. Shawe-Taylor and N. Cristianini, Kernel Methods for Pattern Analysis, CambridgeUniversity Press, 2004
B. Schölkopf and A. J. Smola, Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond, MIT Press 2001
R. O. Duda, P. E. Hart, and D. G. Stork, Pattern Classification (2nd Edition), Wiley Interscience, 2000
V. Vapnik, Statistical Learning Theory, Wiley Interscience, 1998
K. Diamantaras and S. Y. Kung, Principal Component Neural Networks: Theory and Applications, Wiley Interscience, 1996