Η κατηγορική διασταυρούμενη εντροπία είναι μια συνάρτηση απώλειας που χρησιμοποιείται σε εργασίες ταξινόμησης πολλών κλάσεων. Αυτές είναι εργασίες όπου ένα παράδειγμα μπορεί να ανήκει μόνο σε μία από τις πολλές πιθανές κατηγορίες και το μοντέλο πρέπει να αποφασίσει ποια. Επίσημα, είναι σχεδιασμένο για να ποσοτικοποιήσει τη διαφορά μεταξύ δύο κατανομών πιθανοτήτων.
Γιατί να χρησιμοποιήσετε διασταυρούμενη εντροπία αντί για MSE;
Πρώτον, η διασταυρούμενη εντροπία (ή απώλεια softmax, αλλά η διασταυρούμενη εντροπία λειτουργεί καλύτερα) είναι καλύτερο μέτρο από το MSE για ταξινόμηση, επειδή το όριο απόφασης σε μια εργασία ταξινόμησης είναι μεγάλο(σε σύγκριση με παλινδρόμηση). … Για προβλήματα παλινδρόμησης, θα χρησιμοποιούσατε σχεδόν πάντα το MSE.
Ποια είναι η διαφορά μεταξύ της αραιής διασταυρούμενης εντροπίας και της κατηγορικής διασταυρούμενης εντροπίας;
Η μόνη διαφορά μεταξύ της αραιής διασταυρούμενης εντροπίας κατηγοριών και της κατηγορικής διασταυρούμενης εντροπίας είναι η μορφή των πραγματικών ετικετών. Όταν έχουμε ένα πρόβλημα ταξινόμησης μίας ετικέτας, πολλών κλάσεων, οι ετικέτες είναι αμοιβαία αποκλειόμενες για κάθε δεδομένα, πράγμα που σημαίνει ότι κάθε καταχώριση δεδομένων μπορεί να ανήκει μόνο σε μία κλάση.
Πώς ερμηνεύετε την κατηγορική απώλεια διασταυρούμενης εντροπίας;
Η διασταυρούμενη εντροπία αυξάνεται καθώς η προβλεπόμενη πιθανότητα ενός δείγματος αποκλίνει από την πραγματική τιμή. Επομένως, η πρόβλεψη μιας πιθανότητας 0,05 όταν η πραγματική ετικέτα έχει τιμή 1 αυξάνει την απώλεια διασταυρούμενης εντροπίας. υποδηλώνει την προβλεπόμενη πιθανότητα μεταξύ 0 και 1 για αυτό το δείγμα.
Γιατί είναι καλή η διασταυρούμενη εντροπία;
Συνολικά, όπως μπορούμε να δούμε, η διασταυρούμενη εντροπία είναι απλώς ένας τρόπος μέτρησης της πιθανότητας ενός μοντέλου. Η διασταυρούμενη εντροπία είναι χρήσιμη καθώς μπορεί να περιγράψει πόσο πιθανό είναι ένα μοντέλο και τη συνάρτηση σφάλματος κάθε σημείου δεδομένων. Μπορεί επίσης να χρησιμοποιηθεί για να περιγράψει ένα προβλεπόμενο αποτέλεσμα σε σύγκριση με το αληθινό αποτέλεσμα.
