12  Κεφάλαιο: Σύγκριση Μοντέλων

12.1 Πέρα από τη δειγματοληπτική κατανομή του \(b_1\)

Στο προηγούμενο κεφάλαιο είδαμε πώς να χρησιμοποιούμε τη δειγματοληπτική κατανομή του \(b_1\) για να αξιολογήσουμε το κενό μοντέλο. Χρησιμοποιώντας τη συνάρτηση shuffle(), κατασκευάσαμε μια δειγματοληπτική κατανομή για έναν κόσμο στον οποίο το κενό μοντέλο ισχύει στη ΔΠΔ, δηλαδή \(\beta_1 = 0\). Χρησιμοποιήσαμε την κατανομή αυτή για να υπολογίσουμε την τιμή \(p\): την πιθανότητα να έχει προκύψει στην τύχη η τιμή \(b_1\) του δείγματός μας, ή μια ακόμα πιο ακραία τιμή, αν υποθέσουμε ότι ισχύει το κενό μοντέλο. Με βάση την τιμής \(p\) και το επίπεδο σημαντικότητας που είχαμε ορίσει (δηλ. \(\\alpha = .05\)), αποφασίσαμε αν θα απορρίψουμε ή όχι το κενό μοντέλο της ΔΠΔ.

Όπως ίσως υποψιάζεστε, η δειγματοληπτική κατανομή του \(b_1\) είναι μόνο μία από τις πολλές δειγματοληπτικές κατανομές που θα μπορούσαμε να κατασκευάσουμε. Χρησιμοποιώντας την ίδια προσέγγιση που αναπτύξαμε με το \(b_1\), θα μπορούσαμε να κατασκευάσουμε μια δειγματοληπτική κατανομή για το \(b_0\), τη διάμεσο, την τυπική απόκλιση και πολλά άλλα στατιστικά. Οποιοδήποτε στατιστικό μέτρο μπορούμε να υπολογίσουμε από ένα δείγμα θα μεταβάλλεται με κάθε νέο δείγμα — γι’ αυτό μπορούμε να θεωρήσουμε οποιοδήποτε στατιστικό ως προερχόμενο από μια δειγματοληπτική κατανομή.

Σε αυτό το κεφάλαιο θα επεκτείνουμε την κατανόησή μας για την τυχαιοποίηση πέρα από τη δειγματοληπτική κατανομή του \(b_1\). Θα εστιάσουμε στις δειγματοληπτικές κατανομές του δείκτη PRE και του πηλίκου F. Η δειγματοληπτική κατανομή του πηλίκου F, ειδικότερα, χρησιμοποιείται ευρέως για τη σύγκριση μοντέλων και είναι πιο γενικεύσιμη σε πολλές περιπτώσεις σε σχέση με τη δειγματοληπτική κατανομή του \(b_1\).

Ανασκόπηση των Δεικτών PRE και F

Τόσο το PRE όσο και το F είναι δείκτες σύγκρισης δύο μοντέλων: ενός που περιλαμβάνει μια ανεξάρτητη μεταβλητή (ένα πιο σύνθετο μοντέλο) με ένα που δεν την περιλαμβάνει (το κενό μοντέλο). Ας χρησιμοποιήσουμε και πάλι ως παράδειγμα το πείραμα με τα φιλοδωρήματα για να θυμηθούμε τι είναι το PRE και το F και τι σημαίνουν. Οι ερευνητές ήθελαν να διαπιστώσουν την επίδραση του χαμογελαστού προσώπου στα φιλοδωρήματα: Θα δίνουν υψηλότερα φιλοδωρήματα τα τραπέζια που τυχαία είχαν λάβει ένα χαμογελαστό πρόσωπο επάνω στο λογαριασμό τους σε σχέση με αυτά που δεν είχαν;

Μπορούμε να διατυπώσουμε εκ νέου αυτό το ερώτημα ως σύγκριση δύο μοντέλων: το κενό μοντέλο, στο οποίο ο γενικός μέσος όρος χρησιμοποιείται για την πρόβλεψη του ποσοστού φιλοδωρήματος· και το μοντέλο δύο ομάδων, στο οποίο για την πρόβλεψη του ποσοτού φιλοδωρήματος χρησιμοποιούνται οι μέσοι όροι των δύο ομάδων (με και χωρίς χαμογελαστό πρόσωπο).

Αυτά τα δύο μοντέλα μπορούν να αναπαρασταθούν σε σημειογραφία Γενικού Γραμμικού Μοντέλου ως εξής:

\[\text{Tips}_i = \beta_0 + \beta_1 X_i + \epsilon_i \quad \text{(το μοντέλο δύο ομάδων)}\]

\[\text{Tips}_i = \beta_0 + \epsilon_i \quad \text{(το κενό μοντέλο)}\]

Σημειώστε ότι το μοντέλο δύο ομάδων, στην περίπτωση αυτή, θα αναφέρεται ως «σύνθετο μοντέλο» και το κενό μοντέλο ως «απλό μοντέλο». Οι όροι σύνθετο και απλό είναι σχετικοί. Όταν συγκρίνουμε δύο μοντέλα, το ένα είναι γενικά πιο σύνθετο από το άλλο· το απλό μοντέλο όμως δεν θα είναι πάντα αναγκαστικά το κενό μοντέλο (αν και στην προκειμένη περίπτωση είναι).

Το PRE, ή Αναλογική Μείωση του Σφάλματος, είναι η αναλογία της συνολικής διακύμανσης της εξαρτημένης μεταβλητής που ερμηνεύεται από τη χρήση του πιο σύνθετου μοντέλου έναντι του απλού. Με άλλα λόγια, το PRE είναι η αναλογία του Συνολικού Αθροίσματος Τετραγώνων που μειώνεται χάρη στο σύνθετο μοντέλο σε σχέση με το κενό. (Αυτό είναι απλώς μια ανακεφαλαίωση όσων μάθατε σε προηγούμενα κεφάλαια.)

Το F είναι το πηλίκο δύο διακυμάνσεων (ή Μέσων Τετραγώνων): το MS Model διαιρεμένο με το MS Error. Το F σχετίζεται στενά με το PRE, αλλά λαμβάνει υπόψη τον αριθμό των βαθμών ελευθερίας που χρησιμοποιήθηκαν για την προσαρμογή του σύνθετου μοντέλου. Τόσο το PRE όσο και το F αποτελούν τρόπους ποσοτικοποίησης της έντασης της σχέσης μεταξύ της ανεξάρτητης και της εξαρτημένης μεταβλητής. Μπορείτε να σκεφτείτε το F ως μέτρο της έντασης μιας σχέσης (όπως το PRE) ανά παράμετρο που περιλαμβάνεται στο μοντέλο.

Αν και γενικά τα πιο σύνθετα μοντέλα ερμηνεύουν περισσότερο σφάλμα (δηλ. έχουν μεγαλύτερο PRE), το F εξισορροπεί την ερμηνεία μεγαλύτερου μέρους της διακύμανσης με την αποφυγή σπατάλης βαθμών ελευθερίας. Έτσι, το F μας δίνει έναν λογικό τρόπο σύγκρισης μοντέλων που χρησιμοποιούν πολλές παραμέτρους (π.χ. \(\beta_0, \beta_1, \beta_2, \ldots\)) με το κενό μοντέλο που χρησιμοποιεί μόνο 1.

Μπορούμε να λάβουμε τόσο το PRE όσο και το F από τον πίνακα ANOVA που παράγεται από τη συνάρτηση supernova(). Χρησιμοποιήστε το παρακάτω πλαίσιο κώδικα για να προσαρμόσετε το Condition_model στα δεδομένα του πειράματος των φιλοδωρημάτων και στη συνέχεια να δημιουργήσετε τον πίνακα ANOVA.

Ο πίνακας ANOVA μας δείχνει ότι το PRE για το Condition_model είναι .07. Τι σημαίνει αυτό;

Σωστή απάντηση: Β — Το .07 του αθροίσματος τετραγώνων του κενού μοντέλου ερμηνεύεται από τη μεταβλητή Condition.

Το PRE μετρά την αναλογική μείωση του σφάλματος: πόσο από το SS Total (δηλ. το σφάλμα του κενού μοντέλου) εξαλείφεται όταν προσθέσουμε την ερμηνευτική μεταβλητή. Δεν είναι πιθανότητα (Α), ούτε αναφέρεται στο SS του σύνθετου μοντέλου (Δ).

Ποιους δύο αριθμούς θα διαιρούσατε για να υπολογίσετε το PRE; (Επιλέξτε όλες τις σωστές απαντήσεις.)

Σωστές απαντήσεις: Β και Δ — και οι δύο εκφράσεις είναι ισοδύναμες, αφού SS Model = SS Total − SS Error.

\[\text{PRE} = \frac{\text{SS Model}}{\text{SS Total}} = \frac{\text{SS Total} - \text{SS Error}}{\text{SS Total}}\]

Με ποιον τρόπο το F μοιάζει με το PRE; (Επιλέξτε όλες τις σωστές απαντήσεις.)

Σωστές απαντήσεις: Α, Β και Δ.

Το F και το PRE μοιάζουν ως προς τα εξής: και τα δύο ποσοτικοποιούν πόσο καλύτερα το σύνθετο μοντέλο ερμηνεύει τη διακύμανση σε σχέση με το κενό (Α και Β), και και τα δύο είναι στατιστικά δείγματος που θα μεταβάλλονταν από δείγμα σε δείγμα, άρα έχουν κατανομή δειγματοληψίας (Δ).

Το Γ είναι λάθος: το PRE είναι αδιάστατο (κυμαίνεται από 0 έως 1), ενώ το F δεν έχει άνω όριο και δεν εκφράζεται στις ίδιες μονάδες.

Από τον πίνακα ANOVA βλέπουμε ότι η προσθήκη της μεταβλητής Condition στο μοντέλο οδηγεί σε PRE = .07. Αυτό σημαίνει ότι το .07 του σφάλματος του κενού μοντέλου μειώνεται — δηλαδή ερμηνεύεται — από το σύνθετο μοντέλο.

Το ότι το PRE είναι μεγαλύτερο από 0 δεν αποτελεί έκπληξη, ωστόσο. Το PRE θα ήταν ίσο με 0 μόνο αν δεν υπήρχε καμία διαφορά στους μέσους όρους μεταξύ των δύο ομάδων στο δείγμα (δηλαδή αν \(\bar{Y}_{\text{smiley}} = \bar{Y}_{\text{control}}\)). Σε εκείνη την περίπτωση, το να γνωρίζουμε σε ποια ομάδα ανήκε ένα τραπέζι (Χαμογελαστό Πρόσωπο ή Ελέγχου) δεν θα πρόσθετε καμία προβλεπτική αξία, και άρα θα οδηγούσε σε μηδενική μείωση του σφάλματος.

Όμως ακόμα και αν δεν υπήρχε καμία επίδραση του χαμογελαστού προσώπου στη ΔΠΔ, σπάνια θα λαμβάναμε ένα δείγμα χωρίς καμία απολύτως διαφορά μέσων όρων μεταξύ των ομάδων. Λόγω της τυχαίας δειγματοληπτικής διακύμανσης, ακόμα και όταν δύο ομάδες προέρχονται από την ίδια ΔΠΔ και τον ίδιο πληθυσμό, θα ήταν σπάνιο να λάβουμε δύο πανομοιότυπους μέσους όρους (διαφορά ίση με 0).

Αν η τιμή \(b_1\) του δείγματος μας \(= 0\), το PRE:

Σωστή απάντηση: Β — Το PRE θα ήταν επίσης 0.

Αν \(b_1 = 0\), το σύνθετο μοντέλο δεν προσφέρει καμία βελτίωση έναντι του κενού μοντέλου — οι προβλέψεις του είναι πανομοιότυπες. Άρα το SS Model = 0, και επομένως:

\[\text{PRE} = \frac{\text{SS Model}}{\text{SS Total}} = \frac{0}{\text{SS Total}} = 0\]

12.2 Η Δειγματοληπτική Κατανομή του PRE

Όπως η εύρεση μιας διαφοράς μεταξύ των δύο μέσων όρων (π.χ. 6.05) δεν αποκλείει από μόνη της το ενδεχόμενο η πραγματική διαφορά στη ΔΠΔ να είναι 0, το ίδιο ισχύει και για το PRE. Το μοντέλο δύο ομάδων για τη μεταβλητή Tip μειώνει το σφάλμα κατά .07 στα δεδομένα. Αλλά αυτό δεν αποκλείει το ενδεχόμενο το πραγματικό PRE στη ΔΠΔ να είναι 0.

Το PRE που βασίζεται στα δεδομένα του δείγματος μας λέει:

Σωστή απάντηση: Β.

Το PRE υπολογίζεται από τα δεδομένα του δείγματος — συγκρίνει το σφάλμα του σύνθετου μοντέλου (\(b_0 + b_1 X_i\)) με το σφάλμα του κενού μοντέλου (\(b_0\)) στο δείγμα. Δεν μας λέει τίποτα άμεσα για τη ΔΠΔ (Α), ούτε συγκρίνει μοντέλα δείγματος με μοντέλα ΔΠΔ (Γ).

Αν το πραγματικό PRE στη ΔΠΔ είναι 0:

Σωστή απάντηση: Γ.

Το PRE δεν μπορεί ποτέ να είναι αρνητικό (άρα το Α και το Β είναι λάθος). Αν το πραγματικό PRE στη ΔΠΔ είναι 0, τα δειγματικά PRE θα συγκεντρώνονται κοντά στο 0 λόγω τυχαίας δειγματοληπτικής διακύμανσης — δεν θα ήταν κοντά στο 1 (Δ).

Αν δεν υπάρχει διαφορά μεταξύ των ομάδων στη ΔΠΔ, τότε κανένα μέρος από το σφάλμα του κενού μοντέλου δεν θα μειωνόταν από το μοντέλο δύο ομάδων που περιλαμβάνει τη μεταβλητή Condition. Δηλαδή, αν \(\beta_1 = 0\), τότε και η πραγματική τιμή του PRE στη ΔΠΔ θα ήταν επίσης 0. Το ένα απορρέει από το άλλο.

Ακόμα και αν το πραγματικό PRE στη ΔΠΔ είναι 0, το PRE που υπολογίζεται από την προσαρμογή ενός μοντέλου σε ένα δείγμα δεδομένων δεν θα είναι απαραίτητα 0. Θα μεταβάλλεται λόγω τυχαίας δειγματοληπτικής διακύμανσης. Όπως και πριν, το ερώτημα για το πόσο θα μπορούσε να μεταβληθεί είναι κάτι που μπορούμε να απαντήσουμε κατασκευάζοντας μια κατανομή δειγματοληψίας του PRE βάσει του κενού μοντέλου.

Αν το PRE του δείγματος πέσει στην απίθανη περιοχή, πιθανότατα θα αποφασίσουμε να απορρίψουμε το κενό μοντέλο και να υιοθετήσουμε το σύνθετο. Αν όμως το PRE του δείγματος πέσει στην περιοχή του .95 που δεν είναι απίθανη, μπορεί να αποφασίσουμε να μην απορρίψουμε το κενό μοντέλο, καθώς τα δεδομένα που συλλέξαμε θα κρίνονταν συμβατά με μια ΔΠΔ στην οποία το PRE είναι 0.

Είναι σημαντικό να σημειωθεί ότι το ερώτημα που θέτουμε χρησιμοποιώντας την κατανομή δειγματοληψίας του PRE είναι το ίδιο με αυτό που θέταμε χρησιμοποιώντας την κατανομή δειγματοληψίας του \(b_1\): και στις δύο περιπτώσεις θέλουμε να γνωρίζουμε πόσο πιθανό είναι το στατιστικό του δείγματος που παρατηρήσαμε να προέκυπτε τυχαία, υποθέτοντας ότι το κενό μοντέλο είναι αληθές.

Ποιες από τις παρακάτω είναι τρόποι να πούμε “πιστεύουμε ότι δεν υπάρχει επίδραση του χαμογελαστού προσώπου στη ΔΠΔ”; (Επιλέξτε όλες τις σωστές απαντήσεις.)

Σωστές απαντήσεις: Α, Β, Γ και ΣΤ — όλες εκφράζουν την ίδια ιδέα με διαφορετικούς τρόπους.

Το να πιστεύουμε ότι δεν υπάρχει επίδραση σημαίνει ότι το κενό μοντέλο ισχύει στη ΔΠΔ (Α), δηλαδή \(\beta_1 = 0\) (Β), άρα και το πραγματικό PRE = 0 (Γ), και επομένως δεν απορρίπτουμε το κενό μοντέλο (ΣΤ). Το Δ δεν έχει νόημα αφού PRE και \(\beta_1\) δεν είναι το ίδιο πράγμα, και το Ε είναι το αντίθετο από αυτό που θέλουμε να πούμε.

Το να λέμε ότι το πραγματικό PRE = 0 είναι απλώς ένας ακόμα τρόπος να αναφερόμαστε στο κενό μοντέλο της ΔΠΔ. Είναι το ίδιο με το να λέμε ότι δεν υπάρχει επίδραση του χαμογελαστού προσώπου, ή ότι \(\beta_1 = 0\). Η χρήση της δειγματοληπτικής κατανομής του PRE θα πρέπει, επομένως, να οδηγεί σε παρόμοια αποτελέσματα με τη χρήση της δειγματοληπτικής κατανομής δειγματοληψίας του \(b_1\). Ας κατασκευάσουμε μια δειγματοληπτική κατανομή και ας διαπιστώσουμε αν συμβαίνει αυτό!

Κατασκευή της Δειγματοληπτικής Κατανομής του PRE

Ας φέρουμε πίσω μια εικόνα από το προηγούμενο κεφάλαιο για να θυμηθούμε πώς χρησιμοποιήσαμε τη shuffle() για να δημιουργήσουμε μια δειγματοληπτική κατανομή του \(b_1\) υποθέτοντας \(\beta_1 = 0\). Δείχνοντάς μας την κατανομή των πιθανών τιμών \(b_1\) που θα μπορούσε να έχει παράγει το κενό μοντέλο της ΔΠΔ, η κατανομή αυτή ήταν ένα πλαίσιο μέσα στο οποίο μπορούσαμε να ερμηνεύσουμε την παρατηρηθείσα διαφορά μέσων όρων μεταξύ των συνθηκών με και χωρίς χαμογελαστό πρόσωπο (6.05).