Um Ergebnisse zusammenfassend darzustellen wurden Skalen pro Block über Items gebildet. Um die Zuverlässigkeit dieser Zusammenfassung zu testen wurden über diese Itemblöcke Reliabilitätsanalysen berechnet. Entscheidend ist hierbei das Maß der internen Konsistenz Cronbachs α. Die Interpretation dieses Wertes können Sie folgender Tabelle entnehmen:
Cronbachs α | Interpretation |
---|---|
> .9 | Exzellente Reliabilität |
> .8 | hohe Reliabilität |
> .7 | akzeptable Reliabilität |
> .6 | Fragwürdige Reliabilität |
> .5 | Schleche Reliabilität |
< .5 | Inakzeptabel |
Die folgenden Skalen können für den Einsatz in Folgebefragungen an der TU Berlin empfohlen werden:
Die Skala Onlinelernmaterialien kann nicht zum Einsatz empfohlen werden.
Die Lehrgüteskala ist eine Skala zum Dozentenstil und angelehnt an eine Skala von Rindermann et al. Im 2015 hat sich die TU Berlin dazu entschieden diese Skala als eine gemeinsame Skala in allen Lehrevaluationen abzufragen.
Die Lehrgüteskala besteht aus den vier Items:
Die Abfrage erfolgte mit 5 Stufen (fast immer: sehr selten). Die Skala ist mit Cronbachs Alpha von .84 hoch reliabel und kann für den Einsatz empfohlen werden.
Berechnungen
##
## Reliability analysis
## Call: psych::alpha(x = lehrguete)
##
## raw_alpha std.alpha G6(smc) average_r S/N ase mean sd median_r
## 0.84 0.85 0.82 0.59 5.7 0.0027 1.7 0.83 0.58
##
## lower alpha upper 95% confidence boundaries
## 0.84 0.84 0.85
##
## Reliability if an item is dropped:
## raw_alpha std.alpha G6(smc) average_r S/N alpha se var.r med.r
## B01 0.79 0.79 0.72 0.56 3.9 0.0038 0.0010 0.57
## B02 0.77 0.78 0.71 0.55 3.6 0.0042 0.0026 0.53
## B03 0.84 0.84 0.79 0.64 5.3 0.0028 0.0054 0.60
## B04 0.81 0.82 0.77 0.60 4.5 0.0035 0.0127 0.57
##
## Item statistics
## n raw.r std.r r.cor r.drop mean sd
## B01 8677 0.85 0.85 0.80 0.72 1.6 0.97
## B02 8655 0.87 0.87 0.82 0.75 1.8 1.04
## B03 8620 0.80 0.78 0.66 0.61 2.0 1.13
## B04 8633 0.80 0.82 0.72 0.67 1.4 0.82
##
## Non missing response frequency for each item
## 1 2 3 4 5 miss
## B01 0.59 0.25 0.09 0.04 0.02 0.02
## B02 0.48 0.31 0.12 0.06 0.03 0.02
## B03 0.45 0.27 0.17 0.07 0.04 0.03
## B04 0.71 0.19 0.06 0.02 0.01 0.02
Diese Skala besteht aus den folgenden drei Items:
Die Skala ist mit Cronbachs Alpha von 0.86 hoch reliabel und kann für den Einsatz empfohlen werden.
Berechnungen
##
## Reliability analysis
## Call: psych::alpha(x = struktur)
##
## raw_alpha std.alpha G6(smc) average_r S/N ase mean sd median_r
## 0.86 0.86 0.81 0.68 6.3 0.0026 1.7 0.91 0.67
##
## lower alpha upper 95% confidence boundaries
## 0.86 0.86 0.87
##
## Reliability if an item is dropped:
## raw_alpha std.alpha G6(smc) average_r S/N alpha se var.r med.r
## B05 0.80 0.80 0.67 0.67 4.0 0.0043 NA 0.67
## B06 0.86 0.86 0.75 0.75 6.0 0.0031 NA 0.75
## B07 0.76 0.76 0.61 0.61 3.2 0.0051 NA 0.61
##
## Item statistics
## n raw.r std.r r.cor r.drop mean sd
## B05 8690 0.89 0.89 0.81 0.74 1.7 1.03
## B06 8631 0.87 0.86 0.73 0.68 1.8 1.08
## B07 8617 0.90 0.91 0.85 0.79 1.7 0.98
##
## Non missing response frequency for each item
## 1 2 3 4 5 miss
## B05 0.59 0.24 0.09 0.04 0.03 0.02
## B06 0.50 0.27 0.13 0.05 0.04 0.02
## B07 0.55 0.28 0.10 0.04 0.03 0.03
Diese Skala besteht aus den folgenden vier Items:
Die Skala ist mit Cronbachs Alpha von 0.87 hoch reliabel und kann für den Einsatz empfohlen werden.
Berechnungen
##
## Reliability analysis
## Call: psych::alpha(x = rel.betreung)
##
## raw_alpha std.alpha G6(smc) average_r S/N ase mean sd median_r
## 0.87 0.87 0.84 0.63 6.7 0.0022 1.6 0.82 0.62
##
## lower alpha upper 95% confidence boundaries
## 0.87 0.87 0.88
##
## Reliability if an item is dropped:
## raw_alpha std.alpha G6(smc) average_r S/N alpha se var.r med.r
## C01 0.83 0.83 0.76 0.62 4.8 0.0031 0.00046 0.62
## C02 0.82 0.82 0.75 0.60 4.5 0.0033 0.00142 0.62
## C03 0.84 0.84 0.78 0.63 5.1 0.0030 0.00883 0.59
## C04 0.86 0.86 0.80 0.66 5.9 0.0027 0.00381 0.64
##
## Item statistics
## n raw.r std.r r.cor r.drop mean sd
## C01 5948 0.86 0.86 0.80 0.74 1.6 0.97
## C02 7105 0.87 0.87 0.83 0.77 1.6 0.94
## C03 7517 0.87 0.85 0.77 0.72 1.7 0.99
## C04 7669 0.83 0.82 0.72 0.67 1.5 0.88
##
## Non missing response frequency for each item
## 1 2 3 4 5 miss
## C01 0.65 0.20 0.08 0.03 0.03 0.33
## C02 0.64 0.23 0.08 0.03 0.03 0.20
## C03 0.59 0.25 0.09 0.04 0.03 0.15
## C04 0.64 0.24 0.08 0.03 0.02 0.13
Diese Skala besteht aus den folgenden drei Items:
Die Skala ist mit Cronbachs Alpha von 0.82 reliabel aber sie könnte durch Löschen des ersten Items D01 (Textdokumente) verbessert werden.Insgesamt sind die drei Items unterschiedlich häufig beantwortet worden. Das Item D03 (Animationen) hat einen Anteil von 43% Missings, das Item D02 (AudiO/Video) hat 19 % Missings im Vergleich zum Item D01 (Textdokumente) mit nur 6 %. Mit anderen Worten die Lebensrealität der Befragten wird hier sehr unterschiedlich durch die Items eingefangen.Die Skala würde sich nur verbessern wenn man das am häufigsten beantwortete Item löscht. Der Autor würde deshalb diese Skala nicht zum Einsatz empfehlen und stattdessen die Nutzung der Einzelitems empfehlen.
Berechnungen
##
## Reliability analysis
## Call: psych::alpha(x = rel.lernmaterialien)
##
## raw_alpha std.alpha G6(smc) average_r S/N ase mean sd median_r
## 0.82 0.83 0.78 0.62 4.8 0.0033 1.7 0.87 0.63
##
## lower alpha upper 95% confidence boundaries
## 0.82 0.82 0.83
##
## Reliability if an item is dropped:
## raw_alpha std.alpha G6(smc) average_r S/N alpha se var.r med.r
## D01 0.83 0.83 0.70 0.70 4.8 0.0037 NA 0.70
## D02 0.77 0.78 0.63 0.63 3.5 0.0048 NA 0.63
## D03 0.67 0.67 0.51 0.51 2.1 0.0069 NA 0.51
##
## Item statistics
## n raw.r std.r r.cor r.drop mean sd
## D01 8328 0.88 0.83 0.68 0.62 1.8 1.01
## D02 7138 0.86 0.86 0.75 0.67 1.6 0.94
## D03 5080 0.89 0.90 0.85 0.77 1.6 0.91
##
## Non missing response frequency for each item
## 1 2 3 4 5 miss
## D01 0.48 0.32 0.12 0.05 0.03 0.06
## D02 0.59 0.26 0.08 0.04 0.02 0.19
## D03 0.59 0.27 0.10 0.02 0.02 0.43
Diese Skala besteht aus den folgenden sechs Items:
Die Skala ist mit Cronbachs Alpha von 0.89 hoch reliabel und kann für den Einsatz empfohlen werden. Der hohe Anteil der Missings (ca. 38 % auf allen Items) ist durch Filterfragen erklärbar.
Berechnungen
##
## Reliability analysis
## Call: psych::alpha(x = rel.onlineaufgaben)
##
## raw_alpha std.alpha G6(smc) average_r S/N ase mean sd median_r
## 0.89 0.89 0.87 0.57 8 0.0018 1.9 0.86 0.58
##
## lower alpha upper 95% confidence boundaries
## 0.88 0.89 0.89
##
## Reliability if an item is dropped:
## raw_alpha std.alpha G6(smc) average_r S/N alpha se var.r med.r
## E01 0.87 0.87 0.85 0.58 6.9 0.0021 0.0055 0.60
## E02 0.87 0.88 0.86 0.59 7.1 0.0021 0.0040 0.60
## E03 0.85 0.85 0.83 0.54 5.9 0.0025 0.0036 0.54
## E04 0.88 0.88 0.85 0.59 7.1 0.0020 0.0028 0.59
## E05 0.85 0.86 0.83 0.55 6.0 0.0024 0.0042 0.54
## E06 0.87 0.87 0.85 0.58 6.9 0.0022 0.0056 0.60
##
## Item statistics
## n raw.r std.r r.cor r.drop mean sd
## E01 5606 0.78 0.78 0.72 0.68 1.9 1.03
## E02 5583 0.76 0.77 0.70 0.65 1.8 1.01
## E03 5512 0.86 0.86 0.84 0.79 1.9 1.07
## E04 5229 0.78 0.76 0.70 0.66 2.1 1.25
## E05 5412 0.85 0.85 0.82 0.78 2.0 1.14
## E06 5514 0.77 0.78 0.72 0.68 1.7 0.96
##
## Non missing response frequency for each item
## 1 2 3 4 5 miss
## E01 0.44 0.34 0.13 0.06 0.03 0.37
## E02 0.49 0.30 0.13 0.06 0.02 0.37
## E03 0.48 0.30 0.13 0.06 0.04 0.38
## E04 0.44 0.25 0.16 0.08 0.07 0.41
## E05 0.43 0.29 0.16 0.07 0.05 0.39
## E06 0.58 0.27 0.10 0.03 0.02 0.38
Diese Skala besteht aus den folgenden vier Items:
Die Skala ist mit Cronbachs Alpha von 0.92 hoch reliabel (exzellent) und kann für den Einsatz empfohlen werden. Der hohe Anteil der Missings (ca. 50% auf allen Items) ist durch Filterfragen erklärbar.
Berechnungen
##
## Reliability analysis
## Call: psych::alpha(x = rel.gruppenarbeit)
##
## raw_alpha std.alpha G6(smc) average_r S/N ase mean sd median_r
## 0.92 0.92 0.91 0.75 12 0.0013 1.8 1 0.75
##
## lower alpha upper 95% confidence boundaries
## 0.92 0.92 0.93
##
## Reliability if an item is dropped:
## raw_alpha std.alpha G6(smc) average_r S/N alpha se var.r med.r
## F02 0.89 0.90 0.86 0.74 8.6 0.0019 0.00717 0.71
## F03 0.89 0.89 0.84 0.72 7.9 0.0020 0.00268 0.71
## F04 0.93 0.93 0.90 0.81 13.0 0.0013 0.00077 0.82
## F05 0.89 0.89 0.85 0.73 7.9 0.0020 0.00652 0.68
##
## Item statistics
## n raw.r std.r r.cor r.drop mean sd
## F02 4237 0.91 0.91 0.87 0.84 1.9 1.19
## F03 4221 0.93 0.92 0.90 0.87 1.9 1.18
## F04 4250 0.84 0.85 0.76 0.74 1.6 0.98
## F05 4203 0.92 0.92 0.90 0.86 1.9 1.16
##
## Non missing response frequency for each item
## 1 2 3 4 5 miss
## F02 0.51 0.22 0.15 0.06 0.06 0.52
## F03 0.53 0.23 0.13 0.06 0.06 0.52
## F04 0.64 0.21 0.09 0.04 0.03 0.52
## F05 0.53 0.21 0.15 0.06 0.05 0.52