1 Zur Methodik

Um Ergebnisse zusammenfassend darzustellen wurden Skalen pro Block über Items gebildet. Um die Zuverlässigkeit dieser Zusammenfassung zu testen wurden über diese Itemblöcke Reliabilitätsanalysen berechnet. Entscheidend ist hierbei das Maß der internen Konsistenz Cronbachs α. Die Interpretation dieses Wertes können Sie folgender Tabelle entnehmen:

Cronbachs α Interpretation
> .9 Exzellente Reliabilität
> .8 hohe Reliabilität
> .7 akzeptable Reliabilität
> .6 Fragwürdige Reliabilität
> .5 Schleche Reliabilität
< .5 Inakzeptabel

2 Zusammenfassung der Ergebnisse

Die folgenden Skalen können für den Einsatz in Folgebefragungen an der TU Berlin empfohlen werden:

Die Skala Onlinelernmaterialien kann nicht zum Einsatz empfohlen werden.

3 Reliabilitätsanalyse

3.1 Skala:Lehrgüte

Die Lehrgüteskala ist eine Skala zum Dozentenstil und angelehnt an eine Skala von Rindermann et al. Im 2015 hat sich die TU Berlin dazu entschieden diese Skala als eine gemeinsame Skala in allen Lehrevaluationen abzufragen.

Die Lehrgüteskala besteht aus den vier Items:

  • B01 Der/die Lehrende spricht verständlich und anregend.
  • B02 Der/die Lehrende kann Kompliziertes verständlich machen.
  • B03 Der/die Lehrende fasst regelmäßig den Stoff zusammen.
  • B04 Der/die Lehrende ist gut vorbereitet.

Die Abfrage erfolgte mit 5 Stufen (fast immer: sehr selten). Die Skala ist mit Cronbachs Alpha von .84 hoch reliabel und kann für den Einsatz empfohlen werden.

Berechnungen

## 
## Reliability analysis   
## Call: psych::alpha(x = lehrguete)
## 
##   raw_alpha std.alpha G6(smc) average_r S/N    ase mean   sd median_r
##       0.84      0.85    0.82      0.59 5.7 0.0027  1.7 0.83     0.58
## 
##  lower alpha upper     95% confidence boundaries
## 0.84 0.84 0.85 
## 
##  Reliability if an item is dropped:
##     raw_alpha std.alpha G6(smc) average_r S/N alpha se  var.r med.r
## B01      0.79      0.79    0.72      0.56 3.9   0.0038 0.0010  0.57
## B02      0.77      0.78    0.71      0.55 3.6   0.0042 0.0026  0.53
## B03      0.84      0.84    0.79      0.64 5.3   0.0028 0.0054  0.60
## B04      0.81      0.82    0.77      0.60 4.5   0.0035 0.0127  0.57
## 
##  Item statistics 
##        n raw.r std.r r.cor r.drop mean   sd
## B01 8677  0.85  0.85  0.80   0.72  1.6 0.97
## B02 8655  0.87  0.87  0.82   0.75  1.8 1.04
## B03 8620  0.80  0.78  0.66   0.61  2.0 1.13
## B04 8633  0.80  0.82  0.72   0.67  1.4 0.82
## 
## Non missing response frequency for each item
##        1    2    3    4    5 miss
## B01 0.59 0.25 0.09 0.04 0.02 0.02
## B02 0.48 0.31 0.12 0.06 0.03 0.02
## B03 0.45 0.27 0.17 0.07 0.04 0.03
## B04 0.71 0.19 0.06 0.02 0.01 0.02

3.2 Skala:Struktur und Inhalt der Lehrveranstaltungen

Diese Skala besteht aus den folgenden drei Items:

  • B05 Der/die Lehrende hat die gesamte Lehrveranstaltung gut strukturiert und nachvollziehbar gegliedert.
  • B06 Der/die Lehrende verdeutlicht die Lernziele zu Beginn jedes Veranstaltungstermins.
  • B07 Der/die Lehrende präsentiert die Lerninhalte/den Stoff stimmig und kohärent.

Die Skala ist mit Cronbachs Alpha von 0.86 hoch reliabel und kann für den Einsatz empfohlen werden.

Berechnungen

## 
## Reliability analysis   
## Call: psych::alpha(x = struktur)
## 
##   raw_alpha std.alpha G6(smc) average_r S/N    ase mean   sd median_r
##       0.86      0.86    0.81      0.68 6.3 0.0026  1.7 0.91     0.67
## 
##  lower alpha upper     95% confidence boundaries
## 0.86 0.86 0.87 
## 
##  Reliability if an item is dropped:
##     raw_alpha std.alpha G6(smc) average_r S/N alpha se var.r med.r
## B05      0.80      0.80    0.67      0.67 4.0   0.0043    NA  0.67
## B06      0.86      0.86    0.75      0.75 6.0   0.0031    NA  0.75
## B07      0.76      0.76    0.61      0.61 3.2   0.0051    NA  0.61
## 
##  Item statistics 
##        n raw.r std.r r.cor r.drop mean   sd
## B05 8690  0.89  0.89  0.81   0.74  1.7 1.03
## B06 8631  0.87  0.86  0.73   0.68  1.8 1.08
## B07 8617  0.90  0.91  0.85   0.79  1.7 0.98
## 
## Non missing response frequency for each item
##        1    2    3    4    5 miss
## B05 0.59 0.24 0.09 0.04 0.03 0.02
## B06 0.50 0.27 0.13 0.05 0.04 0.02
## B07 0.55 0.28 0.10 0.04 0.03 0.03

3.3 Skala:Betreuung

Diese Skala besteht aus den folgenden vier Items:

  • C01 Der/die Lehrende beantwortet Anfragen per E-Mail zügig.
  • C02 Der/die Lehrende reagiert schnell bei Fragen im begleitenden Forum bzw. Chat.
  • C03 Der/die Lehrende beantwortet organisatorische Anfragen sehr gut.
  • C04 Der/die Lehrende beantwortet fachlich inhaltliche Anfragen sehr gut.

Die Skala ist mit Cronbachs Alpha von 0.87 hoch reliabel und kann für den Einsatz empfohlen werden.

Berechnungen

## 
## Reliability analysis   
## Call: psych::alpha(x = rel.betreung)
## 
##   raw_alpha std.alpha G6(smc) average_r S/N    ase mean   sd median_r
##       0.87      0.87    0.84      0.63 6.7 0.0022  1.6 0.82     0.62
## 
##  lower alpha upper     95% confidence boundaries
## 0.87 0.87 0.88 
## 
##  Reliability if an item is dropped:
##     raw_alpha std.alpha G6(smc) average_r S/N alpha se   var.r med.r
## C01      0.83      0.83    0.76      0.62 4.8   0.0031 0.00046  0.62
## C02      0.82      0.82    0.75      0.60 4.5   0.0033 0.00142  0.62
## C03      0.84      0.84    0.78      0.63 5.1   0.0030 0.00883  0.59
## C04      0.86      0.86    0.80      0.66 5.9   0.0027 0.00381  0.64
## 
##  Item statistics 
##        n raw.r std.r r.cor r.drop mean   sd
## C01 5948  0.86  0.86  0.80   0.74  1.6 0.97
## C02 7105  0.87  0.87  0.83   0.77  1.6 0.94
## C03 7517  0.87  0.85  0.77   0.72  1.7 0.99
## C04 7669  0.83  0.82  0.72   0.67  1.5 0.88
## 
## Non missing response frequency for each item
##        1    2    3    4    5 miss
## C01 0.65 0.20 0.08 0.03 0.03 0.33
## C02 0.64 0.23 0.08 0.03 0.03 0.20
## C03 0.59 0.25 0.09 0.04 0.03 0.15
## C04 0.64 0.24 0.08 0.03 0.02 0.13

3.4 Skala:Onlinelernmaterialien

Diese Skala besteht aus den folgenden drei Items:

  • D01 Die bereitgestellten digitalen Textdokumente (z.B. Skripte, Arbeitsblätter) dieser Lehrveranstaltung sind gut verständlich.
  • D02 Das bereitgestellte Audio und Videomaterial dieser Lehrveranstaltung ist qualiativ gut aufbereitet (z.B. sachgerechte Struktur, Bild- und Tonqualität)
  • D03 Die bereitgestellten digitalen Animationen/Simulationen sind verständlich dargestellt.

Die Skala ist mit Cronbachs Alpha von 0.82 reliabel aber sie könnte durch Löschen des ersten Items D01 (Textdokumente) verbessert werden.Insgesamt sind die drei Items unterschiedlich häufig beantwortet worden. Das Item D03 (Animationen) hat einen Anteil von 43% Missings, das Item D02 (AudiO/Video) hat 19 % Missings im Vergleich zum Item D01 (Textdokumente) mit nur 6 %. Mit anderen Worten die Lebensrealität der Befragten wird hier sehr unterschiedlich durch die Items eingefangen.Die Skala würde sich nur verbessern wenn man das am häufigsten beantwortete Item löscht. Der Autor würde deshalb diese Skala nicht zum Einsatz empfehlen und stattdessen die Nutzung der Einzelitems empfehlen.

Berechnungen

## 
## Reliability analysis   
## Call: psych::alpha(x = rel.lernmaterialien)
## 
##   raw_alpha std.alpha G6(smc) average_r S/N    ase mean   sd median_r
##       0.82      0.83    0.78      0.62 4.8 0.0033  1.7 0.87     0.63
## 
##  lower alpha upper     95% confidence boundaries
## 0.82 0.82 0.83 
## 
##  Reliability if an item is dropped:
##     raw_alpha std.alpha G6(smc) average_r S/N alpha se var.r med.r
## D01      0.83      0.83    0.70      0.70 4.8   0.0037    NA  0.70
## D02      0.77      0.78    0.63      0.63 3.5   0.0048    NA  0.63
## D03      0.67      0.67    0.51      0.51 2.1   0.0069    NA  0.51
## 
##  Item statistics 
##        n raw.r std.r r.cor r.drop mean   sd
## D01 8328  0.88  0.83  0.68   0.62  1.8 1.01
## D02 7138  0.86  0.86  0.75   0.67  1.6 0.94
## D03 5080  0.89  0.90  0.85   0.77  1.6 0.91
## 
## Non missing response frequency for each item
##        1    2    3    4    5 miss
## D01 0.48 0.32 0.12 0.05 0.03 0.06
## D02 0.59 0.26 0.08 0.04 0.02 0.19
## D03 0.59 0.27 0.10 0.02 0.02 0.43

3.5 Skala:Onlineaufgaben

Diese Skala besteht aus den folgenden sechs Items:

  • E01 Die vorgegebenen Aufgabenstellungen sind verständlich formuliert.
  • E02 Die Aufgaben können selbstständig durchgeführt werden.
  • E03 Die Inhalte der Aufgaben werden vom Lehrenden ausreichend vorbereitet.
  • E04 Die Ergebnisse der Aufgaben werden vom Lehrenden ausreichend nachbereitet.
  • E05 Es werden ausreichend Hilfestellungen für das Lösen der Aufgaben bereitgestellt.
  • E06 Die gestellten Aufgaben sind hilfreich, um den vermittelten Stoff besser zu verstehen.

Die Skala ist mit Cronbachs Alpha von 0.89 hoch reliabel und kann für den Einsatz empfohlen werden. Der hohe Anteil der Missings (ca. 38 % auf allen Items) ist durch Filterfragen erklärbar.

Berechnungen

## 
## Reliability analysis   
## Call: psych::alpha(x = rel.onlineaufgaben)
## 
##   raw_alpha std.alpha G6(smc) average_r S/N    ase mean   sd median_r
##       0.89      0.89    0.87      0.57   8 0.0018  1.9 0.86     0.58
## 
##  lower alpha upper     95% confidence boundaries
## 0.88 0.89 0.89 
## 
##  Reliability if an item is dropped:
##     raw_alpha std.alpha G6(smc) average_r S/N alpha se  var.r med.r
## E01      0.87      0.87    0.85      0.58 6.9   0.0021 0.0055  0.60
## E02      0.87      0.88    0.86      0.59 7.1   0.0021 0.0040  0.60
## E03      0.85      0.85    0.83      0.54 5.9   0.0025 0.0036  0.54
## E04      0.88      0.88    0.85      0.59 7.1   0.0020 0.0028  0.59
## E05      0.85      0.86    0.83      0.55 6.0   0.0024 0.0042  0.54
## E06      0.87      0.87    0.85      0.58 6.9   0.0022 0.0056  0.60
## 
##  Item statistics 
##        n raw.r std.r r.cor r.drop mean   sd
## E01 5606  0.78  0.78  0.72   0.68  1.9 1.03
## E02 5583  0.76  0.77  0.70   0.65  1.8 1.01
## E03 5512  0.86  0.86  0.84   0.79  1.9 1.07
## E04 5229  0.78  0.76  0.70   0.66  2.1 1.25
## E05 5412  0.85  0.85  0.82   0.78  2.0 1.14
## E06 5514  0.77  0.78  0.72   0.68  1.7 0.96
## 
## Non missing response frequency for each item
##        1    2    3    4    5 miss
## E01 0.44 0.34 0.13 0.06 0.03 0.37
## E02 0.49 0.30 0.13 0.06 0.02 0.37
## E03 0.48 0.30 0.13 0.06 0.04 0.38
## E04 0.44 0.25 0.16 0.08 0.07 0.41
## E05 0.43 0.29 0.16 0.07 0.05 0.39
## E06 0.58 0.27 0.10 0.03 0.02 0.38

3.6 Skala:Gruppenarbeit

Diese Skala besteht aus den folgenden vier Items:

  • F02 Die Studierenden werden ermutigt, an Diskussionen teilzunehmen.
  • F03 Die Studiernden werden eingeladen, ihre Ideen und ihr Wissen zu teilen.
  • F04 Die Studierenden werden ermutigt, Fragen zu stellen.
  • F05 Die Studierenden werden ermutigt, ihre eigenen Ideen zu äußern.

Die Skala ist mit Cronbachs Alpha von 0.92 hoch reliabel (exzellent) und kann für den Einsatz empfohlen werden. Der hohe Anteil der Missings (ca. 50% auf allen Items) ist durch Filterfragen erklärbar.

Berechnungen

## 
## Reliability analysis   
## Call: psych::alpha(x = rel.gruppenarbeit)
## 
##   raw_alpha std.alpha G6(smc) average_r S/N    ase mean sd median_r
##       0.92      0.92    0.91      0.75  12 0.0013  1.8  1     0.75
## 
##  lower alpha upper     95% confidence boundaries
## 0.92 0.92 0.93 
## 
##  Reliability if an item is dropped:
##     raw_alpha std.alpha G6(smc) average_r  S/N alpha se   var.r med.r
## F02      0.89      0.90    0.86      0.74  8.6   0.0019 0.00717  0.71
## F03      0.89      0.89    0.84      0.72  7.9   0.0020 0.00268  0.71
## F04      0.93      0.93    0.90      0.81 13.0   0.0013 0.00077  0.82
## F05      0.89      0.89    0.85      0.73  7.9   0.0020 0.00652  0.68
## 
##  Item statistics 
##        n raw.r std.r r.cor r.drop mean   sd
## F02 4237  0.91  0.91  0.87   0.84  1.9 1.19
## F03 4221  0.93  0.92  0.90   0.87  1.9 1.18
## F04 4250  0.84  0.85  0.76   0.74  1.6 0.98
## F05 4203  0.92  0.92  0.90   0.86  1.9 1.16
## 
## Non missing response frequency for each item
##        1    2    3    4    5 miss
## F02 0.51 0.22 0.15 0.06 0.06 0.52
## F03 0.53 0.23 0.13 0.06 0.06 0.52
## F04 0.64 0.21 0.09 0.04 0.03 0.52
## F05 0.53 0.21 0.15 0.06 0.05 0.52