Auf Grund der Covid-19 Pandemie mussten die Lehrveranstaltungen (LV) des Sommersemester 2020 an der TU Berlin in wenigen Wochen komplett auf eine rein digitale Lehre umgestellt werden. Dies bedeutet auch ein Problem für die bisherige Praxis der Durchführung der Lehrveranstaltungsevaluation. Die Lehrveranstaltungsevaluation wurde bisher zu 80-90 % in Papierform durchgeführt. Auch sind die digitalen Ansprüche andere als bisher. Während einzelne Fakultätsvertreter anfangs die Evaluation ausfallen lassen wollten, wurde nach einer Diskussion mit den Evaluationsbeauftragten und im AK QM beschlossen, diese in modifizierter Form durchzuführen. Es wurde beschlossen, dass das Strategische Controlling gemeinsam mit den Evaluationsbeauftragten der Fakultäten einen neuen Fragebogen entwirft. Dieser neue Fragebogen wurde in allen Fakultäten, teilweise mit Ergänzungen, eingesetzt.
Die Gesamtauswertung für die TU Berlin und finden Sie in diesem Bericht, der den Zeitraum bis zum Stichtag 22.07.2020 berücksichtigt. Etwaige Evaluationen nach diesem Termin werden in diesem Bericht nicht behandelt.
Fragebogen: Gemeinsam mit den Evaluationsbeauftragten der Fakultäten entwickelte das SC einen Onlinefragebogen zum Einsatz im digitalen SoSe 2020. Dieser beinhaltete Fragen zu folgenden Kernelementen: eingesetzte Online Lernformen, Didaktik und Struktur der Lehrveranstaltung, Betreuung, Online - Lernmaterialien, Onlineaufgaben, Gruppenarbeit, Technikeinsatz, Gesamturteil. Einen Musterfragebogen finden interessierte Leser im Anhang als Papierversion (PDF).
Stichprobe und Berechnungen: Der Autor führte neun Teildatensätze zusammen (vgl. Kap.2 Zum Datensatz). In diesem Bericht werden die Ergebnisse auf der Ebene der gesamten TU dargestellt. Darüber hinaus wurden Vergleichsberechnungen (t-Test, Varianzanalysen) auf den Gruppierungsmerkmalen Geschlecht, Abschluss und Fakultät an Hand von Skalen und Einzelitems durchgeführt (vgl. Abschlüsse, Geschlecht, Fakultäten). Zusätzliche Berechnung sind als Extra gekennzeichnet.
Mit den beiden Testverfahren t Test und Varianzanalysen (ANOVA) können die Mittelwerte der Gruppierungsmerkmale auf signifikante und praktisch bedeutsame Unterschiede hin getestet werden. Signifikante und praktisch bedeutsame Unterschiede werden im Hauptbericht in Form von Tabellen und Diagrammen dargestellt. Eine Lesehilfe für die Ergebnistabellen von t Test und Varianzanalysen (ANOVA) finden interessierte Leser in den entsprechenden Anhängen.
Skalen: Für zusammenfassende Darstellungen werden Skalen genutzt. Diese wurden auf Ihre Tauglichkeit hin vorab überprüft (vgl. Anhang Reliabilitätsanalyse). Die Skalen Lehrgüte, Struktur und Inhalt der Lehrveranstaltungen, Betreuung, Onlineaufgaben, Gruppenarbeit sind reliabel und können für den Einsatz empfohlen werden.
Es folgen die Kernergebnisse:
Online-Lernformen: Die drei am häufigsten eingesetzten Onlinelernformen im digitalen Semester waren, 1. ISIS Kurs, 2. Livestream (synchron), 3. Lehrvideos (Asynchron).
Es gibt Unterschiede in der Verteilung in den Teilstichproben Abschluss und Fakultät. Für Masterstudierende hat der Livestream eine genau so hohe Bedeutung wie der ISIS Kurs. Asynchrone Lehrvideos kommen hier etwas seltener zum Einsatz. Bei den Fakultäten kann man feststellen, dass in den Fakultäten II, III, V asynchrone Lehrvideos häufiger genutzt wurden als der synchrone Livestream. Asynchrone Lehrvideos spielen an den Fakultäten I und VI in der Tendenz eine geringere Rolle in der digitalen Lehre.
In offenen Kommentaren wurden neben den TUB Standardtools (z.B.: ISIS, ZOOM) weitere Onlinetools genannt (z.B. Dokumentensharing, Miro, Slack, diverse Laborsimulationen).
Lehrgüte: Die Lehrenden zeigen überwiegend ein didaktisch gutes Lehrverhalten. Hier gibt es kleinere signifikante Unterschiede zwischen den Fakultäten. Die Befragten an Fakultät I schätzen Ihre Lehrenden etwas besser ein. Es gibt keine Unterschiede hinsichtlich Geschlecht oder Abschluss.
Struktur und Inhalt der Lehrveranstaltungen: Die Befragten stimmen mehrheitlich zu, dass die Lehrveranstaltungen von Struktur und Aufbau gut nachvollziehbar sind. Es gibt keine Unterschiede hinsichtlich Fakultäten, Abschlüssen oder Geschlecht.
Betreuung der Lehrveranstaltungen: Rund 75 % der Befragten geben an, dass Lehrende für Onlinesprechstunden zur Verfügung stehen. Bei Masterstudierenden wird dies häufiger angegeben als im Bachelor. In den Fakultäten I, IV, V geben die Befragten am häufigsten an, dass es Onlinesprechstunden gibt.
Die Betreuung durch die Lehrenden wird insgesamt als gut eingeschätzt. Die Skala zur Betreuung erreicht ebenfalls eine gute Bewertung. Es gibt keine Geschlechterunterschiede bzgl. der Betreuung. Masterstudierende schätzen die Lehrenden sowohl insgesamt als auch auf der Skala signifikant etwas besser ein. Es gibt signifikant kleine Fakultätsunterschiede, welche die Gesamtinterpretation aber nicht ändern.
Online - Lernmaterialien: Die für das digitale Semester erstellten Onlinelernmaterialien werden mehrheitlich als “gut” eingeschätzt. Textmaterial wird hierbei am häufigsten verwendet. Dies passt zu den häufigsten Onlinelernformen (ISIS). Rund 33 % geben an, dass die Literatur vollständig digital vorhanden ist, 37 % sagen das dies nur zum Teil so ist. Das empfohlene Literatur nicht online verfügbar ist, sagen 7 % der Befragten.
Für 77 % stellen die Onlinelernmaterialen eine gute Hilfe zur Wiederholung dar und 78% schätzen sie als nützlich für den Lernerfolg ein. Rund 23 % schätzen die Onlinelernmaterialien auf beiden Aspekten nur zum Teil positiv ein oder sogar als negativ ein. Es gibt keine Fakultätsunterschiede bzgl. der Nützlichkeitseinschätzung.
Onlineaufgaben: Rund 65 % der Befragten geben an, dass es Onlineaufgaben in der Lehrveranstaltung gab. Bei Masterstudierenden wird dies seltener (58 %) angegeben als im Bachelor (69 %). In der Fakultäten I, II und IV geben die Befragten am häufigsten an, dass es Onlineaufgaben gibt.
Die Onlineaufgaben werden insgesamt als gut bewertet. Masterstudierende bewerten sie etwas besser als Bachelorstudierende. Es gibt keine Geschlechterunterschiede. Studierende der Fakultät I schätzen ihre Lehrveranstaltungen im Mittel noch etwas besser ein.
Gruppenarbeit: Die Gruppenarbeit wird überwiegend außerhalb (59 %) der Lehrveranstaltung organisiert. Zu jeweils 20 % findet Gruppenarbeit innerhalb der Online Lehrveranstaltung statt, zu 21 % sowohl als auch. Es bestehen hier aber Fakultätsunterschiede. In Fakultät I wird zu 41 % die Gruppenarbeit innerhalb der Lehrveranstaltung durchgeführt.
Die Onlinegruppenarbeit wird insgesamt von den Befragten als gut bewertet. Es gibt signifikante Unterschiede zwischen den Fakultäten. Ebenfalls bewerten Frauen die Items der Gruppenarbeit etwas besser als Männer und Masterstudierende schätzen sie ebenfalls etwas besser ein.
Technikeinsatz: Die von der TUB eingesetzte Onlinesoftware wird überwiegend (89 %) als gut bedienbar eingeschätzt. Beim Großteil der Befragten (82 %) gestaltete sich der Technikeinsatz weitgehend störungsfrei. Inhalte werden von der Mehrzahl (76 %) gut verstanden.
Rund 68 % der Befragten sagen das sich die angebotenen Lehrveranstaltungen auch zukünftig für die Online Lehre eignen. Hierbei gibt es Fakultätsunterschiede. Insbesondere Studierende der Fakultät VI geben an, dass sich die Lehrveranstaltungen etwas weniger gut für zukünftige Online Lehre eignen.
Gesamturteil: Im Durchschnitt benötigen die Studierenden 4-6 Stunden zur Vor- und Nachbereitung der Lehrveranstaltungen. Bachelorstudierende benötigen signifikant mehr Zeit als Masterstudierende.
Die Stoffschwierigkeit wird insgesamt als genau richtig eingeschätzt. Es gibt signifikante Unterschiede zwischen den Fakultäten. Studierende der Fakultät II schätzen die Stoffschwierigkeit höher ein, Studierende der Fakultät I und VII etwas leichter als der Durchschnitt. Es gibt keine signifikanten praktisch bedeutsamen Unterschiede zwischen den Abschlüssen oder Geschlechtern.
Die Lehrveranstaltungen werden insgesamt als gut eingeschätzt. Es gibt kleinere Fakultätsunterschiede. Masterstudierende schätzen die Lehrveranstaltungen insgesamt etwas besser ein.
Im Folgenden sind die Kernergebnisse in Kurzform als Tabelle dargestellt.
Bewertungsaspekt | Einschätzung | Unterschiede | weitere Aussagen |
---|---|---|---|
Onlinelehrformen | Top 3: Isis, synchrone LV Streamings, asynchrone Lehrvideos | Fakultät | diverse Tools vgl. Kommentare |
Lehrgüte | gut | Fakultät | - |
Struktur LV | gut | keine | - |
Betreuung | gut | Abschluss, Fakultät | 75 % Onlinesprechstunden |
Online Lernmaterialien | gut | keine | Literatur nur zum Teil Online |
Onlineaufgaben | gut | Abschluss, Fakultät | 65 % hatten Onlineaufgaben |
Gruppenarbeit | gut | Geschlecht, Abschluss, Fakultät | mehrheitlich außerhalb LV |
Technikeinsatz | gut | Fakultät | 68% Eignung LV Onlineformat; Aufwände: 34% (+), 49% (0), 11% (-), 7% (k.A.) |
Vor- und Nachbereitungszeit | 4-6 Stunden | Abschluss, Fakultät | - |
Stoffschwierigkeit | genau richtig | Fakultät | - |
Gesamturteil | gut | Abschluss, Fakultät | - |
Die TU Berlin hat das erzwungene digitale Online Semester aus Sicht der Mehrzahl der Studierenden insgesamt gut gemeistert. Die angebotenen digitalen Lehrveranstaltungen wurden überwiegend positiv bewertet.
Die im Fragebogen verwandten Skalen sind reliabel und können für den Einsatz in zukünftigen Lehrveranstaltungsevaluationen empfohlen werden.
Folgende Aspekte sollten hinsichtlich einer Optimierung diskutiert werden:
Organisation der Evaluation:
empfohlene Literatur Online:
Betreuung und Gruppenarbeit
Onlinelehrform und Technikeinsatz
Der Fragebogen wurde in sieben Fakultäten eingesetzt. Es wurden insgesamt 8845 Bewertungen für 829 Lehrveranstaltungen abgegeben. Der Autor hat neun Datensätze vom 22.07.2020 über die sieben Fakultäten auf den gemeinsamen Fragen zusammengeführt.
Ein großes Problem im Vorfeld war festzustellen, welche Lehrveranstaltungen auch digital stattfinden werden. Darüber hinaus lag die Fragebogenverteilung an die Studierenden im Sommersemester 2020 vollkommen in der Hand der Lehrenden.
In der folgenden Tabelle finden Sie die Anzahl der geplanten und bis zum Stichtag evaluierten Lehrveranstaltungen (LV) pro Fakultät. Man kann von rund 54 % Durchdringung ausgehen.
Fakultät | angelegte LV | evaluierte LV | Durchdringung |
---|---|---|---|
Fakultät I | 299 | 154 | 51,51% |
Fakultät II Mathematik | 54 | 45 | 83,33% |
Fakultät II Chemie | 88 | 20 | 22,73% |
Fakultät II Physik | 89 | 25 | 28,09% |
Fakultät III | 232 | 116 | 50,00% |
Fakultät IV | 316 | 205 | 64,87% |
Fakultät V | 210 | 53 | 25,24% |
Fakultät VI | 150 | 133 | 88,67% |
Fakultät VII | 111 | 86 | 77,48% |
Gesamt | 1549 | 829 | 53,52% |
13 Lehrveranstaltungen wurden nicht berücksichtigt, da hier andere Fragebögen zum Einsatz kamen. Darüber hinaus sind Lehrveranstaltungen, die nach dem Stichtag (22.07.2020) im EvaSys System bewertet wurden, ebenfalls nicht berücksichtigt.
Die Verteilung der beantworteten Fragebögen über die Fakultäten in der Gesamtstichprobe verteilt sich wie in folgender Grafik.
Ein weiteres Problem ist der Rücklauf.
Für die Gesamtauswertung mit der Betrachtungsebene TU Berlin und Gesamtfakultät spielt dieser Rücklauf keine Rolle. Allerdings sind Auswertungen auf LV Ebene bei geringen Rückläufen kritisch zu betrachten. Um den Rücklauf zu steigern, müssten hier evtl. andere Verfahren bei der Verteilung der Onlinelinks eine Rolle ausprobiert werden (z. B. Online in Präsenz).
Zusammenfassung der Teil Ergebnisse: Die drei am häufigsten eingesetzten Onlinetools bzw. Lehrformen im digitalen Semester waren: 1. ISIS Kurs, 2. Livestream (synchron), 3. Lehrvideos (Asynchron). Es gibt Unterschiede in der Verteilung in den Teilstichproben Abschluss und Fakultät. Für Masterstudierende hat der Livestream eine genau so hohe Bedeutung wie der ISIS Kurs. Asynchrone Lehrvideos kommen hier etwas seltener zum Einsatz. Bei den Fakultäten kann man feststellen, dass in den Fakultäten II, III, V asynchrone Lehrvideos häufiger genutzt wurden als der synchrone Livestream. Asynchrone Lehrvideos spielen an den Fakultäten I und VI in der Tendenz eine geringere Rolle in der digitalen Lehre. In offenen Kommentaren wurden neben den TUB Standardtools (z.B.: ISIS, ZOOM) weitere Onlinetools genannt (z.B. Dokumentensharing, Miro, Slack, diverse Laborsimulationen).
SC 35 Fazit: Der ISIS Kurs und Dokumentensharing sind die Elemente, welche für den Großteil der Studierenden das digitale Sommersemester als häufigste Onlinelernform geprägt haben.
Der synchrone Livestream von Lehrveranstaltungen via ZOOM /Webex spielte an allen Fakultäten eine wichtige Rolle. Asynchrone Lehrvideos spielen ebenfalls eine wichtige Rolle. Allerdings gibt es bei beiden Aspekten Fakultätsunterschiede, die vermutlich im Curriculum begründet sind.
Interessante Aussagen aus den Kommentaren sind zum Beispiel der Einsatz von Insellösungen wie (z.B. Labster oder Labexchange) für bestimmte Studiengänge, aber auch Fakultätsübergreifende Nennungen wie Miro. Hier ist zu überlegen inwiefern die TU Berlin weitere Lösungen zentral unterstützen kann oder will.
Zu Beginn des Fragebogens wurden die Onlinetools bzw. Lehrformen, die in der Lehrveranstaltung eingesetzt wurden abgefragt. Wie aus der folgenden Abbildung ersichtlich wird, ist der ISIS Kurs mit rund 79 % die verbreitete Lehrform im SoSe 2020. Gefolgt von synchronem Livestream über Tools wie ZOOM, Webex (68 %) und extra aufgezeichneten - asynchronen- Lehrvideos (62 %).
Hier gibt es andere Verteilungen bzgl. Abschluss und Fakultät.
Bezüglich der Abschlüsse kann man feststellen, dass der synchrone Livestream von Masterstudierenden häufiger angegeben wurde als von Bachelorstudierenden. Er ist damit gleichauf mit dem ISIS Kurs. Asynchrone Lehrvideos spielen bei Masterstudierenden ebenfalls eine geringere Rolle.
In der folgenden Tabelle sind die Top 5 Verteilungen pro Fakultät abgetragen. Abweichungen von der TU Berlin Gesamtverteilung sind kursiv hervorgehoben.
Rang | TUB gesamt | Fak.I | Fak.II | Fak.III | Fak.IV | Fak.V | Fak.VI | Fak.VII |
---|---|---|---|---|---|---|---|---|
1 | ISIS Kurs | ISIS Kurs | ISIS Kurs | ISIS Kurs | ISIS Kurs | ISIS Kurs | ISIS Kurs | ISIS Kurs |
2 | Livestream (synchron) | Livestream (synchron) | Aufgezeichnete Lehrvideos (asynchron) | Aufgezeichnete Lehrvideos (asynchron) | Livestream (synchron) | Aufgezeichnete Lehrvideos (asynchron) | Livestream (synchron) | Livestream (synchron) |
3 | Aufgezeichnete Lehrvideos (asynchron) | Livestream (synchron) | Livestream (synchron) | Aufgezeichnete Lehrvideos (asynchron) | Online-Forum | Aufgezeichnete Lehrvideos (asynchron) | ||
4 | Online-Forum | Online-Forum | Online-Forum | Online-Forum | Online-Forum | Livestream (synchron) | Aufgezeichnete Lehrvideos (asynchron) | Online-Forum |
5 | Aufgezeichnete Lehrvideos (asynchron) | Online-Forum |
Im Folgenden finden Sie die Verteilungsdiagramme pro Fakultät.
Neben den vorgebenden Varianten konnten die Befragten in einem offenen Kommentarfeld weitere Onlinetools eintragen. Der Autor hat diese ausgezählt und Kategorien zugeordnet.
Im Folgenden ist eine Tabelle mit der Häufigkeit der Nennung von offen genannt digitalen Lehrformen mit mind. 20 Nennungen dargestellt.
ausgezählte Kategorie | Anzahl |
---|---|
DOKUMENTENSHARING | 134 |
MIRO | 66 |
SLACK | 45 |
ZOOM | 41 |
LABORSIMULATION | 41 |
LEHRVIDEOS | 36 |
ONLINETOOLS | 33 |
ETHERPAD | 31 |
TUBCLOUD | 27 |
GITLAB + GITHUB (zusammengefasst) | 25 |
PADLET | 21 |
DISCORD | 20 |
Die mit Abstand größte Rolle spielt das Dokumentensharing, also der Austausch von diversen Dokumententypen (z.B. PDF, docx, pptx). Als zweithäufigstes wird das Online-Whiteboard Miro genannt, gefolgt von der Kollaborations-Kommunikationssoftware Slack. Laborsimulationen wie z.B. Labster, Labexchange spielen vor allem an Fakultät II eine wichtige Rolle.
Zusammenfassung der Teil Ergebnisse: Die Lehrenden zeigen überwiegend ein didaktisch gutes Lehrverhalten (Lehrgüteskala). Hier gibt es kleinere signifikante Unterschiede zwischen den Fakultäten. Die Befragten an der Fakultät I schätzen Ihre Lehrenden etwas besser ein. Es gibt keine Unterschiede hinsichtlich Geschlecht oder Abschluss.
Das die Lehrveranstaltungen von Struktur und Aufbau gut nachvollziehbar sind, stimmen die Befragten mehrheitlich zu. Es gibt keine Unterschiede hinsichtlich Fakultäten, Abschlüssen oder Geschlecht.
SC 35 Fazit: Das Bild bezüglich der Lehrgüteskala und dem guten strukturierten Aufbau einer Lehrveranstaltung ist über die gesamte TU homogen. Dass die Lehrgüte an Fakultät I noch etwas besser bewertet wird, ist vermutlich auf Aspekte des Curriculums zurückzuführen. Zum Beispiel ist durch kleinere Lehrveranstaltungen eine bessere Einzelbetreuung möglich. Möglicherweise spielt auch der Faktor Gruppenarbeit (vgl. Kapitel Gruppenarbeit) hier ebenfalls eine Rolle.
Die TU Berlin setzt vier Items verbindlich als sogenannte Lehrgüteskala zur Einschätzung des Dozentenstils hinsichtlich Didaktik ein. Diese Skala ist reliabel (vgl.Reliabilitätsanalyse). Insgesamt tritt didaktisches Lehrverhalten häufig auf (Mittelwert recodierte Skala 4.28). Man kann dies so interpretieren, dass die Lehrgüte als gut eingeschätzt wird.
Es gibt keine signifikanten praktisch bedeutsamen Unterschiede bzgl. Geschlecht oder Abschluss.
Bei der Lehrgüteskala treten signifikante Fakultätsunterschiede auf. Diese haben aber nur einen kleinen praktischen Effekt. Sie ändern die Gesamtinterpretation nicht. Man kann allerdings festhalten, das Lehrende der Fakultät I etwas besser (gut+) bewertet werden.
Table 1: One-Way ANOVA: Using Type III Sum of Squares
Term | df | SS | MS | F | p | \(\eta^2\) | Cohen’s f |
---|---|---|---|---|---|---|---|
fak1T | 6 | 59.4 | 9.9 | 14.81 | < .001 | 0.01 | 0.1 |
Residuals | 8486 | 5672.68 | 0.67 | ||||
Total | 8492 | 5732.08 | 10.57 |
Der Autor hat eine Skala zur Struktur der Lehrveranstaltung aus den dargestellten drei Items gebildet. Diese Skala stellt den Aufbau bzw. die Nachvollziehbarkeit der Lehrveranstaltung aus Sicht der Studierenden dar. Die Skala ist reliabel (vgl.Reliabilitätsanalyse). Insgesamt sind die Lehrveranstaltungen gut strukturiert und nachvollziehbar aufgebaut (Mittelwert recodierte Skala 4.25). Man kann dies so interpretieren, dass die Lehrveranstaltungen bzgl. dieser Aspekte als gut eingeschätzt werden.
Es gibt keine signifikanten praktisch bedeutsamen Unterschiede bzgl. Geschlecht, Abschluss oder Fakultät.
Zusammenfassung der Teil Ergebnisse: Die Betreuung an der TU Berlin wird insgesamt über alle Fakultäten als gut eingeschätzt. Masterstudierende beurteilen die Betreuung durch die Lehrenden etwas besser als Bachelorstudierende.
SC 35 Fazit: Das bessere Urteil der Masterstudierenden, kann man aus Sicht des Autors, mit dem direkteren Kontakt der Lehrenden und Studierenden begründen, zum Beispiel bei der Betreuung von Abschlussarbeiten oder in Kolloquien. Darüber hinaus belegen andere Umfragen, das Masterstudierende häufiger direkte Betreuung in Sprechstunden nutzen. Dies kann man so interpretieren, dass es auch im digitalen Semester so ist.
Rund 75 % der Studierenden geben an, dass die Lehrenden für Onlinesprechstunden zur Verfügung stehen.
Bei Masterstudierenden werden Onlinesprechstunden häufiger angegeben (82 %). Dies kann man vermutlich mit dem entsprechend höheren Beratungsbedarf (z.B.: Kolloquium für Abschlussarbeit) begründen.
Auf Basis der Daten kann man interpretieren, dass Onlinesprechstunden in den Fakultäten I, III und IV am häufigsten angeboten werden.
Insgesamt wird aber in allen Fakultäten in über 65 % der Fälle Onlinesprechstunden angeboten.
Der Autor hat eine Skala zur Betreuung der Lehrveranstaltung aus den dargestellten vier Items gebildet. Diese Skala bildet die Betreuung durch die Lehrenden aus Sicht der Studierenden dar. Die Skala ist reliabel (vgl.Reliabilitätsanalyse). Insgesamt werden die Betreuungsitems positiv eingeschätzt (Mittelwert recodierte Skala 4.43). Man kann dies so interpretieren, dass die Lehrveranstaltungen bzgl. dieser Aspekte als gut eingeschätzt werden.
Es gibt keine signifikanten praktisch bedeutsamen Unterschiede bzgl. Geschlecht oder Fakultät.
Masterstudierende beurteilen die Betreuung durch die Lehrenden etwas besser als Bachelorstudierende.
Table 2: Welch Two Sample t-test with alternative hypothesis: \(\mu_1 \neq \mu_2\)
Diff | \(\mu_1\) Bachelor | \(\mu_2\) Master | t | SE | df | \(CI_{95\%}\) | p | Cohen's d |
---|---|---|---|---|---|---|---|---|
-0.22 | 4.33 | 4.54 | -8.66 | 0.02 | 3661.93 | (-0.26 - -0.17) | < .001 | -0.27 |
Die Studierenden wurden gebeten die Betreuung insgesamt einzuschätzen. Wie auch bei der Skala Betreuung fällt das Gesamturteil der Befragten insgesamt positiv aus. (Mittelwert recodierte Skala 4.19). Man kann dies so interpretieren, dass die Betreuung als gut eingeschätzt wird.
Es gibt keine signifikanten praktisch bedeutsamen Unterschiede bzgl. Geschlecht.
Der Befund ähnelt der Skala Betreuung. Masterstudierende beurteilen die Betreuung durch die Lehrenden etwas besser als Bachelorstudierende.
Table 3: Welch Two Sample t-test with alternative hypothesis: \(\mu_1 \neq \mu_2\)
Diff | \(\mu_1\) Bachelor | \(\mu_2\) Master | t | SE | df | \(CI_{95\%}\) | p | Cohen's d |
---|---|---|---|---|---|---|---|---|
-0.26 | 4.08 | 4.34 | -10.16 | 0.03 | 6332.67 | (-0.3 - -0.21) | < .001 | -0.25 |
Studierende der Fakultät I etwas geben häufiger an (kleiner Effekt), sich besser betreut zu fühlen.
Mittelwert der Gesamtstichprobe (recodierte Skala): 4.19
Table 4: One-Way ANOVA: Using Type III Sum of Squares
Term | df | SS | MS | F | p | \(\eta^2\) | Cohen’s f |
---|---|---|---|---|---|---|---|
fak1T | 6 | 62.19 | 10.37 | 9.72 | < .001 | 0.01 | 0.08 |
Residuals | 8634 | 9207.98 | 1.07 | ||||
Total | 8640 | 9270.17 | 11.43 |
Zusammenfassung der Teil Ergebnisse: Die von den Lehrenden bereitgestellten/erzeugten Online Lernmaterialien sind überwiegend verständlich und qualitativ gut aufbereitet. Diese Materialien stellen eine gute Hilfe zur Wiederholung des Lernstoffs dar und werden für den Lernerfolg als nützlich eingeschätzt. Ein überwiegender Teil der Befragten gibt an, dass empfohlene Literatur nur zum Teil online verfügbar ist.
SC 35 Fazit: Da die digitale Lehre auch in Zukunft an der TU Berlin eine große Rolle spielen wird, ist die Beurteilung, dass empfohlene Literatur nur teilweise online vorhanden ist, als kritisch einzuschätzen. D.h. hier sollte in Zukunft ein besserer Zugang ermöglicht werden. Es ist Gremien und durch Folgebefragungen zu klären, woran es mangelt und inwiefern der Zugang zur Literatur optimiert werden kann.
Bezüglich des Online- Lernmaterials konnte keine Skala gebildet werden. Die Bewertung der Einzelitems ist in folgender Tabelle dargestellt. Anhand der Missings sieht man das Textmaterial überwiegend zum Einsatz kommt, hingegen sind Animationen eher selten.
Aber alle Onlinematerialien werden als gut eingeschätzt.
Material | Mittelwert | Missings |
---|---|---|
Textmaterial | 1.83 (Kategorie Gut) | 6 % |
Audio und Videomaterial | 1.63 (Kategorie Gut +) | 19 % |
Animation | 1.62 (Kategorie Gut +) | 43 % |
Über die gesamte TU Berlin geben 33 % der Befragten an, dass die empfohlene Literatur online auch vorhanden ist. Weitere 37 % geben dies nur zum Teil an und rund 7 % verneinen das empfohlene Literatur online abrufbar ist.
Zwischen Bachelor und Masterstudierenden zeigt sich ein ähnliches Bild bzgl. der Verfügbarkeit von Literatur.
Es zeigt sich über die Fakultäten ein sehr ähnliches Bild. Am vollständigsten vorhanden ist die Online Literatur laut den Daten in Fakultät V (41%).
Insgesamt schätzen die Befragten die Online-Lernmaterialien sowohl für Stoffwiederholung als auch für den Lernerfolg als nützlich ein. Es gibt keine Unterschiede bzgl. Fakultät, Abschluss oder Geschlecht.
Zusammenfassung der Teil Ergebnisse: Rund 65 % der Befragten geben an, dass es Onlineaufgaben in der Lehrveranstaltung gab. Bei Masterstudierenden wird dies seltener (58 %) angegeben als im Bachelor (69 %). In der Fakultäten I, II und IV geben die Befragten am häufigsten an, das es Onlineaufgaben gibt.
Die Onlineaufgaben werden insgesamt (Skala) als gut bewertet. Masterstudierende bewerten sie etwas besser als Bachelorstudierende. Es gibt keine Geschlechterunterschiede. Studierende der Fakultät I schätzen die gestellten Onlineaufgaben im Mittel noch etwas besser ein.
SC 35 Fazit: Aus der Betrachtung der Einzelitems ergibt sich das rund 31 % sich eine bessere Nachbereitung von Onlineaufgaben wünschen. Hier sollte man best practice Beispiele aus den Fakultäten sammeln, wie man das online durchführen kann. Diese Beispiele sollte man als Handreichung allen Lehrenden zur Verfügung stellen.
Für rund 65 % der Befragten spielen Onlineaufgaben eine Rolle in der Lehre.
Für Masterstudierenden spielen Onlineaufgaben eine etwas geringere Rolle (58%) als für Bachelorstudierende (69%).
In Fakultäten IV, I und II wird am häufigsten angegeben, dass es Onlineaufgaben gibt.
Die gestellten Onlineaufgaben werden überwiegend positiv eingeschätzt (gut). Betrachtet man sich die Einzelitems stellt man fest das rund 31 % der Befragten sich eine bessere Nachbereitung der gestellten Aufgaben wünschen.
Es gibt signifikant praktisch bedeutsame Unterschiede zwischen den Abschlüssen. Masterstudierende schätzen die Items zu den Onlineaufgaben etwas besser ein (kleiner Effekt).
Table 5: Welch Two Sample t-test with alternative hypothesis: \(\mu_1 \neq \mu_2\)
Diff | \(\mu_1\) Bachelor | \(\mu_2\) Master | t | SE | df | \(CI_{95\%}\) | p | Cohen's d |
---|---|---|---|---|---|---|---|---|
-0.28 | 3.98 | 4.26 | -9.79 | 0.03 | 3326.47 | (-0.33 - -0.22) | < .001 | -0.32 |
Die Zustimmung zur Güte der Onlineaufgaben wird insgesamt von den Befragten in allen Fakultäten als gut (+) bewertet. Es gibt signifikante Unterschiede zwischen den Fakultäten. Die Befragten der Fakultät I schätzen die Betreuung tendenziell noch etwas besser ein, die Fakultäten II und IV werden in der Tendenz etwas schlechter bewertet. Dieser Effekt ist praktisch bedeutsam als sehr klein einzuschätzen.
Mittelwert der Gesamtstichprobe (recodierte Skala): 4.1
Table 6: One-Way ANOVA: Using Type III Sum of Squares
Term | df | SS | MS | F | p | \(\eta^2\) | Cohen’s f |
---|---|---|---|---|---|---|---|
fak1T | 6 | 86.26 | 14.38 | 19.38 | < .001 | 0.02 | 0.15 |
Residuals | 4930 | 3658.14 | 0.74 | ||||
Total | 4936 | 3744.4 | 15.12 |
Zusammenfassung der Teil Ergebnisse: Knapp die Hälfte der Befragten hatten im digitalen Semester virtuelle Gruppenarbeit. Gruppenarbeit spielt insgesamt im Masterstudium eine etwas größere Rolle. Den höchsten Anteil von Gruppenarbeit gibt es in Fakultät I.
Die Gruppenarbeit wird überwiegend außerhalb (59 %) der Lehrveranstaltung organisiert. Zu jeweils 20 % findet Gruppenarbeit innerhalb der Online Lehrveranstaltung statt, zu 21 % sowohl als auch. Es bestehen Fakultätsunterschiede. In Fakultät I wird im Unterschied zum TU Durchschnitt zu 41 % die Gruppenarbeit direkt innerhalb der Lehrveranstaltung durchgeführt (z.B.: Zoom Breakout Session).
Die Onlinegruppenarbeit wird insgesamt von den Befragten als gut bewertet. Es gibt signifikante Unterschiede zwischen den Fakultäten. Ebenfalls bewerten Frauen die Items der Gruppenarbeit etwas besser als Männer und Masterstudierende schätzen sie ebenfalls etwas besser ein.
SC 35 Fazit: Es gibt Hinweise darauf, dass Gruppenarbeit direkt in der Lehrveranstaltung besser beurteilt wird und sich positiv auf das Gesamturteil zur Lehrveranstaltung auswirkt. Dies sollte in Folgebefragungen genauer untersucht werden.
Für knapp die Hälfte der Befragten spielte Gruppenarbeit im digitalen Semester eine Rolle.
Für Masterstudierende spielt die Gruppenarbeit eine größere Rolle als für Bachelorstudierende.
Mit rund 59 % spielt Gruppenarbeit in Fakultät I die größte Rolle.
Gruppenarbeit wird an der TU Berlin überwiegend (59 %) außerhalb der Lehrveranstaltung organisiert. Für 21 % gilt dies sowohl als auch und lediglich bei 20 wird Gruppenarbeit direkt in der Online Lehrveranstaltung durchgeführt.
Hier gibt es Fakultätsunterschiede.
Bezüglich der Abschlüsse zeigt sich ein ähnliches Bild in der Organisation der Gruppenarbeit.
Bei der Organisation der Gruppenarbeit gibt es Fakultätsunterschiede. Während an der TU Berlin die Gruppenarbeit überwiegend außerhalb der Lehrveranstaltung organisiert wird, wird an der Fakultät I die Gruppenarbeit überwiegend direkt in der Online Lehrveranstaltung (z.B. ZOOM Breakout Session) organisiert (41 %).
Die Gruppenarbeit wird insgesamt als gut eingeschätzt. Es gibt Unterschiede hinsichtlich Geschlecht, Abschluss und Fakultät.
Es gibt signifikant praktisch bedeutsame Unterschiede zwischen den Geschlechtern. Diese haben aber einen sehr kleinen praktisch bedeutsamen Effekt. Frauen beurteilen die Items der Gruppenarbeit etwas besser als Männer.
Table 7: Welch Two Sample t-test with alternative hypothesis: \(\mu_1 \neq \mu_2\)
Diff | \(\mu_1\) weiblich | \(\mu_2\) männlich | t | SE | df | \(CI_{95\%}\) | p | Cohen's d |
---|---|---|---|---|---|---|---|---|
0.2 | 4.29 | 4.09 | 6.27 | 0.03 | 3860.61 | (0.14 - 0.26) | < .001 | 0.2 |
Es gibt signifikant praktisch bedeutsame Unterschiede zwischen den Abschlüssen. Masterstudierende schätzen die Items zur Gruppenarbeit etwas besser ein (kleiner Effekt).
Table 8: Welch Two Sample t-test with alternative hypothesis: \(\mu_1 \neq \mu_2\)
Diff | \(\mu_1\) Bachelor | \(\mu_2\) Master | t | SE | df | \(CI_{95\%}\) | p | Cohen's d |
---|---|---|---|---|---|---|---|---|
-0.38 | 4.04 | 4.42 | -10.96 | 0.03 | 2976 | (-0.44 - -0.31) | < .001 | -0.38 |
Es gibt signifikante Unterschiede zwischen den Fakultäten. Die Befragten der Fakultät I, VI und VII schätzen die Gruppenarbeit tendenziell noch etwas besser ein. Die Studierenden der Fakultät II wird in der Tendenz etwas schlechter bewertet. Dieser Effekt ist praktisch bedeutsam als sehr klein einzuschätzen.
Mittelwert der Gesamtstichprobe (recodierte Skala): 4.18
Table 9: One-Way ANOVA: Using Type III Sum of Squares
Term | df | SS | MS | F | p | \(\eta^2\) | Cohen’s f |
---|---|---|---|---|---|---|---|
fak1T | 6 | 324.24 | 54.04 | 56.27 | < .001 | 0.08 | 0.29 |
Residuals | 4143 | 3978.92 | 0.96 | ||||
Total | 4149 | 4303.16 | 55 |
Das Gesamturteil zur Gruppenarbeit fällt gut aus. Es gibt Unterschiede bzgl. Abschluss und Fakultät.
Es gibt signifikant praktisch bedeutsame Unterschiede zwischen den Abschlüssen. Masterstudierende schätzen Gesamtumsetzung der Gruppenarbeit etwas besser ein (kleiner Effekt).
Table 10: Welch Two Sample t-test with alternative hypothesis: \(\mu_1 \neq \mu_2\)
Diff | \(\mu_1\) Bachelor | \(\mu_2\) Master | t | SE | df | \(CI_{95\%}\) | p | Cohen's d |
---|---|---|---|---|---|---|---|---|
-0.21 | 3.93 | 4.14 | -5.99 | 0.04 | 3193.37 | (-0.28 - -0.14) | < .001 | -0.21 |
Es gibt signifikante (kleiner Effekt) Unterschiede zwischen den Fakultäten. In den Fakultäten II, IV und V ist die Streuung bezüglich der Einschätzung größer als in den anderen Fakultäten. Fakultät II weicht auch vom Mittelwert (gut-) ab.
Mittelwert der Gesamtstichprobe (recodierte Skala): 4.02
Table 11: One-Way ANOVA: Using Type III Sum of Squares
Term | df | SS | MS | F | p | \(\eta^2\) | Cohen’s f |
---|---|---|---|---|---|---|---|
fak1T | 6 | 115.93 | 19.32 | 18.75 | < .001 | 0.03 | 0.16 |
Residuals | 4245 | 4373.45 | 1.03 | ||||
Total | 4251 | 4489.38 | 20.35 |
Zusammenfassung der Teil Ergebnisse: Die von der TUB eingesetzte Onlinesoftware wird überwiegend (89 %) als gut bedienbar eingeschätzt. Beim Großteil der Befragten (82 %) gestaltete sich der Technikeinsatz weitgehend störungsfrei. Inhalte werden von der Mehrzahl (76 %) gut verstanden.
Rund 68 % der Befragten sagen das sich die angebotenen Lehrveranstaltungen auch zukünftig für die Online Lehre eignen. Hierbei gibt es Fakultätsunterschiede. Insbesondere Studierende der Fakultät VI geben an, dass sich die Lehrveranstaltungen etwas weniger gut für zukünftige Online Lehre eignen. Masterstudierende stimmen der Onlineeignung von LV etwas häufiger zu.
SC 35 Fazit: Generell kann man feststellen, dass die eingesetzte Softwarelösungen durchaus eine gute digitale Lehre für die Mehrzahl der Studierenden erlaubt. Nicht destotrotz gibt es Studiengänge wo das nicht so sinnvoll ist. Insbesondere Studierende der Fakultät VI stimmen dem weniger häufig zu (vgl. Extraauswertung nach Studiengang).
Im Folgenden wurden den Studierenden einzelne Items zur Einschätzung der Technik vorgelegt.
Im Folgenden wird das letzte Item “Diese Lehrveranstaltung eignet sich auch zukünftig als Online-Lehrveranstaltungsformat” - die zukünftige Eignung der LV für das Onlineformat näher betrachtet.
Sowohl Bachelor als auch Masterstudierende stimmen eher zu, dass die Mehrzahl der Lehrveranstaltungen auch in Zukunft für das Onlineformat geeignet sind. Masterstudierende stimmen dem etwas häufiger zu (MA ~70% zu Ba~66%). Dieser Effekt ist zwar signifikant, aber nicht praktisch bedeutsam.
Table 12: Welch Two Sample t-test with alternative hypothesis: \(\mu_1 \neq \mu_2\)
Diff | \(\mu_1\) Bachelor | \(\mu_2\) Master | t | SE | df | \(CI_{95\%}\) | p | Cohen's d |
---|---|---|---|---|---|---|---|---|
-0.14 | 4.22 | 4.36 | -6.99 | 0.02 | 6069.6 | (-0.18 - -0.1) | < .001 | -0.17 |
Es gibt signifikante Fakultätsunterschiede mit einem kleinen Effekt. Studierende der Fakultät VI stimmen der Online-Eignung von Lehrveranstaltungen seltener zu.
Table 13: One-Way ANOVA: Using Type III Sum of Squares
Term | df | SS | MS | F | p | \(\eta^2\) | Cohen’s f |
---|---|---|---|---|---|---|---|
fak1T | 6 | 191.89 | 31.98 | 17.85 | < .001 | 0.01 | 0.11 |
Residuals | 8618 | 15441.32 | 1.79 | ||||
Total | 8624 | 15633.21 | 33.77 |
Für eine genauere Analyse nach Studiengang finden interessierte Leser im Anhang eine Studiengangsauswertung vgl. Extraauswertung nach Studiengang.
Rund 49 % der Befragten schätezn den Aufwand ähnlich ein, wie für eine Präsenzveranstaltung. Weitere 34 % empfinden den Aufwand als höher, rund 11 % als niedriger. Rund 7 % können dies nicht einschätzen.
Hinsichtlich der Abschlüsse gibt es eine ähnliche Verteilung.
In Fakultät I wird am häufigsten (55%) angegeben, dass der Aufwand gleich sei zu einem Präsenzsemester.
Zusammenfassung der Teil Ergebnisse: Im Durchschnitt benötigen die Studierenden 4-6 Stunden zur Vor- und Nachbereitung der Lehrveranstaltungen. Bachelorstudierende benötigen signifikant mehr Zeit als Masterstudierende.
Die Stoffschwierigkeit wird insgesamt als genau richtig (leichte Tendenz eher schwierig) eingeschätzt. Es gibt signifikante Unterschiede zwischen den Fakultäten. Studierende der Fakultät II schätzen die Stoffschwierigkeit höher ein, Studierende der Fakultät I und VII etwas leichter als der Durchschnitt. Es gibt keine signifikanten praktisch bedeutsamen Unterschiede zwischen den Abschlüssen oder Geschlechtern.
Die Lehrveranstaltungen werden insgesamt als gut eingeschätzt. Es gibt kleinere Fakultätsunterschiede. Masterstudierende schätzen die Lehrveranstaltungen insgesamt etwas besser ein.
SC 35 Fazit: Dass die Vor - und Nachbereitungszeit zwischen den Fakultäten schwankt, ist als normal einzuschätzen, da auch der durchschnittliche Workload in den Modulbeschreibungen nicht gleich ist. Das der Aufwand für Bachelorstudierende höher ist, kann man damit begründen das Bachelorstudium häufiger theoretische Lehrveranstaltungen zu Grundlagen eine Rolle spielen.
Das es kleinere Fakultätsunterschiede im Gesamturteil gibt, kann man damit begründen, dass sich diese leichten Fakultätsunterschiede durch die gesamte Erhebungswelle ziehen.
Die Vor- und Nachbereitungszeit liegt im Mittel bei 4-6 Stunden über alle Lehrveranstaltungen. Es gibt signifikante Unterschiede zwischen den Fakultäten und bzgl. der Abschlüsse.
Mittelwert der Gesamtstichprobe: 2.71 (Kategorie 4-6 Stunden)
Es gibt signifikant praktisch bedeutsame Unterschiede zwischen den Abschlüssen. Masterstudierende benötigen etwas weniger Zeit zur Vor- und Nachbereitung der Lehrveranstaltungen (kleiner Effekt).
Table 14: Welch Two Sample t-test with alternative hypothesis: \(\mu_1 \neq \mu_2\)
Diff | \(\mu_1\) Bachelor | \(\mu_2\) Master | t | SE | df | \(CI_{95\%}\) | p | Cohen's d |
---|---|---|---|---|---|---|---|---|
0.27 | 2.85 | 2.57 | 8.93 | 0.03 | 5855.16 | (0.21 - 0.33) | < .001 | 0.23 |
Es gibt signifikante Unterschiede zwischen den Fakultäten. Studierende der Fakultät I benötigen etwas weniger Zeit zur Vor- und Nachbereitung. Studierende der Fakultät II benötigen hier mehr Zeit als der Durchschnitt.
Mittelwert der Gesamtstichprobe (recodierte Skala): 2.71
Table 15: One-Way ANOVA: Using Type III Sum of Squares
Term | df | SS | MS | F | p | \(\eta^2\) | Cohen’s f |
---|---|---|---|---|---|---|---|
fak1T | 6 | 1255.86 | 209.31 | 162.21 | < .001 | 0.1 | 0.34 |
Residuals | 8333 | 10752.54 | 1.29 | ||||
Total | 8339 | 12008.4 | 210.6 |
Die Stoffschwierigkeit wird insgesamt als genau richtig (leichte Tendenz eher schwierig) eingeschätzt. Es gibt signifikante Unterschiede zwischen den Fakultäten. Es gibt keine signifikanten praktisch bedeutsamen Unterschiede zwischen den Abschlüssen oder Geschlechtern.
Die Lehrveranstaltungen werden insgesamt als gut eingeschätzt. Es gibt kleinere Fakultätsunterschiede. Masterstudierende schätzen die Lehrveranstaltungen insgesamt etwas besser ein.
Gesamturteil: Es gibt signifikant praktisch bedeutsame Unterschiede zwischen den Abschlüssen bzgl. dem Gesamturteil. Masterstudierende schätzen die Lehrveranstaltungen insgesamt etwas besser ein (kleiner Effekt).
Table 16: Welch Two Sample t-test with alternative hypothesis: \(\mu_1 \neq \mu_2\)
Diff | \(\mu_1\) Bachelor | \(\mu_2\) Master | t | SE | df | \(CI_{95\%}\) | p | Cohen's d |
---|---|---|---|---|---|---|---|---|
-0.23 | 4.02 | 4.25 | -9.36 | 0.02 | 6354.75 | (-0.28 - -0.18) | < .001 | -0.23 |
Stoffschwierigkeit: Es gibt signifikante Unterschiede zwischen den Fakultäten. Studierende der Fakultät II schätzen die Stoffschwierigkeit höher ein, Studierende der Fakultät I und VII etwas leichter als der Durchschnitt.
Mittelwert der Gesamtstichprobe (recodierte Skala): 3.4
Table 17: One-Way ANOVA: Using Type III Sum of Squares
Term | df | SS | MS | F | p | \(\eta^2\) | Cohen’s f |
---|---|---|---|---|---|---|---|
fak1T | 6 | 183.4 | 30.57 | 39.29 | < .001 | 0.03 | 0.17 |
Residuals | 8589 | 6681.72 | 0.78 | ||||
Total | 8595 | 6865.12 | 31.34 |
Gesamturteil: Insgesamt werden die Lehrveranstaltungen im SoSe 2020 als gut aus Sicht der Befragten eingeschätzt. Es gibt signifikante Unterschiede zwischen den Fakultäten. Die Befragten der Fakultät I schätzen ihre Lehrveranstaltungen tendenziell noch etwas besser ein. Dieser Effekt ist praktisch bedeutsam, muss aber als sehr klein eingeschätzt werden.
Mittelwert der Gesamtstichprobe (recodierte Skala): 4.13
Table 18: One-Way ANOVA: Using Type III Sum of Squares
Term | df | SS | MS | F | p | \(\eta^2\) | Cohen’s f |
---|---|---|---|---|---|---|---|
fak1T | 6 | 75.19 | 12.53 | 12.11 | < .001 | 0.01 | 0.09 |
Residuals | 8650 | 8951.27 | 1.03 | ||||
Total | 8656 | 9026.47 | 13.57 |