Webinarem z 21 stycznia 2021 r. zainicjowaliśmy cykl BeyondMoodle, którego tematem są rozszerzenia zwiększające funkcjonalności platformy Moodle. W wielu naszych rozmowach ze środowiskiem akademickim wskazywano obszary, których Moodle nie dostarcza i nie wspiera. Dlatego warto przyjrzeć się narzędziom, które zniwelują te braki i usprawnią pracę z Moodle.

Moderatorem webinaru był Dr Paweł Morawski ze Społecznej Akademii Nauk, wieloletni praktyk e-learningu i pasjonat nowoczesnych technologii w dydaktyce. W pierwszej części spotkania moderator prowadził dyskusję z Dr Anną Bąkałą z Uniwersytetu Łódzkiego, Pełnomocnikiem Dziekana Wydziału Ekonomiczno-Socjologicznego ds. kształcenia e-learningowego. Drugą część poprowadziła Anna Warda-Ritzen, konsultant PCG Academia i ekspert w zakresie rozwiązań wspierających dydaktykę akademicką, która zaprezentowała rozwiązanie Intelliboard.

Webinar dotyczył analizy danych e-learningowych. W jaki sposób uczelnie mogą skorzystać z ogromu danych, jaki powstaje w systemie Moodle? Jak wyciągnąć z Moodle wartościowe informacje zarządcze? Ważnym wątkiem dyskusji był również controlling e-learningu. Dzisiaj zdalne kursy wraz z ich studentami i wykładowcami możemy liczyć w tysiącach dla pojedynczej uczelni. Liczby te przekroczyły możliwości ręcznej pracy i konieczna jest automatyzacja procesu monitorowania zajęć zdalnych. Jakoś zajęć prowadzonych online można poprawić dzięki analityce danych.

Co w zakresie analityki danych jest dostępne w tym momencie na poziomie Moodle? Jak wyjaśniła Dr Anna Bąkała, dydaktycy mogą sprawdzać pewne wskaźniki z poziomu swojego kursu związane z aktywnością studenta na platformie. Natomiast szersze raporty dotyczące przebiegu kursów na danym wydziale może wygenerować tylko osoba z wyższymi uprawnieniami.

Zdaniem prelegentki w Moodle pewne dane są trudne do wygenerowania, zwłaszcza w sposób zwięzły i łatwy w interpretacji. Z Moodle można wygenerować zestawienia dotyczące liczby zalogowanych osób w określonym czasie. Prelegentka ostrzega jednak, by ostrożnie podchodzić do interpretacji tych danych – Moodle mierzy tylko jak długo student był zalogowany, a nie czy faktycznie był aktywny na platformie. Dr Anna Bąkała dodała, że ponadto wygenerowanie tych zestawień nie jest ani łatwe, ani wizualnie atrakcyjne i wymaga dalszej obróbki. Dane trzeba najpierw eksportować do np. Excela i dopiero na ich podstawie przygotować graficzne zestawienia.

„Pytaniem jest, w jaki sposób możemy przeglądać dane i generować tak, aby dały nam faktycznie pełną informację o tym, co odbywa się w trakcie kursu” – podkreśliła Dr Anna Bąkała. – „Oczekujemy bowiem, że te dane dadzą nam informacje i wskazówki, jak zarządzać procesem kształcenia zdalnego”.

Prelegentka podkreśliła, że nie chodzi tutaj o „zasypywanie” osób zarządzających dydaktyką „kolejnymi stosami raportów”. Należy iść w kierunku dostarczanej cyklicznie i na bieżąco informacji zbiorczej dotyczącej aktywności wykładowców oraz studentów. Takie raporty pozwoliłyby wzmocnić kontrolę nad procesem kształcenia zdalnego i poprawić jego jakość. Analizowanie tego procesu pozwoli zauważyć, że przykładowo dana aktywność była mało interesująca lub powodowała trudności techniczne. Analityka daje możliwość łatwego wychwytywania takich sytuacji i pozwala lepiej zaplanować przyszłe zajęcia.

Tutaj Dr Paweł Morawski dodał, że bardzo ważna jest proaktywność, czyli wczesne reagowanie na potencjalne problemy – wykładowca na poziomie studentów i swoich kursów, a dziekani na poziomie wydziału. Analityka pozwala na m.in. wczesne wykrywanie którzy studenci znajdują się w grupie ryzyka imogą mieć problem z ukończeniem kursu czy zakończeniem studiów.

To reagowanie jest możliwe jednak tylko wtedy, gdy posiadamy właściwe dane, uzupełniła wypowiedź przedmówcy Dr Anna Bąkała. Z kolei, aby pojawiły się dane, potrzebna jest aktywność na platformie. Łatwo sprawdzić frekwencję, ale cały szereg danych pojawi się dopiero, gdy zaistnieje interakcja na platformie. Nie wystarczy zamieszczenie materiałów lub linków – wtedy Moodle powie nam tylko, co student kliknął. Należy więc zaplanować aktywności, które pokażą faktyczne zaangażowanie uczestników.

W kwestii sprawdzania aktywności studentów Dr Paweł Morawski przypomniał opublikowane przez Stowarzyszenie e-Learningu Akademickiego w 2013 roku wytyczne w zakresie oceny zajęć dydaktycznych prowadzonych na odległość, gdzie jako niezbędne wskazano prowadzenie permanentnego monitoringu postępów pracy studentów. Wytyczne znane są i Dr Annie Bąkale, która potwierdziła, że nadal pozostają aktualne. Zdaniem prelegentki, zawierają dużo cennych wskazówek, zwłaszcza dla uczelni chcących wprowadzić politykę monitorowania przebiegu zajęć i analitykę tych danych. Im prościej generować dane, tym chętniej kadra będzie do nich sięgać, a uczelnia zyska wiedzę dotyczącą przebiegu zdalnej dydaktyki. Ułatwi to uczelni kontrolę i szybkie reagowanie, dlatego przydatne jest zaplanowanie monitoringu już na samym początku, kiedy przygotowuje się plany studiów i efekty kształcenia, które są weryfikowane przez PKA.

Podsumowując dyskusję, Dr Paweł Morawski stwierdził, że narzędzia z zakresu analityki danych e-learningowych w pewnym momencie staną się wręcz wymagane przez ustandaryzowanie zakresu informacji kontrolowanych przez PKA. Dotychczas w czasie kontroli w niewielkim stopniu pytano o raporty dotyczące systemów e-learningowych. Przy dzisiejszej powszechności e-learningu w najbliższej perspektywie z pewnością ulegnie to zmianie.

Prezentacja INTELLIBOARD – narzędzia do analityki danych z Moodle

Intelliboard to rozwiązanie chmurowe rozszerzające istniejące funkcjonalności platform LMS takich jak Moodle w zakresie analityki. Oferuje ponad 130 raportów, a także wizualizacje danych, konfigurowalne pulpity dla różnych użytkowników i warunkowe powiadomienia wysyłane automatycznie. Co ważne, Intelliboard  gwarantuje bezpieczne przetwarzanie danych, ponieważ cała analityka odbywa się bez kopiowania i przechowywania danych poza LMS.

W systemie po zalogowaniu wita nas pulpit nawigacyjny, skąd mamy dostęp do głównych modułów Intelliboard, czyli monitory, centrum powiadomień i raporty. Dostępne 130 raportów uporządkowanych zostało według grup użytkowników, kursów i aktywności. Użytkownik ma również możliwość budowania własnych, niestandardowych raportów.

Wśród predefiniowanych raportów jednym z kluczowych jest ten pokazujący postępy studentów w kursie, który odpowiada na najczęściej zgłaszane potrzeby wykładowców. Ten raport pokazuje wszystkie ukończone przez studenta aktywności, pasek jego postępu w kursie, zdobyte oceny, czas poświęcony na kurs czy liczbę wizyt w kursie.

Co ciekawe, Intelliboard posiada autorskie rozwiązanie pozwalające śledzić realny czas pracy w kursie, a nie po prostu przebywania studenta na platformie. Mechanizm co 30 sekund sprawdza aktywność studenta i jeśli przez minutę jest on bezczynny, to dany odcinek czasu nie jest liczony. Ten parametr jest konfigurowalny, tzn. czas, po którym jest liczona nieaktywność można dostosować do potrzeb i specyfiki kursu. Warto zaznaczyć, że uwzględniono tutaj czynności wymagające dłuższego czasu pozornie bez aktywności, takie jak oglądanie materiału wideo zamieszczonego przez wykładowcę.

W raportach domyślnie widoczne są dane za ostatni tydzień, ale można zmienić zakres na tylko dzisiejsze lub wczorajsze dane bądź na ostatni miesiąc, kwartał lub rok, a nawet na cały okres, dla jakiego są zgromadzone dane. Pracownik uczelni może przeglądać dane dotyczące wszystkich kursów lub zawęzić je do poszczególnych przedmiotów. Możliwe jest także filtrowanie po ocenach studentów, co pozwala łatwo odnaleźć zarówno tych najlepszych, jak i tych, którzy mają trudności.

Z poziomu raportu można również kliknąć na wybranego studenta i zobaczyć szczegółowe informacje dotyczące jego procesu uczenia się. W widoku danego studenta można sprawdzić przykładowo, ile czasu spędził na platformie, w tym ile z tego w danym kursie i ile na wykonywaniu aktywności. Pracownik uczelni może ponadto zobaczyć, jak zmieniała się aktywność studenta w czasie roku, a także porównać jego aktywność na tle innych kursantów, co pomaga określić, czy student nie zostaje w tyle za grupą. Zdecydowana większość danych prezentowana jest za pomocą interaktywnych grafów i łatwych do odczytania grafik.

Podsumowania najważniejszych danych można generować w monitorach, które da się personalizować dla różnych odbiorców lub celów. Podsumowanie jest pełne wizualizacji danych – wszystkie grafiki są interaktywnych, co pozwala bardzo szybko zorientować się w najważniejszych wskaźnikach, np. zobaczyć, które kursy są najbardziej popularne. Monitory także można filtrować i sortować według wielu różnych kryteriów. Monitory mogą być automatycznie wysyłane cyklicznie do wybranych osób, np. dziekana.

Ostatni z głównych modułów, czyli centrum powiadomień, pozwala na określenie automatycznych notyfikacji dla użytkowników, wywoływanych w razie spełnienia ustalonych warunków. Przykładowo, możemy zdecydować o wysyłaniu powiadomień do studentów, którzy nie ukończyli zaplanowanych w kursie aktywności.. System sam zdefiniuje grupę odbiorców i automatycznie wyśle powiadomienia do osób spełniających ustalony warunek. Inny przykład zastosowania to ustawienie powiadomień dla dziekana, gdy wykładowca nie loguje się na własny kurs przez określony dowolnie czas.

Poproszona o komentarz do prezentacji, Dr Anna Bąkała przyznała, że „Intelliboard wygląda na takie właśnie narzędzie, które pozwoli nam wygenerować te dane, o które nam chodzi i z dużą precyzją co do grupy, dla której jest przygotowany raport i której miałby dotyczyć”. Prelegentka dostrzega w tym rozwiązaniu liczne ułatwienia dla pracowników uczelni. Za szczególnie przydatną uważa możliwość cyklicznego generowania i przesyłania raportów, zawierających podpowiedzi wyjaśniające, co prezentowane dane rzeczywiście oznaczają. Równie pomocne zdaniem ekspertki jest automatyczne powiadamianie zarówno studentów, jak i pracowników, które możemy ustawić wedle ważnych dla nas kryteriów.

Jak Intelliboard działa w praktyce? Zapraszamy do oglądania prezentacji oraz testowania wersji demo na stronie https://demo.intelliboard.net/signin. Jak zawsze, pozostajemy otwarci na wszelkie pytania i zachęcamy do kontaktu: Anna Warda- Ritzen, tel. 722 010 640, email: anna.warda-ritzen@pcgacademia.pl