Jednym z największych wyzwań ostatniego roku dla uczelni była weryfikacja efektów kształcenia prowadzonego zdalnie. Dzisiaj, gdy po raz kolejny trwa sesja egzaminacyjna, która nie może odbywać się stacjonarnie, warto porozmawiać, co uczelnie mogą zrobić, by przeprowadzić efektywne i uczciwe egzaminy zdalne.

Egzaminowanie studentów było tematem 3. webinaru z cyklu BeyondMoodle „Kontrola najwyższą formą zaufania –  egzaminowanie studentów, czyli jak zrobić to dobrze”, który odbył się 4 lutego 2021 r. W roli ekspertów na webinarze wystąpiły:

  • Dr Sabina Ratajczak, Prorektor ds. Rozwoju, Dyrektor Centrum Jakości i Innowacji, Akademia WSB w Dąbrowie Górniczej,
  • Anna Pałyga, Ambasadorka marki Inspera w Polsce, Kierownik Centrum Innowacji w Dydaktyce, Akademia Leona Koźmińskiego,
  • Anna Warda-Ritzen, Konsultant ds. Kształcenia Online, PCG Academia.

Spotkanie moderował Dr Paweł Morawski, wieloletni praktyk e-learningu i pasjonat nowoczesnych technologii w dydaktyce.

W pierwszej części webinaru dyskutowano o egzaminowaniu elektronicznym, przede wszystkim zdalnym, ale też stacjonarnym. W drugiej zaś zaprezentowano system Inspera do elektronicznego egzaminowania studentów, który może być zintegrowany i funkcjonować razem z platformą Moodle na uczelni.

System Inspera jest właśnie wdrażany na Akademii WSB, w obecnie trwającej sesji egzaminacyjnej część egzaminów jest przeprowadzana w oparciu o ten system. Wcześniej, jak mówiła Dr Sabina Ratajczak, uczelnia do weryfikacji efektów uczenia się wykorzystywała platformę Moodle w połączeniu z Teams bądź Zoomem. Podobnie przebiega to na innych uczelniach, na których egzaminy zdalne wprowadzono wskutek  pandemii.

Na tym tle wyróżnia się Akademia Leona Koźmińskiego, na której już od kilku lat przeprowadzane są elektroniczne egzaminy. Pierwsze oprogramowanie do elektronicznego egzaminowania wdrożono na uczelni w 2016 roku, a na przełomie 2017/2018 roku uruchomiono system Inspera, za pomocą którego przeprowadzano znaczną część egzaminów. Elektroniczne egzaminowanie cieszyło się bardzo dużym zainteresowaniem ze strony wykładowców już przed pandemią, podkreśliła pani Anna Pałyga.

DLACZEGO WARTO ROZWAŻYĆ ELEKTRONICZNE EGZAMINOWANIE?

Obecnie z powodu pandemii uczelnie nie mają innego wyjścia jak wdrażanie zdalnych egzaminów. „Tak naprawdę w tej sytuacji, w której jesteśmy, to jest po prostu najlepsze z możliwych rozwiązań, więc to nie jest kwestia odpowiedzi na pytanie czy, tylko jakiego narzędzia chcemy użyć” – uważa Dr Sabina Ratajczak. Zdaniem prelegentki zdalne egzaminowanie ma wiele zalet.

Przede wszystkim zdalne egzaminowanie daje większą kontrolę nad procesem weryfikowania efektów kształcenia. Stanowi ono także formę standaryzacji egzaminów i automatyzacji ich oceniania, co jest ogromną oszczędnością czasu dla nauczycieli. Z perspektywy uczelni duże znaczenie ma również możliwość łatwej archiwizacji egzaminów – nie tylko testów, ale też projektów, esejów czy innych prac. Dodatkowo jest to rozwiązanie ekologiczne i oszczędne, bo zbędne staje się drukowanie arkuszy egzaminacyjnych.

W opinii Prorektor Akademii WSB, przechodzenie na elektroniczne egzaminowanie jest z perspektywy pandemii koniecznością, ale poza tym kontekstem również może być bardzo korzystne dla wielu uczelni. Dr Ratajczak uważa, że jeśli tylko prawo na to zezwoli, to z pewnością wiele uczelni będzie dalej korzystać z egzaminów zdalnych.

Co zaś skłoniło ALK, by na długo przed pandemią skierować się ku elektronicznemu egzaminowaniu? Główne powody to standaryzacja, automatyzacja, oszczędność i odciążenie wykładowców, wymieniła pani Anna Pałyga. Jest to duża pomoc zwłaszcza dla dydaktyków, którzy prowadzą przedmioty masowe i musieli wcześniej poświęcać ogrom czasu na sprawdzanie prac. Elektroniczne egzaminy wdrożono na ALK także dlatego, by zapewnić uczciwość egzaminowania i równe warunki podchodzenia do egzaminu dla studentów.

WDROŻENIE NARZĘDZI DO ELEKTRONICZNEGO EGZAMINOWANIA – DUŻE WYZWANIE?

Zdalne i elektroniczne egzaminowanie przynosi wiele korzyści wszystkim stronom: uczelni, wykładowcom i studentom. Spójrzmy też na to z drugiej strony – jakie są największe wyzwania we wdrażaniu tego typu rozwiązań?

Obszarem, który kryje najwięcej niebezpieczeństw i jednocześnie najwięcej potencjału jest obszar ludzki, odpowiedziała pani Anna Pałyga. Wyzwania wiążą się nie z technologią, a zapewnieniem wsparcia dla dydaktyków i studentów, doskonaleniem kompetencji i dostosowaniem procesów. Istotna jest również kwestia RODO, ponieważ przetwarzane są dane studentów i wykładowców, jednakże przy kształceniu zdalnym te dane i tak są już przetwarzane, więc wiele uczelni ma już przygotowane procedury w tym zakresie.

Z kolei Dr Sabina Ratajczak postrzega wdrożenie systemu elektronicznych egzaminów jako głównie wyzwanie logistyczne. Akademia WSB w tym semestrze przeprowadzi niebagatelną liczbę 1600 egzaminów elektronicznych – wymaga to przesunięcia zasobów ludzkich, zapewnienia wsparcia w tworzeniu i monitorowaniu egzaminów, a także przeszkolenia kadry dydaktycznej w zakresie kompetencji cyfrowych i metodycznych. Inne wyzwanie istotne zdaniem Pani Prorektor jest związane z zapewnieniem bezpieczeństwa danych i ochroną danych osobowych. Te wyzwania stanowią ogromne pole do zbierania doświadczeń przez uczelnię, które przełoży się na wzmocnienie jej w procesie transformacji cyfrowej, podkreśliła prelegentka.

JAK UCZELNIE MOGĄ PODNIEŚĆ EFEKTYWNOŚĆ EGZAMINOWANIA?

Prorektor Akademii WSB, Dr Sabina Ratajczak, sugeruje, aby zacząć od analizy danych z dotychczasowych sesji, przeanalizować procesy i zaangażowanie zasobów. Na Akademii po pierwszej sesji przeprowadzono obszerne badanie wśród studentów i pracowników dydaktycznych na temat kształcenia i egzaminowania zdalnego. Wyniki badania pozwoliły na wprowadzenie w tych procesach zmian, które zostały odebrane pozytywnie zarówno przez studentów, jak i wykładowców.

„Myślę, że takie podejście zwinne, gdzie testujemy pewne rozwiązania, ewaluujemy, modyfikujemy i znowu ewaluujemy, jest najlepszym sposobem na dzisiejsze czasy, bardzo różnorodne i zmienne” – uważa prelegentka. Bardzo ważnym elementem jest również inwestowanie w rozwijanie kompetencji zarówno nauczycieli, jak i całego zespołu wsparcia tego procesu.

Pani Anna Pałyga zgodziła się z przedmówczynią: „zwinne podejście to klucz do tego, żeby poradzić sobie w tak szybko zmieniających się warunkach”, podkreśliła. Prelegentka dodała, że praktyka pokazuje, że warto traktować dydaktyków jak wewnętrznych klientów organizacji – tj. uczelnie powinny myśleć, jak mogą pomóc nauczycielom, usprawnić ich pracę i zmniejszyć obciążenie, a także po prostu uważniej ich słuchać. Wykładowcy wiedzą najlepiej, co jest ważne dla egzaminowania oraz mają równie cenny bezpośredni feedback od studentów. Warto, aby uczelnie mądrze pozyskiwały i zarządzały tą wiedzą dla usprawnienia procesu weryfikacji efektów kształcenia.

CZY SAM MOODLE WYSTARCZY DO EFEKTYWNEGO EGZAMINOWANIA?

W przypadku egzaminowania zdalnego i elektronicznego Moodle „daje radę”, jak powiedziała Dr Sabina Ratajczak. Warto jednak zaznaczyć, że Moodle nie jest platformą dedykowaną do egzaminowania, a do zarządzania treścią – wbudowane w platformę moduły testowania mają za zadanie bieżące weryfikowanie pracy studenta.

Choć Moodle daje możliwości tworzenia różnorodnych testów, to w opinii Pani Prorektor nie jest zbyt intuicyjny w tworzeniu bazy testów. Jednak największą słabością Moodle zdaniem prelegentki jest brak zaawansowanej analityki. „Można analizować dane egzaminu w ramach swojego przedmiotu, co jest istotne dla nauczyciela, ale z perspektywy analizowania całej sesji ogromna ilość danych niestety jest niedostępna dla uczelni” – mówiła Dr Ratajczak. Prelegentce brakuje również lepszych narzędzi do zabezpieczania egzaminów, brak bowiem w Moodle narzędzi do monitorowania egzaminu i proctoringu.

Z kolei na ALK, jak wyjaśniła pani Anna Pałyga, Moodle nie jest wykorzystywany na szerszą skalę, ponieważ uczelnia posiada inną platformę LMS. Ale także w tym przypadku nie jest ona wykorzystywana do egzaminowania. „Mając już oprogramowanie do egzaminowania, z którego jesteśmy zadowoleni (…), w trakcie roku akademickiego raczej używamy platformy LMS, a z egzaminami przenosimy się do Inspery” – podsumowała Kierownik Centrum Innowacji w Dydaktyce.

PREZENTACJA SYSTEMU INSPERA DO BEZPIECZNEGO EGZAMINOWANIA ELEKTRONICZNEGO

Inspera to rozwiązanie, które umożliwia realizację całego procesu egzaminowania elektronicznie. Egzaminy mogą być przeprowadzane zarówno stacjonarnie, z wykorzystaniem urządzeń uczelni lub na komputerach studentów, jak również w sposób zdalny. Inspera posiada dodatkowe zabezpieczenia dla przeprowadzania egzaminów na odległość w postaci wideo monitoringu i elementów sztucznej inteligencji.

System posiada dwa podstawowe rodzaje ról: student, osoba przystępująca do egzaminu oraz administrator, osoba przygotowująca, monitorująca i oceniająca egzamin. Administrator na swojej stronie startowej ma szybki dostęp do głównych modułów Inspera. Pierwszy służy do tworzenia pytań i zestawów pytań. Inspera oferuje ponad 20 rodzajów pytań, które wykładowcy mogą wykorzystać do stworzenia egzaminu. Wśród nich znajdują się pytania, na które odpowiedzi mogą być oceniane automatycznie lub ręcznie. W treści pytań można wstawiać pliki graficzne, dźwiękowe lub wideo, a także można zdefiniować pytania, w których student będzie poproszony o załączenie jakiegoś pliku. Istnieje również możliwość importu pytań z zewnętrznych źródeł, np. z Moodle.

Drugi moduł umożliwia tworzenie samego egzaminu – dostępne są w nim szablony i ustawienia egzaminów, a kolejny moduł pozwala na monitorowanie ich przebiegu. Pozostałe moduły służą do oceny egzaminów (możliwe jest współocenianie oraz ocenianie anonimowe) oraz raportowania informacji na temat egzaminów. Warto dodać, że Inspera pracuje właśnie nad modułem analitycznym, który pozwoli uczelni na przetwarzanie jeszcze większej ilości danych dotyczących sesji egzaminacyjnej.

Od strony studenta system wyświetla listę egzaminów, do których student ma przystąpić oraz archiwum egzaminów. Student może też skorzystać z testów demo, aby lepiej zaznajomić się z systemem przed właściwym egzaminem. W czasie testu Inspera zapisuje odpowiedzi studenta na bieżąco, więc postęp nie jest tracony w przypadku np. problemu z łączem internetowym. Kolejność pytań może być losowa dla każdego studenta, a w przypadku pytań jedno- i wielokrotnego wyboru  mieszana jest także kolejność odpowiedzi. Pod uwagę wzięto również specyfikę nauk ścisłych – dla studentów dostępna jest paleta symboli matematycznych, chemicznych itd., która może być modyfikowana przez administratora.

Zanim student prześle wypełniony egzamin, wyświetlana jest strona podsumowująca, na której może on przejrzeć wszystkie pytania. Student jest informowany o pytaniach, na które nie udzielił odpowiedzi, żeby zapobiec przeoczeniom. Po zatwierdzeniu przez studenta egzamin trafia do oceny.

W czasie egzaminu osoba monitorująca może cały czas śledzić postępy studentów, a nawet wysyłać do nich wiadomości. Wykładowca ma też możliwość wstrzymania egzaminu dla konkretnego studenta – wtedy okno egzaminu jest blokowane i student nie może w nim wprowadzać zmian. Dostępna jest również możliwość dodania studentowi dodatkowego czasu, zarówno planowo, jak i awaryjnie.

Inspera wspiera także monitorowanie egzaminu z proctoringiem. System ma wbudowane mechanizmy rozpoznawania podejrzanych zdarzeń, takich jak pojawienie się innej osoby w kadrze studenta, czy wystąpienie hałasu, mogącego świadczyć o próbie porozumiewania się z osobami trzecimi  . Zdarzenia powodują spadek poziomu zaufania egzaminu – wątpliwe egzaminy oznaczane są czerwoną flagą, łatwo jest więc zidentyfikować studentów, którzy mogli podejść do testu nieuczciwie. Każde ze zdarzeń oznaczane jest na nagraniu z egzaminu, dzięki czemu wykładowca zaledwie paroma kliknięciami może samemu je zobaczyć i zweryfikować, co się wydarzyło.

Na prezentacji mogliśmy zobaczyć przykładowy egzamin w praktyce z perspektywy studenta i wykładowcy – zachęcamy do obejrzenia wideo!

Na koniec warto zadać kluczowe pytanie: czy uczelnie po pandemii pozostaną przy egzaminach elektronicznych?

Akademia WSB, jak mówiła Dr Sabina Ratajczak, zamierza wykorzystywać Insperę do egzaminów elektronicznych w siedzibie uczelni, choć niekoniecznie wszystkich. Zdaniem Pani Prorektor, jeśli tylko prawo na to pozwoli, to uczelnia będzie rozważać pozostanie przy zdalnym egzaminowaniu dla części egzaminów również po pandemii– jest to kwestia dyskusji, w którą powinni zostać włączeni wykładowcy i studenci.

Akademia Leona Koźmińskiego już od kilku lat wykorzystuje egzaminowanie elektroniczne i po pandemii to się nie zmieni, podkreśliła pani Anna Pałyga. „Elektroniczne egzaminy to nie przyszłość, to już teraźniejszość. Pytanie nie jest już czy, bo odpowiedź brzmi zdecydowanie tak, ale jak i na jaką skalę” – podsumowała ekspertka.