Relacja z wystąpienia: System Ewaluacji Dorobku Naukowego (SEDN), czyli techniczna obsługa procesu ewaluacji
9 grudnia 2020 8 min czytaniaSystem Ewaluacji Dorobku Naukowego (SEDN) opracowywany przez Ośrodek Przetwarzania Informacji – PIB będzie narzędziem, które obsłuży proces ewaluacji w 2022 roku. W wyniku ewaluacji jednostki otrzymają kategorie naukowe, z którymi powiązane zostało finansowanie i uprawnienia do nadawania stopni.
Nic więc dziwnego, że wiele uczelni wyczekuje SEDN z niepokojem. Co tak naprawdę wiadomo już o SEDN? Szczegóły technicznej strony obsługi procesu ewaluacji zaprezentowali na Konferencji LUMEN 2020 reprezentanci OPI PIB: Marek Michajłowicz, Zastępca Dyrektora ds. Rozwoju Oprogramowania oraz Małgorzata Paszkowska, Kierownik Projektu SEDN.
W czasie swego wystąpienia prelegenci opowiedzieli o założeniach funkcjonowania SEDN oraz o pierwszych modułach, które będą dostępne w pierwszym wydaniu SEDN. Reprezentanci OPI przedstawili również plany rozwijania i dostarczania SEDN w dalszym etapie oraz nakreślili, co ich zdaniem publikacja SEDN oznacza dla przedstawicieli podmiotów w kontekście ewaluacji.
Czym jest SEDN – System Ewaluacji Dorobku Naukowego?
System Ewaluacji Dorobku Naukowego (SEDN) służy do prezentacji i oceny dorobku naukowego jednostek naukowych działających w Polsce. Za pomocą SEDN będzie realizowany najbliższy proces ewaluacji uczelni, pierwszy na nowych zasadach.
SEDN stanowi część systemu POL-on, czyli Zintegrowanej Sieci Informacji o Nauce i Szkolnictwie Wyższym. Jak wyjaśniła Kierownik Projektu SEDN, Małgorzata Paszkowska, SEDN będzie docelowo jedynym miejscem, gdzie uczelnie będą mogły zobaczyć całość dorobku naukowego (publikacje, patenty etc.) w kontekstach ewaluacyjnych.
Co ciekawe, nie jest to pierwsza wersja SEDN. System działał już wcześniej, lecz tylko i wyłącznie na potrzeby oceny eksperckiej. Obecnie system zostanie udostępniony również ocenianym podmiotom. Dostęp do SEDN będą miały wszystkie podmioty – niezależnie od tego czy są ewaluowane z mocy ustawy, czy na własny wniosek, jednostki przechodzą proces ewaluacji w aplikacji SEDN identycznie.
Wersja demo SEDN zostanie wkrótce udostępniona uczelniom i będzie dostępna do grudnia 2021 roku, a po tej dacie przejdzie płynnie do wersji produkcyjnej. Dokładny termin publikacji nie jest znany i musi jeszcze zostać uzgodniony przez OPI z Ministerstwem Edukacji i Nauki, ponieważ to resort prowadzi weryfikację systemu. W wersji demo będą prezentowane już docelowe rozwiązania oraz wyłącznie dane produkcyjne, czyli realne dane dostarczone przez uczelnie.
Dane zawarte w SEDN pochodzić będą z innych systemów, aktualnie przede wszystkim POL-on oraz PBN, czyli Polskiej Bibliografii Naukowej. W założeniach OPI do aplikacji SEDN nie będzie można bezpośrednio wprowadzić żadnych danych. Aplikacja SEDN będzie tylko gromadzić dane ze wszystkich modułów zintegrowanego systemu i przedstawiać je w kontekście ewaluacji wyłącznie w formie do odczytu. Oznacza to, że w przypadku potrzeby korekty danych trzeba będzie wrócić do tych systemów źródłowych, w których dane były wprowadzone, np. PBN. Nie będzie też możliwości integracji SEDN z systemami zewnętrznymi, a API będzie udostępniane jedynie dla aplikacji źródłowych, skąd SEDN pobiera dane, np. PBN lub moduły POL-on.
Ponadto na chwilę obecną, jak mówiła Małgorzata Paszkowska, Kierownik Projektu SEDN, nie planowane jest odświeżanie danych „na żywo” między bazami. Docelowo twórcy SEDN zakładają, by rezultaty pracy w aplikacjach PBN i POL-on był widoczne na drugi dzień po ich dokonaniu. Rozwiązanie to ma zapewnić stabilizację danych w SEDN.
Wątpliwości pracowników uczelni budziła kwestia, czy w demo SEDN będą widoczne wszystkie publikacje zgłaszane przez instytucje czy tylko wybrane z nich. Jak zapewniła Kierownik Projektu SEDN, nie ma żadnych filtrów między PBN a SEDN, które by odrzucały prawidłowo wprowadzone publikacje. Jednakże w przypadku, gdy w PBN znajduje się publikacja bez przypisanej dyscypliny, taka pozycja nie może zostać zaprezentowana w SEDN, ponieważ SEDN pokazuje dorobek tylko w kontekście dyscyplin. Jest to jedyny przypadek, gdy SEDN może nie pokazać jakiejś publikacji – przy pobieraniu danych do SEDN nie będzie stosowane żadne odsiewanie jakościowe i SEDN pokaże wszystkie dane z aplikacji źródłowych w kontekście ewaluacji.
Jakie funkcje będą dostępne w demo SEDN?
Pierwsze wydanie SEDN dla podmiotów – mająca się niebawem ukazać wersja demo – będzie zawierać pakiet funkcjonalności, które udało się do tego momentu wytworzyć.
Pierwszym modułem, który zostanie udostępniony w wersji demo SEDN jest moduł „Podmiot w ewaluacji”. Ten moduł SEDN będzie zawierał podstawowe dane o podmiocie zaciągnięte bezpośrednio z systemu POL-on, w tym wnioski i oświadczenia złożone przez podmiot wraz z ich statusem czy stan przygotowania do ewaluacji, którego status będzie się zmieniał w czasie. Moduł będzie również zawierał narzędzie nazwane kartą oceny, która będzie pokazywać informacje o m.in. ograniczeniach parametrycznych i dorobku naukowym podmiotu w danej dyscyplinie, a także zbiorcze informacje dotyczące całego podmiotu.
Kolejnym modułem aplikacji SEDN, który zostanie dostarczony w wersji demo jest moduł „Osoba w ewaluacji”. Zawartość tego modułu przedstawia się następująco: lista osób w podmiocie z wyróżnieniem pracowników i uczestników szkół doktorskich, lista osób bez zdefiniowanych dyscyplin, lista osób z możliwością zmiany dyscypliny oraz lista osób, które oświadczyły więcej niż dwie dyscypliny i trzeba dla nich zadeklarować konkretną.
Do każdej z list będzie dostępny pakiet filtrów, które pozwolą na przeszukiwanie ich zawartości. Z list będzie można przejść do szczegółów osoby, gdzie zawarte zostaną podstawowe dane takie jak dyscyplina osoby z wyliczeniami dotyczącymi liczby N, dane dotyczące zatrudnienia lub uczestnictwa w szkole doktorskiej, informacje dotyczące dorobku naukowego i artystycznego oraz alerty przypisane do danej osoby.
W wersji demo SEDN będzie dostępny także moduł „Osiągnięcia naukowe i artystyczne”. Aktualnie zakres modułu jest zawężony do danych dotyczących publikacji naukowych z systemu Polska Bibliografia Naukowa (PBN). Na moduł składają się lista osiągnięć prezentowana w kontekście dyscypliny w podmiocie oraz lista osiągnięć bez przypisanych dyscyplin. Ta ostatnia dotyczyć będzie tylko patentów – publikacje bez dyscyplin nie będą w ogóle widoczne w aplikacji SEDN.
Tak jak w module osobowym SEDN, tak i tutaj będzie dostępny pakiet filtrów, który pozwoli wyszukiwać osiągnięcia oraz będzie można przejść z listy osiągnięć do szczegółów osiągnięcia, gdzie wyświetlone zostaną dane dotyczące danego osiągnięcia już z konkretną punktacją oraz alertami.
Z poszczególnych modułów SEDN użytkownicy będą mieli możliwość eksportu danych widocznych na bieżącym ekranie do plików PDF, CSV oraz XML. Na poszczególnych podstronach aplikacji SEDN zaimplementowano także słownik, który zawiera definicje pojęć pojawiających się na danym ekranie oraz reguły, czyli wyciągi z aktów prawnych.
Kolejne etapy rozwoju aplikacji SEDN
Po pierwszym opublikowaniu SEDN regularnie będą dostarczane przyrosty funkcjonalności w około miesięcznych iteracjach. Aktualnie w OPI trwają prace koncepcyjne nad algorytmem optymalizacyjnym. Jako że SEDN jest aplikacją read-only – tylko do odczytu – nie będzie można zaimplementować własnych algorytmów do SEDN, w aplikacji będzie tylko wersja OPI tego algorytmu. Cały czas trwają też prace nad zapewnieniem przejrzystości SEDN oraz jak najlepszego user expierence.
Ośrodek Przetwarzania Informacji będzie ponadto reagował bieżąco na problemy zgłaszane przez podmioty. Prelegenci zachęcali wszystkich przedstawicieli uczelni do nadsyłania informacji zwrotnych dotyczących funkcjonalności aplikacji SEDN i wszelkich uwag, które pomogą spełnić oczekiwania społeczności wobec SEDN. Ponadto planowane są szkolenia z obsługi SEDN organizowane przez OPI, a także przez resort nauki. Informacje o szkoleniach mogą pojawić się jeszcze w tym roku.
Co demo SEDN oznacza dla uczelni?
Upublicznienie demo SEDN ma na celu mobilizację jednostek do rozpoczęcia procesu organizacji pracy nad ewaluacją w podmiotach. Wersja demo SEDN, jak wspominaliśmy, będzie pracować na realnych danych pobieranych z PBN i POL-on, dokąd dane te dostarczyły uczelnie. Uczelnie będą mogły więc zacząć szeroko zakrojone analizy, a także na optymalizację oraz poprawę jakości tych danych. Będzie to czas również na zapoznanie się z możliwościami aplikacji SEDN oraz przygotowanie się do rzeczywistej pracy, gdy ruszy proces ewaluacji. Uczelnie będą też mogły już wyznaczać osoby, które będą pełniły konkretne role w SEDN na swoich jednostkach. OPI nie planuje ograniczać liczby osób przypisywanych do poszczególnych ról, jednostkom pozostawiono tu pełną dowolność.
OPI zachęca do skorzystania z wersji demo, gdy będzie ona już dostępna i wcześniejsze rozpoczęcie przygotowań do ewaluacji. „Ten, kto nie podejmie tego wysiłku w tym momencie po prostu straci ten czas później na przygotowanie się do pracy w SEDN, kiedy będzie już upubliczniony produkcyjnie i zacznie się realne działanie na potrzeby ewaluacji” – mówiła Małgorzata Paszkowska, Kierownik Projektu SEDN.