Każda ewaluacja działalności naukowej to nie tylko złożony proces oceny dorobku – z punktu widzenia liderów uczelni to wielowymiarowy i rozłożony w czasie proces zarządzania kapitałem intelektualnym. Najbliższa ewaluacja będzie jednak szczególnie trudna.

Na bieżącą ewaluację nakładają się bowiem zmiany spowodowane wdrażaniem Ustawy 2.0 oraz wyborami rektorskimi, a dodatkowo musimy się mierzyć z efektami pandemii. Wszystko to doprowadziło do wydłużenia okresu ewaluacji na 5 lat, tak że obecna ewaluacja, pierwsza na nowych zasadach, zostanie przeprowadzona dopiero w 2022 r. Jak uczelnie powinny przez ten czas przygotować się do ewaluacji?

Problemom ewaluacji naukowej w nowych warunkach funkcjonowania uczelni poświęciliśmy czwarty webinar z cyklu „Uczelnie w czasie epidemii: nowe uwarunkowania i dobre praktyki”. W debacie nad wyzwaniami nowej ewaluacji wzięli udział wybitni eksperci w tej dziedzinie:

  • Stefan Jackowski – Członek Komisji Ewaluacji Nauki MNiSW, Uniwersytet Warszawski;
  • Jan Pomorski – Członek Komisji Ewaluacji Nauki MNiSW, Uniwersytet Marie Curie-Skłodowskiej w Lublinie;
  • Dr hab. Emanuel Kulczycki, prof. UAM – Uniwersytet im. Adama Mickiewicza w Poznaniu;
  • Dr Bartłomiej Skowron – Wydział Administracji i Nauk Społecznych, Politechnika Warszawska.

Webinarium otworzył Prof. Jerzy Woźnicki, Prezes Fundacji Rektorów Polskich oraz Prof. Łukasz Sułkowski (Uniwersytet Jagielloński, Społeczna Akademia Nauk), Prezes Zarządu PCG Polska.

Dyskusja toczyła się wokół trzech zagadnień: przewidywalności zasad ewaluacji i list wydawnictw, oceny wpływu społecznego osiągnięć naukowych oraz oceny okresowej nauczycieli akademickich. Zanim jednak paneliści zabrali głos, moderator Prof. Stefan Jackowski przedstawił główne zmiany planowane w rozporządzeniu MNiSW dot. ewaluacji.

Najważniejszą zmianą jest bez wątpienia wydłużenie okresu ewaluacji na lata 2017-2021, co wpływa istotnie na zarządzanie slotami. Jak wyjaśnił Prof. Jan Pomorski, wydłużenie „skutkuje zwiększeniem dopuszczalnych slotów autorskich zgłaszanych przez badaczy z czterech do pięciu, ale nadal przy ocenie dyscypliny będzie obowiązywał podstawowy parametr 3N, w konsekwencji preferując te z podmiotów, które zatrudniają badaczy wysokopunktujących, których wszystkie 5 publikacji może wejść do 3N”.

Inną ważną zmianą w rozporządzeniu jest ustalenie punktacji artykułów z lat 2017-18 w czasopismach nieujętych w bazach na 1 pkt. oraz punktacji artykułów opublikowanych w materiałach konferencyjnych zgodnie z aktualnym wykazem. Prof. Stefan Jackowski zwrócił jednakże uwagę, że nie rozwiązuje to problemu niespójności punktacji między ww. latami a okresem już po wejściu w życie Ustawy 2.0.

Wszyscy rozmówcy byli zgodni, że obecna lista wydawnictw wymaga dopracowania. Aktualne dwa poziomy to rozwiązanie ewaluacyjnie niespójne i niewystarczające – zbyt wiele zróżnicowanych podmiotów traktowanych jest na tym samym poziomie. Dr Bartłomiej Skowron sądzi, że powinnyśmy dążyć do upraszczania, np. ujednolicenia listy A z listą B. KEJN również postuluje jednolitą listę czasopism, dodał Prof. Pomorski. Eksperci podkreślili, że nie wolno nie doceniać tej kwestii, ponieważ kryteria ewaluacyjne znacząco wpływają na praktyki wydawnicze badaczy.

Czy możemy już dzisiaj przewidywać zasady, na jakich odbędzie się ewaluacja w 2022? Prof. Pomorski podkreślił, że kluczem jest tutaj stabilność podstawy prawnej, czyli w opinii KEJN przynajmniej 1,5 roku bez zmian regulacyjnych. Profesor podzielił się informacją, że KEJN ma zapowiedzi od resortu nauki, że we wspomnianym czasie nie nastąpią zmiany.

Bardziej sceptyczny był Dr hab. Emanuel Kulczycki. Oczekiwana przez środowisko stabilizacja zasad stoi w konflikcie ze zmianami polityki Ministerstwa. „Cele ministerialne zmieniane są nieustannie i nie możemy spodziewać się przewidywalności zasad”, uważa ekspert.

Dużo pozytywniej Dr hab. Emanuel Kulczycki odniósł się natomiast do budzącej niepewności uczelni sprawy nowego kryterium, czyli oceny wpływu społecznego. Popularnie zwane trzecim kryterium, odnosi się ono do długofalowych efektów działalności naukowej. Jego celem jest docenienie przepływu wiedzy od świata akademii do zastosowania w otoczeniu społeczno-gospodarczym, przy czym nie zawęża terminu „zastosowanie” do wyłącznie bezpośredniej aplikacji – wpływ społeczny to również każdy przejaw świadczący, że działalność naukowa została wykorzystana w celu ulepszenia otaczającego nas świata czy lepszego zrozumienia rzeczywistości.

W kryterium trzecim jednostki stoją przed dwoma kluczowymi zadaniami: zidentyfikowania tej działalności, która miała wpływ społeczny i udowodnienia tego wpływu, czyli pokazania, że można powiązać prowadzone w danej jednostce i dyscyplinie badania z wpływem, który zaistniał poza murami akademickimi.

Z badań pilotażowych na trzech uczelniach, przeprowadzonych przez Dr. hab. Kulczyckiego z Prof. Przemysławem Korytkowskim (ZUT w Szczecinie) we współpracy z KEJN wynika, że jednostki są w stanie sprostować kryterium trzeciemu. Prelegent wyjaśnił, że kryterium obejmuje długofalowe efekty, a więc jednostki mogą wykazywać wpływ badań, które były przeprowadzone nawet dekadę czy dwie temu, jeśli wpływ widoczny jest aktualnie.

Prof. Pomorski uzupełniając porady przedmówcy przypomina, że każda jednostka będzie musiała przechowywać dowody wpływu społecznego przez pięć lat. Wymaga to stworzenia przejrzystej bazy danych oraz odpowiednich narzędzi informatycznych do gromadzenia dowodów i zarządzania nimi.

Prof. Pomorski trafnie zauważył też, że z opisów wpływu wyciąga się średnią arytmetyczną, więc zarządzający uczelnią muszą dbać i o jakość, i o średnią, a nie liczbę opisów. Dr Skowron wyraził zaś nadzieję, że w ocenie wpływu będzie brana specyfika dyscypliny, ponieważ odmienny jest wpływ chociażby filozofii a transportu.

Ostatnią część dyskusji eksperci poświęcili na analizę wpływu ewaluacji na politykę personalną uczelni. Z jeszcze nieopublikowanych badań przeprowadzonych przez Dr. hab. Emanuela Kulczyckiego wynika, że 73% jednostek naukowych już w latach 2012-2018 używało w ocenie pracowników zasad ewaluacji z poziomu krajowego.

Dr Bartłomiej Skowron jest przekonany, że odsetek ten będzie tylko wzrastał. „W obecnym stanie prawnym trudno uciec od uwzględnienia w ocenie okresowej pracowników kryteriów ewaluacyjnych, zwłaszcza wypełnienia slotów” – podkreśla Dr Skowron. – „Waga ewaluacji istotnie wzrosła, powiązano z nią uprawnienia do nadawania stopni czy swobodę tworzenia nowych kierunków. Ponadto dużo większa liczba pracowników będzie ewaluowana, co najmniej 75%. Wcześniej widoczni byli najlepsi, teraz będzie średnia”. Dla zarządzających jednostką oznacza to zmianę strategii publikacyjnej na proewaluacyjną, aby podnieść średni poziom w całej dyscyplinie.

Zasady ewaluacji z pewnością wpłyną na długofalowe zarządzanie nauką w jednostkach, ich wpływ jest widoczny już obecnie. Pytanie, czy wpłyną w dobry dla rozwoju danej dyscypliny sposób? Przed zarządzającymi uczelniami leży tutaj nie lada wyzwanie…

 

Webinarium zakończyła krótka prezentacja rozwiązania Ewidencja Naukowa, będącego częścią Sciencecloud – ekosystemu narzędzi IT do zarządzania nauką w uczelni z oferty PCG Academia.

Webinarium  „Wydłużenie ewaluacji naukowej – nowe regulacje i uwarunkowania działania” odbyło się 4 maja 2020 r. w ramach I cyklu „Uczelnie w czasie epidemii: nowe uwarunkowania i dobre praktyki”. Organizatorami cyklu są PCG Academia i Fundacja Rektorów Polskich. Cykl objęty jest patronatami MNiSW, KRASP i Forum Akademickiego. Nagrania ze wszystkich webinariów dostępne są na YouTube na kanale PCG Academia.