Ewaluacja jakości działalności naukowej to jeden z kluczowych instrumentów wdrażanej reformy nauki i szkolnictwa wyższego. W zakresie metodyki analizowania działalności naukowej nastąpiły ogromne zmiany w stosunku do poprzedniej ustawy, wywierając istotny wpływ na sposób funkcjonowania uczelni. Obecnie z kategorią naukową, którą uzyska dana dyscyplina naukowa, związane są m.in. uprawnienia do nadawania stopni naukowych oraz udziału w prestiżowych programach, takich jak Inicjatywa Doskonałości – Uczelnia Badawcza.

Ewaluacja zatem budzi szereg emocji, tak nadziei, jak i niepokoju. Przygotowanie uczelni do tak ważnego procesu wymaga zaplanowania i prowadzenia szeregu działań organizacyjnych, w tym działań związanych z monitorowaniem dorobku i motywowaniem pracowników.

Wyzwaniom najbliższej ewaluacji naukowej poświęcony był panel kończący 1. dzień Konferencji LUMEN 2020. W dyskusji moderowanej przez Prof. Arkadiusza Mężyka, Przewodniczącego Konferencji Rektorów Akademickich Szkół Polskich, uczestniczyli wybitni eksperci:

  • Maciej Duszczyk, Prorektor ds. naukowych Uniwersytetu Warszawskiego w kadencji 2016–2020,
  • Jan Pomorski, Członek Komisji Ewaluacji Nauki,
  • Sławomir Wiak, Rektor Politechniki Łódzkiej w kadencji 2016–2020,
  • Krzysztof Zaremba, Rektor Politechniki Warszawskiej w kadencji 2020–2024.

UCZELNIE A INSTYTUTY PAN – RÓWNE SZANSE W EWALUACJI?

Jednym z głównych tematów toczących się aktualnie dyskusji jest wspólna ewaluacja szkół wyższych i podmiotów naukowych, takich jak instytuty Polskiej Akademii Nauk czy jednostki Sieci Łukasiewicz. Środowisko akademickie uważa, że szanse pracowników uczelni, którzy znaczną część czasu pracy poświęcają na dydaktykę, nie są takie same jak pracowników instytutów badawczych. Pojawiają się głosy, że konieczne jest wprowadzenie rozwiązań rozróżniających te uwarunkowania w procesie ewaluacji.

Jak sprecyzował Prof. Maciej Duszczyk, praca badawcza zajmuje pracownikom większości uczelni ok. 45% czasu pracy, czyli 0,45 wskaźnika, który brany jest pod uwagę w liczbie N. W jaki sposób poradzić sobie z tym problemem? Jedną z opcji, mówił Prof. Duszczyk, jest zastosowanie rozwiązania z poprzedniej parametryzacji, czyli wprowadzenie różnych grup oceny dla uczelni, jednostek naukowych PAN i pozostałych instytutów badawczych.

Innym rozwiązaniem możliwym do zastosowania jest przeliczenie liczby N poprzez udział pracowników badawczych i badawczo-dydaktycznych w prowadzeniu działalności badawczej. W tych obliczeniach pracownicy badawczy uczelni powinni być liczeni jako 1, a dla pracowników badawczo-dydaktyczni powinniśmy przyjąć arbitralny wskaźnik 0,7 lub 0,6. Zdaniem Prof. Duszczyka takie rozwiązanie wyrównywałoby szanse w ewaluacji.

Prof. Jan Pomorski również uważa, że w tej sytuacji nie mamy do czynienia z równą rywalizacją. Reprezentant KEN widzi tutaj dwa możliwe rozwiązania, które mogłyby zapewnić te same warunki wszystkim podmiotom ubiegającym się o przyznanie kategorii w danej dyscyplinie. Pierwsze to zachowanie liczby N z przypisaniem do niej różnych wag w zależności od rodzaju etatu, na jakim jest zatrudniony pracownik. Druga możliwość to różna liczba wymaganych slotów, co w konsekwencji sprowadza się do zastąpienia 3xN w przypadku uczelni innym mnożnikiem dla wyrównania szans przy konkurowaniu z instytutami badawczymi w danej dyscyplinie.

KEN planuje przeprowadzić symulacje w SEDN na danych rzeczywistych, by sprawdzić, na ile zróżnicowanie między instytutami i uczelniami jest dyscyplinarnie istotne oraz czy wymagana będzie korekta w algorytmie, by nie zafałszować obrazu działalności naukowej w poszczególnych dyscyplinach i jednostkach.

Również Rektor Politechniki Warszawskiej Prof. Krzysztof Zaremba uważa, że szanse instytutów PAN oraz uczelni w współzawodnictwie nie są jednakowe. Uczelnie odpowiadają nie tylko za badania, ale także za kształcenie, co w instytutach poza szkołami doktorskimi nie ma miejsca. Prelegent przytoczył wyniki poprzedniej ewaluacji – wtedy liczba instytutów, które uzyskały najwyższe kategorie A i A+ wyniosła ponad 72%, natomiast w przypadku uczelni ten odsetek wyniósł ok. 36%. To zdaniem Prof. Zaremby potwierdza odmienność uwarunkowań.

Jedynym rozwiązaniem tej sytuacji w opinii Rektora PW jest rozdzielenie uczelni i instytutów, dlatego że są one trudno porównywalne, a ustalenie arbitralnego współczynnika korekcyjnego jest zbyt skomplikowane. Pod uwagę należałoby wziąć czynniki, które są niemożliwe do zmierzenia i określenia liczbowego, takie jak ciągłość pracy badawczej. „Co prawda to jest problem całej ewaluacji, że  próbujemy zmierzyć coś, co jest niemierzalne” – podsumował wyzwania ewaluacji Prof. Krzysztof Zaremba.

Z przedmówcą zgodził się Prof. Sławomir Wiak, Rektor Politechniki Łódzkiej poprzedniej kadencji. Jakiekolwiek wskaźniki są trudno definiowalne, ponieważ istnieje duże zróżnicowanie także wewnątrz grup podmiotów, takich jak uczelnie czy jednostki Sieci Łukasiewicz. Z powodu tej niejednolitości niełatwe staje się również podzielenie jednostek na grupy, choć to rozwiązanie prelegent uważa za konieczne. Prof. Sławomir Wiak, a także Prof. Arkadiusz Mężyk, zwrócili uwagę na znaczny wzrost obciążenia dydaktyką wynikający z pandemii i przygotowywania zajęć zdalnych. Z tego powodu dwa okresy ewaluacji, 2017–2018 oraz 2019–2021, stają się nieporównywalne zwłaszcza w przypadku uczelni.

KRYTERIUM TRZECIE – JAK MIERZYĆ WPŁYW?

Kryterium trzecie w ewaluacji odnosi się do wpływu badań naukowych na otoczenie i dzieli się na dwa obszary: zasięg wpływu i znaczenie wpływu. O ile kryteria pierwsze i drugie bazują na wskaźnikach liczbowych, o tyle kryterium trzecie jest oceną ekspercką. Zawsze będzie więc tu pewna doza subiektywności. Jak zorganizować proces oceny, aby była ona sprawiedliwa? Jak dokonać wyboru ekspertów? Czy będziemy obserwować liczne odwołania od wyników ewaluacji?

Reprezentujący KEN Prof. Jan Pomorski przyznał, że Komisja ma świadomość problemów, które mogą wiązać się z kryterium trzecim, dlatego w tym zakresie podjęto staranne przygotowania. Przeanalizowano Raport z pilotażu procedur oceny wpływu społecznego, który pozwolił KEN dostrzec potencjalne słabości i zagrożenia związane z nową ewaluacją. W tym momencie przygotowuje się w ramach KEN zespół ds. kryterium trzeciego, który opracuje materiały wyjaśniające dla osób będących sporządzać opisy wpływu oraz dla ekspertów. Ponadto po zakończeniu szkoleń dla ekspertów, których wybór aktualnie trwa, KEN rozpocznie dużą akcję informacyjną i szkoleniową dla uczelni, pokazującą, jak dobrze przygotowywać opisy wpływu.

Prelegent przypomniał tutaj słuchaczom, że najważniejszy jest dowód, że wpływ faktycznie występuje w dwóch obszarach: zasięgu i znaczenia, bo właśnie dowody będą sprawdzane przez ekspertów. „Dowody muszą być przygotowane w postaci cyfrowego repozytorium i przechowywane przez 5 lat, o czym uczelnie często zapominają” – podkreślił członek KEN. Dokumentacja opisów wpływu musi być sporządzona w języku polskim i angielskim oraz dostępna dla ekspertów przez długi okres, dlatego budowa repozytorium jest kluczowa.

Istotnym dylematem w opinii Prof. Pomorskiego jest waga kryterium trzeciego. Te 20% wagi to wystarczająco dużo, by realnie wpłynąć na kategorię, którą uzyska jednostka, co może przesądzić nawet o posiadaniu bądź nie uprawnień do doktoryzowania. Dlatego Profesor zgadza się z pojawiającym się w środowisku postulatem obniżenia wagi kryterium trzeciego do 10%. Prelegent postuluje, by w zamian wprowadzić kryterium czwarte obejmujące liczbę samodzielnej kadry naukowej zatrudnionej w podmiotodyscyplinie ze zróżnicowanymi wagami dla profesorów tytularnych i dla doktorów habilitowanych. „Kadra to przecież najmocniejsze i najważniejsze aktywo”, podkreślił Prof. Jan Pomorski.

Prof. Krzysztof Zaremba zgodził się z przedmówcą, że wskazane jest obniżenie wagi tego kryterium do 10%. Rektor PW dodał, że lektura wspomnianego raportu nie napawa optymizmem. Pojawiały się w nim przypadki skrajnie odmiennych ocen dokonanych przez ekspertów. Przyczynę diametralnych różnic autorzy raportu upatrywali w niewiedzy: jednostki nie bardzo wiedziały, jak opisywać wpływ swoich osiągnięć, natomiast recenzenci nie do końca wiedzieli, jak je oceniać. Z jednej strony prelegent ma nadzieję, że akcja informacyjna, która ma zostać przeprowadzona przez KEN, rozwieje te wątpliwości, ale z drugiej strony uważa za niepokojące, że na ocenę jednostki wpływa nie tyle jej osiągnięcie, tylko sposób, w jaki zostało ono opisane.

Z kolei Prof. Sławomir Wiak zwrócił uwagę na jeszcze inny aspekt. Otóż wpływ w małych ośrodkach akademickich może zupełnie różnić się w stosunku do dużego ośrodka, lecz nie oznacza to, aby któryś z nich był lepszy bądź gorszy. Każda uczelnia ma swoją misją społeczną i na swój sposób działa na rzecz rozwoju również ośrodków lokalnych. Ten wpływ na otoczenie lokalne to równie ważny element misji uczelni.

Prof. Maciej Duszczyk zaś za niezmiernie istotne uznaje kwestię doradztwa dla uczelni, które osiągnięcia powinny wybrać. „Mogę sobie wyobrazić dyscypliny na Uniwersytecie Warszawskim, które konkretnych przykładów wpływu będą mogły podać kilkanaście. Dzisiaj bardzo borykają się, które z nich wybrać i opisać” – mówił Prof. Duszczyk. Potrzebne są doradztwo i rozwiązania analityczne, które wesprą uczelnie w doborze najlepszych osiągnięć.

Prelegent uważa także, że dobór ekspertów będzie niezmiernie trudny. W jaki sposób zadbać o uniknięcie konfliktu interesów, gdy wszystkie uczelnie są zaangażowane w proces ewaluacji? Prelegent odnosi wrażenie, że niestety dobór ekspertów i później ich oceny będą podważane, również pod kątem wskazywania konfliktu interesów, który mógł nastąpić.

Odpowiadając na wątpliwości przedmówcy, Prof. Jan Pomorski uzupełnił, że duża część ekspertów oceniających wpływ będzie wywodziła się spoza akademii. KEN w procesie rekrutacji ekspertów zwraca się do środowisk z otoczenia uczelni, np. z obszarów kultury. Ponadto Przewodniczący KEN nawiązał kontakt z komitetami naukowymi PAN, prosząc o pomoc w typowaniu osób, które mogłyby podjąć się oceny eksperckiej w ewaluacji kryterium trzeciego. KEN poszukuje również ekspertów zagranicznych i tutaj będą korzystać z bazy ekspertów międzynarodowych NCN i NCBiR. Prof. Pomorski wyraził nadzieję, że działania te pomogą wyeliminować konflikt interesów.

JAK EWALUACJA WPŁYNIE NA POZIOM FINANSOWANIA UCZELNI?

Jak głęboko ewaluacja 2021 wpłynie na zmianę poziomu finansowania działalności uczelni i na redystrybucję środków wewnątrz uczelni dla poszczególnych dyscyplin?

Zdaniem Prof. Macieja Duszczyka, zasady subwencji zostaną po prostu dostosowane do wyników parametryzacji. Potencjalnie skutki finansowe ewaluacji mogą być bardzo duże, np. w przypadku uczelni, która uzyskuje jedną kategorię B, a do tej pory jej nie miała i była traktowana jako uczelnia badawcza. Skutki te poprzez zmianę samego algorytmu przyznawania subwencji pewnie zostaną ograniczone. Jeśli zaś chodzi o kwestie wewnętrzne, tu panuje pełna autonomia – o podziale subwencji decyduje sama uczelnia.

Przewodniczący KRASP, Prof. Arkadiusz Mężyk, zgodził się, że każda uczelnia ma własny algorytm podziału subwencji, więc redystrybucja środków zależeć będzie od polityki prowadzonej wewnątrz danej uczelni. Profesor dodał jednakże, że większość uczelni ma przeniesione pewne mechanizmy z algorytmów zewnętrznych dotyczących kategorii poszczególnych dyscyplin naukowych. „Myślę, że trudno jest przewidzieć wyniki w tej ewaluacji, więc rzeczywiście jej wpływ może być bardzo duży na podział środków” – podsumował Przewodniczący KRASP.

Dyskusja pokazała, że pomimo iż ewaluacja zbliża się wielkimi krokami, w dalszym ciągu jest wiele kwestii, które wymagają doprecyzowania. Przede wszystkim należy pochylić się nad sposobem uwzględniania różnych jednostek szkolnictwa wyższego i jednostek badawczych w procesie ewaluacji, a także zapewnienia rzetelności ocen eksperckich i właściwego przypisania wag różnym kryteriom. Kluczem do tych wszystkich decyzji będą wstępne analizy, które KEN i każda z uczelni będą mogły przeprowadzić na realnych danych w SEDN i innych systemach informatycznych. Prelegenci są przekonani, że wyniki analiz i symulacji pozwolą doprecyzować kryteria tak, żeby wyniki ewaluacji były zaakceptowane przez członków całej wspólnoty akademickiej.