Tematyce ewaluacji naukowej oraz przyszłości tego procesu zarówno w Polsce, jak i na poziomie międzynarodowym poświęciliśmy pierwszą debatę na konferencji ScienceCon 2022. Dyskusji podjęli się wyjątkowi goście: Phil Baty – Chief Knowledge Officer w Times Higher Education, Prof. Lauritz Holm-Nielsen – Rektor Emeritus Uniwersytetu w Aarhaus, Prof. Stanisław Kistryn – Pełnomocnik Rektora ds. Współpracy w ramach Una Europa na Uniwersytecie Jagiellońskim oraz Prof. Elżbieta Żądzińska, Rektor Uniwersytetu Łódzkiego. Międzynarodową debatę moderował Prof. Łukasz Sułkowski, Prezes Zarządu PCG Polska oraz Kierownik Katedry Zarządzania Instytucjami Szkolnictwa Wyższego UJ.

KIERUNKI ZMIAN W EWALUACJI NAUKOWEJ

Prof. Lauritz Holm-Nielsen wskazał, że główne zmiany w nauce i jej ewaluacji będą związane ze zrównoważonym rozwojem. W obliczu pandemii i wojny systemy szkolnictwa wyższego muszą wykazać się zarówno odpornością, jak i elastycznością, co w opinii eksperta się udało. Uczelnie przystosowały się do nowych okoliczności cyfryzując wiele procesów dzięki narzędziom IT, które pozostaną z nimi na dłużej.

To, co obserwujemy dzisiaj, to jednak tylko wierzchołek góry lodowej, sądzi prelegent. Przed uczelniami jeszcze większe wyzwania związane z kryzysem klimatycznym, przeludnieniem i potencjalnym niedoborem zasobów. Od czasów pierwszego uniwersytetu to społeczność akademicka podejmowała się rozwiązywania problemów świata i teraz nie powinno być inaczej.

Niestety dzisiaj same badania mogą nie wystarczyć – aż połowa populacji nie wierzy doniesieniom naukowym, mówił Prof. Holm-Nielsen. W zalewie fake newsów coraz trudniej wychwycić prawdę, tym bardziej potrzebne jest usystematyzowane podejście do oceny peer review i ewaluacji na poziomie międzynarodowym. Trzeba wzmacniać też instytucje stojące na straży jakości danych i badań oraz tworzyć nowe metody walki z dezinformacją.

„Moim zdaniem ewaluacja naukowa i rankingi będą musiały doprowadzić nas do tego, byśmy opierali się na wskaźnikach, które można zmierzyć i zweryfikować” – podkreślił ekspert. Dodał, że z pewnością wzrośnie rola oceny jakościowej. „Myślę, że powinniśmy stworzyć taki system ewaluacji, który pozwoli nam ocenić, gdzie się znajdujemy, bo jeśli nie będziemy tego wiedzieć, nie będziemy też w stanie określić kierunku dokąd zmierzamy” – zakończył Prof. Lauritz Holm-Nielsen.

ROLA INSTYTUCJI RANKINGUJĄCYCH W EWALUOWANIU UCZELNI

O ewaluacji z perspektywy instytucji rankingującej opowiedział Phil Baty z Times Higher Education. Pierwsze rankingi THE powstały dla celów tworzenia polityki naukowej oraz oceny efektów finansowania nauki w Wielkiej Brytanii. Zdecydowano się na stworzenie rankingu międzynarodowego z potrzeby benchmarkingu i lepszego zrozumienia wyników uczelni i badań na tle innych krajów. Pierwszy ranking THE ujrzał światło w 2004 roku. Z rankingów szybko zaczęło korzystać znacznie szersze grono osób, a zwłaszcza kandydaci na studia.

Metodologia rankingów oparta na wskaźnikach bibliometrycznych niestety jednak dyktowała zachowanie uczelni zamiast stanowić jedynie punkt odniesienia w ocenie własnego dorobku. Nie ma jednego modelu doskonałości uczelni, stąd nie tylko wprowadzano zmiany w metodologii, ale też i ostatecznie stworzono zupełnie nowe rankingi odnoszące się do zróżnicowanych misji uczelni.

Najnowszym z nich jest THE Impact Rankings, którego pierwszą edycję opublikowano w 2019. Ramy wielostronnej oceny uczelni w rankingu stanowią Cele Zrównoważonego Rozwoju ONZ. „Zamiast liczyć to, co jest mierzone, mierzymy to, co się liczy” – powiedział Phil Baty o istocie rankingu. Adaptując metryki do szybko zmieniającego się świata THE umożliwia czerpanie z rankingów wartości dodanej i informacji zwrotnej o działalności uczelni przydatnej do dalszego zarządzania uczelnią.

Z analityki danych obejmujących tysiące uczelni na całym świecie można również wychwycić niedostrzegalne trendy w szkolnictwie wyższym. W kierunku analityki chce także zmierzać rząd Wielkiej Brytanii, gdzie myśli się odejściu od peer review na rzecz mierzalnych wskaźników, takich jak są stosowane w rankingach THE. Głównym powodem jest koszt peer review wynoszący 250 mln funtów rocznie.

Uzupełniając wypowiedź Phila Baty’ego, Prof. Lauritz Holm-Nielsen dodał, że również w Danii myśli się o zmianie systemu peer review. Ostatnio zastosowano sztuczną inteligencję w algorytmie pozwalającym wyliczyć, które środki finansowe rzeczywiście przyczyniają się do rozwoju nauki.

EWALUACJA Z PERSPEKTYWY REKTORA

Rektor UŁ Prof. Elżbieta Żądzińska rolę ewaluacji postrzega podobnie jak przedmówcy. Ewaluacja zdaniem Rektor powinna dostarczać informacji komparatywnych oraz stworzyć właściwe miary reputacji naukowej służącej jako podstawa alokacji funduszy na badania i do przedstawienia opinii publicznej.

W opinii Rektor pierwszą edycję nowej ewaluacji można uznać za udaną. W ostatniej reformie ewaluacja i następująca po niej kategoryzacja zostały powiązane. Przekładają się one bezpośrednio na finansowanie uczelni i możliwość udzielania stopni naukowych. Ponadto oceniane są w niej badania wszystkich pracowników naukowych, co prelegentka uznaje za duży plus.

Za najważniejsze Rektor UŁ uważa pojawienie się badania wpływu na społeczeństwo i gospodarkę, którą to zmianę ocenia bardzo pozytywnie i uważa, że w tę stronę powinny dążyć rozwój procesu oceniania i porównywania uczelni.

INICJATYWY DOSKONAŁOŚCI A ROZWÓJ NAUKI

Jedną ze zmian wpływającą na krajobraz nauki jest wprowadzenie Inicjatywy Doskonałości – Uczelnia Badawcza. Jak wyjaśniał Prof. Stanisław Kistryn, uczelnie badawcze wyłonione w IDUB mają inne algorytmy finansowania i nie opiera się ono na zeszłych osiągnięciach. Zdaniem prelegenta IDUB należy traktować jako rodzaj wielkiego projektu, z którego uczelnie są rozliczane.

Dzięki środkom z IDUB Uniwersytet Jagielloński może realizować wiele dodatkowych inicjatyw wspierających naukowców, które są połączone ze strategią uczelni. Najważniejszą jednostką na uczelni z tego punktu widzenia jest Centrum Wsparcia Nauki. Zatrudnieni w nim profesjonaliści wspierają kadrę UJ w zdobywaniu grantów (w szczególności na poziomie ERC i Horizon 2020), przygotowywaniu i realizacji projektów oraz ich sprawozdawczości. UJ prowadzi też programy zachęt (wyjazdy, finansowanie, redukcja godzin dydaktycznych itd.), mających na celu motywowanie badaczy do ubiegania się o udział w projektach europejskich. Efekty działań uczelni są wyraźne – w dwa lata po rozpoczęciu inicjatywy badacze pozyskali granty, których uczelnia wcześniej nie zdobywała, podkreślił Prof. Kistryn.

Korzystając z IDUB zwiększono też nacisk na internacjonalizację. UJ oferuje stypendia naukowe, którymi chce przyciągać najlepszych naukowców ze świata oraz osobny program skierowany do młodych badaczy chcących rozpocząć pracę na UJ jako samodzielni pracownicy nauki.

Także Uniwersytet Łódzki uczestniczy w IDUB. Prof. Elżbieta Żądzińska podkreśliła, że perspektywy rozwoju uczelni związane są właśnie z rozwijaniem doskonałości badawczej i strategią „Nauka na 1. miejscu”. Wiele ze środków z IDUB uczelnia przeznacza dla doktorantów i młodych doktorów, żeby wspierać nowe pokolenie badaczy.

Prof. Lauritz Holm-Nielsen uważa, że rozwój centrów doskonałości i systemu grantowego w Polsce okazał się dużym sukcesem, zwłaszcza IDUB, który przyczynił się do zwiększenia stabilności dla uczestniczących w nim uczelni. Zdaniem Rektora-Emeritusa IDUB pokazuje, jak ważna jest autonomia uczelni, która musi iść w parze z odpowiedzialnością i rozliczalnością. Prelegent sądzi, że najlepszy system to taki, w którym uczelnie są „pozostawione same sobie”, ale jednocześnie są zobowiązane do sprawozdawczości i rozliczenia się z pozyskanych środków. „Powinniśmy monitorować, ale bez nadmiernej interwencji” – podsumował. Profesor rekomenduje ponadto, by zamiast produkowania setek stron peer review przyjrzeć się, jak uczelnie są zarządzane, a także zarządzaniu wewnętrznemu w poszczególnych projektach, oraz czy rozwijana jest współpraca z innymi uczelniami.