Jeszcze 30 lat temu wydawało się, że parametryzacja, czyli de facto pomiar aktywności twórczej, to działalność ekspercka i niezwykle trudna. A jednak obecnie jesteśmy w stanie porównywać aktywność naukową przy pomocy mierzalnych, ilościowych wskaźników. Ocena scientometryczna zaczęła brać górę nad oceną środowiskową. Dzisiaj widać to nie tylko w ewaluacji dyscyplin i jednostek, lecz także i w globalnym wyścigu krajów i uczelni, chociażby w postaci rankingów, gdzie kluczowe są właśnie kryteria scientometryczne.

Jakie szanse i wyzwania niesie ze sobą proces ewaluacji? Jak realizować niezbędny proces zarządzania nauką? Pytania te były tematem przewodnim 2. panelu Konferencji LUMEN 2021 z udziałem przedstawicieli trzech znakomitych uczelni, na co dzień ściśle współpracujących z PCG Academia w obszarze informatyzacji zarządzania nauką. Naszymi gośćmi byli:

  • Aleksandra Cisłak-Wójcik, Prorektor ds. Nauki Uniwersytetu SWPS;
  • Piotr Kuśtrowski, Prorektor ds. badań naukowych Uniwersytetu Jagiellońskiego;
  • Zygmunt Lalak, Prorektor ds. badań Uniwersytetu Warszawskiego.

Dyskusję moderował Prof. Łukasz Sułkowski (UJ, SAN), Prezes Zarządu PCG Polska.

Ocena zmian w procesie ewaluacji naukowej

Jak zaproszeni przedstawiciele uczelni oceniają zmiany wprowadzone w procesie ewaluacji? Na wstępie, Prof. Aleksandra Cisłak-Wójcik zwróciła uwagę, że ocena ewaluacji naukowej powinna się odbywać w odniesieniu do celów ewaluacji i jej przebiegu. Jakie są te cele? Czy są one powszechnie znane? Pod uwagę należy wziąć także koszty procesu ewaluacji. Sama ewaluacja powinna być powiązana z polityką naukową państwa, a ta z kolei być efektem szerokiej debaty i konsensusu środowiskowego. Dziś obowiązująca ustawa przyjęła kierunek prorozwojowy, ale z drugiej strony niska ocena grozi uczelniom poważnymi konsekwencjami, np. utratą uprawnień.

Nowa ustawa wymaga jednocześnie dysproporcjonalnie dużego wysiłku kadry akademickiej i administracyjnej w opracowaniu danych do ewaluacji oraz istotnie wysokich nakładów finansowych, które jednostki muszą inwestować w sprawozdawczość. Przykładowo, w przypadku trzeciego kryterium wiele jednostek nie prowadziło wcześniej ewidencjonowania efektów działalności, co przyniosło im obecnie ogrom pracy.

Adaptacja do nowych warunków wymaga też elementów gry w zakresie ograniczonych zasobów, zmusza do wyboru między działaniami długoterminowymi (np. inwestowaniem w szkoły doktorskie) a krótkoterminowymi (inwestowaniem w kadrę objętą ewaluacją). Prelegentka obawia się, że długotrwałym efektem może być rzadsze prowadzenie przełomowych badań i położenie nacisku na uzyskanie wyników publikacyjnych zgodnych ze znanymi koncepcjami, czyli zwrócenie się przez uczelnie do bezpiecznej strategii publikacyjnej, która ma większe prawdopodobieństwo szybkiego przyjęcia do druku. Wpływa to też na zachowania pojedynczych naukowców.

Prof. Zygmunt Lalak przyznał rację przedmówczyni, że aby ewaluacja przyniosła korzyści, musimy znać jej cel strategiczny i od początku wiedzieć, jakie efekty chcemy osiągnąć. Zdaniem prelegenta, w tej parametryzacji nie jest to do końca jasne i oczywiste.

W opinii prorektora UW, nowe zasady, zwłaszcza porównywanie dyscyplin zamiast jednostek, ma duże zalety, ale przynosi też pewne zagrożenia. Porównywanie dyscyplin ma większy sens, lecz na dużych uczelniach dyscypliny często są rozproszone i uprawiane w różnych jednostkach, które nie zawsze prowadzą spójną politykę naukową. Często mówiąc o dyscyplinie w dużej instytucji takiej jak UW mówimy tak naprawdę o uśrednionej wartości.

Inna duża zmiana to trzy kryteria. Pierwsze, czysto naukowe, jest najbardziej klarowne. Prelegent postawił pytanie, jak porównywać to podstawowe kryterium z dwoma pozostałymi, tj. mierzącymi wyniki finansowe działalności naukowej oraz wpływ nauki na społeczeństwo i gospodarkę. Czy dużymi wynikami finansowymi można tutaj skompensować słabą działalność publikacyjną? Czy niską innowacyjność można skompensować działaniami prospołecznymi? Uśrednianie lub dodawanie do siebie wyników z różnych kryteriów może doprowadzić do nieadekwatnego obrazu nauki w danej uczelni, uważa Prof. Lalak.

Mimo tych wątpliwości, prelegent sądzi, że ewaluacja jest niezbędna, gdyż służy ona samym uczelniom, które uzyskują pełną informację o tym, co się dzieje ramach każdej dyscypliny i o każdym pracowniku. Służy też jako informacja zwrotna dla społeczeństwa oraz dla ministerstw. Ze zdaniem tym zgadza się Prof. Sułkowski, który ewaluację postrzega jako proces samodoskonalenia uczelni.

W podobnym duchu wypowiadał się Prof. Piotr Kuśtrowski. Prorektor UJ sądzi, że kierunek zmian w ewaluacji, szczególnie zwrócenie się ku dyscyplinom, jest właściwy. Ekspert zwrócił jednak uwagę, że ewaluacja prowadzona jest na tych samych zasadach w bardzo różnych jednostkach – od uniwersytetów klasycznych, przez uczelnie techniczne czy przyrodnicze, po instytuty badawcze i PAN. Budzi to obawy o deformację obrazu polskiej nauki, dlatego zdaniem Prof. Kuśtrowskiego należy zastanowić się nad zróżnicowaniem procesu ewaluacji.

Przemyślenia wymaga także sam proces przygotowania do ewaluacji, który obecnie wiąże się z ogromnymi nakładami pracy i sporymi kosztami. Wiele można by w tym obszarze uprościć, uważa prelegent. Na pełną odpowiedź na pytanie, co trzeba poprawić w ewaluacji jest jednak za wcześnie, powinniśmy najpierw poznać wyniki tej parametryzacji, podkreślił Prof. Kuśtrowski.

Dobre praktyki wiodących uczelni

Najlepsza dla ewaluacji jest stałość i konsekwentna polityka naukowa na poziomie nie tylko państwa, ale i uczelni. Jakie metody i dobre praktyki stosują uczelnie w sferze zarządzania w przygotowaniu do ewaluacji?

Jak wyjaśnia Prof. Zygmunt Lalak, struktura UW po wprowadzeniu Ustawy 2.0 nie uległa zmianie. Wydziały uniwersytetu wciąż cieszą się dużą niezależnością w zakresie badań, lecz wzrosła rola centralnych organów administracyjnych, które zajmują się coraz bardziej złożoną obsługą działalności naukowej.

Największym wyzwaniem i powodem rosnącej centralizacji są warunki finansowe uprawiania nauki oraz sprawy organizacyjne związane ze zwiększającą się liczbą projektów na UW – obecnie jest ich 1400 na całej uczelni. Problematyczne i coraz bardziej wymagające jest opanowanie reguł prawnych i finansowych, którymi rządzą się poszczególne projekty z różnych programów. Stąd fachowa pomoc jednostek administracyjnych jest bardziej potrzebna. Wsparcie jest też udzielane w zakresie m.in. zamówień publicznych i realizacji usług zewnętrznych, co powoduje rozrost administracji na poziomie centralnym. Centralne biura takie jak Biuro Obsługi Badań ujednolicają praktyki stosowane na różnych wydziałach.

Za parametryzację odpowiadają władze uczelni i to one zatwierdzają wszelkie dane wprowadzane do systemu, mówił dalej prorektor UW. Proces ewaluacji wspierają rozmaite rady funkcjonujące na uczelni, a codzienne zarządzanie jest w rękach kierowników jednostek. Na potrzeby koordynacji procesów ewaluacji i sprawozdawczości powołano Ogólnouczelniany Komitet ds. Ewaluacji, w którego skład wchodzą przedstawiciele wszystkich dyscyplin.

Czy Uniwersytet SWPS, jako wiodąca uczelnia niepubliczna, radzi sobie z ewaluacją w podobny sposób? Głównym wyzwaniem w zarządzaniu nauką na SWPS jest lokalizacja kampusu w pięciu polskich miastach, co wymaga skupienia się na procesie integracji, opowiadała Prof. Aleksandra Cisłak-Wójcik. W wyniku Ustawy 2.0 wprowadzono macierzową strukturę zarządzania. Na 1. poziomie są wydziały, a na 2. instytuty. W instytutach właśnie ulokowane są procesy zarządzania nauką na średnim szczeblu, tam też umocowane są rady dyscyplin. Na SWPS działa również Zgromadzenie Dyrektorów Instytutów, czyli osób bezpośrednio odpowiedzialnych za ewaluację.

Na najniższym szczeblu działalność badawczą w uczelni organizuje sieć centrów badawczych, w tym centra międzykampusowe i interdyscyplinarne. Uniwersytet prowadzi również działania w kierunku zwiększenia umiędzynarodowienia prowadzonych badań oraz przygotowuje się do wdrożenia polityki Otwartej Nauki, która ma na celu podniesienie widoczności działalności uczelni i dostępności do wyników badań, w tym ich cytowalności.

Na poziomie centralnym proces wspierają Dział Badań Naukowych, Dział Projektów Rozwojowych i Centrum Transferu Wiedzy. W odpowiedzi na potrzebę całościowej integracji procesów zarządzania nauką, SWPS tworzy obecnie Dział Administrowania Nauką, gdzie wszystkie te procesy zostaną spięte oraz związane z 2. i 3. kryterium. Powołano również zespoły doraźne wspierające przygotowanie się do ewaluacji, takie jak Ogólnouczelniany Zespół ds. Trzeciego Kryterium. Zmieniono również strukturę zarządzania uczelnią, przeprowadzając dużą reformę wewnętrzną, oraz zintensyfikowano działania administracyjne i naukowe.

W przypadku UJ metody i dobre praktyki przypominają te stosowane przez UW, powiedział Prof. Piotr Kuśtrowski. Przygotowania do ewaluacji są zbliżone, gdyż podobna jest struktura obu uczelni. UJ posiada 16 wydziałów, które obejmują 28 dyscyplin – na uczelni nie ma jednodyscyplinowych wydziałów. To powoduje dużą trudność w przygotowaniach do parametryzacji. Ciężar ewaluacji został skierowany na rady dyscyplin, które powołały zespoły do agregowania informacji z różnych wydziałów, w czym współpracują z dziekanami. Na poziomie centralnym wprowadzono zaś komórkę, która obsługuje wszystkie rady dyscyplin oraz wspomaga je merytorycznie i organizacyjnie.

Coraz częściej kryteria scientometryczne stosuje się też do oceny pojedynczych pracowników, co budzi spore kontrowersje w środowisku. Czy powinniśmy dążyć w kierunku tworzenia systemów oceny, motywowania i wynagradzania pracowników, które będą przypominały systemy korporacyjne?

„Daleki jestem od tego, by przenosić system ewaluacji na system motywacji pracowników” – odpowiedział Prof. Piotr Kuśtrowski. Przełożenie wyniku ewaluacji wprost na nagradzanie pracowników byłoby zdaniem prorektora UJ skomplikowane oraz krzywdzące. Niemniej jednak prelegent uważa, że systemy motywacyjne powinny być jak najbardziej wprowadzane dla wyróżnienia badaczy najbardziej aktywnych i dających najlepsze wyniki naukowe uniwersytetowi.