LUMEN 2021: Od danych naukowych do sukcesu w ewaluacji naukowej i w międzynarodowych rankingach uczelni
30 listopada 2021 7 min czytaniaDane naukowe i badawcze to wielowymiarowa struktura, obejmująca nie tylko osiągnięcia naukowe, ale również dane o działalności projektowej i komercjalizacji, o działalności organizacyjnej (pełnione funkcje, zdobyte tytuły) oraz o wpływie na społeczeństwo i zrównoważony rozwój.
Ta różnorodność powoduje, że gromadzenie danych to proces skomplikowany i wieloetapowy. Jeszcze więcej trudności generuje analityka danych. Od dobrego zaplanowania tych procesów zależy sukces uczelni w ewaluacji ministerialnej oraz w rankingach, a także w pozyskiwaniu grantów.
Dane naukowe zajmują coraz ważniejsze miejsce w procesie zarządzania uczelnią, dlatego podczas Konferencji LUMEN 2021 spotkaliśmy się w gronie trzech organizacji na co dzień zajmujących się gromadzeniem i przetwarzaniem rozmaitych danych dotyczących w szczególności działalności naukowej. W panelu moderowanym przez Piotra Masalskiego, Dyrektora Linii Biznesowej w PCG Academia, wzięli udział eksperci:
- Bartłomiej Więckowski, Customer Consultant, Research Intelligence, Elsevier;
- Michael Lubacz, Business Development Director, Times Higher Education;
- Danae Banette, HE Analyst, Times Higher Education.
PCG Academia dostarcza rozwiązań do ewidencji i analityki naukowej na uczelniach, w tym wiodących instytucjach takich jak UW, UJ, ALK czy SWPS. Elsevier to lider informacji naukowej, dostawca m.in. bazy Scopus i narzędzia naukometrycznego Pure. THE to twórcy słynnych rankingów uczelni – THE World University Rankings i THE Impact Rankings – oraz dostawcy usług dla uczelni.
Gromadzenie danych naukowych – pespektywa Elsevier
Bartłomiej Więckowski opowiedział o ewidencjonowaniu osiągnięć publikacyjnych w najsłynniejszym produkcie Elsevier – bazie Scopus, która gromadzi aż 4,5 TB danych. Znajdziemy w niej ponad 1,8 mld cytowanych referencji, blisko 95 tys. profili instytucjonalnych oraz 17,6 mln profili autorów. Obejmuje blisko 26 tys. czasopism oraz 235 tys. książek od ponad 7 tys. wydawców.
Scopus jako obszerna baza abstraktów i cytowań prowadzona przez niezależnych ekspertów, jest potężnych narzędziem odkrywczym i analitycznym dla naukowców, bibliotekarzy, menedżerów badań i fundatorów nauki. Scopus to świetne źródło wiedzy o tym, w których periodykach warto publikować, a także narzędzie do zwiększenia widoczności swoich badań na całym świecie. Zasoby bazy pozwalają także na ocenę wpływu konkretnego naukowca, wsparcie decyzji o współpracy, śledzenie globalnych trendów badawczych i wiele innych.
Gwarancję jakości danych w Scopus potwierdza wykorzystywanie bazy jako podstawy do ewaluacji lub innych działań, np. tworzenia raportów, przez takie organizacje takie jak Bank Światowy, OECD czy ERC, organy UE jak Komisja Europejska, rządy państw, instytucje publiczne np. NAWA oraz instytucje rankingujące uczelnie, w tym THE, QS, NIRF czy Perspektywy. Informacje ze Scopusa były też podstawą oceny w ramach Inicjatywy Doskonałości – Uczelnia Badawcza (IDUB). Scopus jest używany również przez same uczelnie, które mogą generować dedykowane raporty.
Rola systemów zarządzania nauką na uczelniach
Zanim jednak dane trafią do Scopus konieczne jest ich zgromadzenie i weryfikacja przez uczelnię. Służą do tego systemu zarządzania nauką – Research Information Management Systems, które pozwalają agregować dane naukowe, przetwarzać je i dalej wykorzystywać. Systemy te pomagają instytucjom działać bardziej efektywnie, zidentyfikować mocne i słabsze strony, monitorować zachodzące zmiany i podejmować decyzje oparte o realne dane.
Kluczem do sukcesu jest integracja w systemie rozproszonych źródeł danych. Na uczelniach działa wiele systemów i baz danych, które często nie są ze sobą połączone. Może to powodować rozbieżności w danych, a dotarcie do potrzebnych informacji wymaga czasu i logowania do różnych narzędzi. Rozproszenie komplikuje zarządzanie badaniami, administrację i współpracę, a także generuje wysokie koszty zarządcze.
Integracja źródeł w systemie zarządzania nauką pozwala zaadresować wszystkie te problemy i stworzyć jedno miejsce dostępu do danych. Ułatwia to pracę na całej uczelni, obniża koszty oraz pozwala na tworzenie relacji między danymi. Zintegrowane informacje są ustrukturyzowane i jednorodne, a dostęp do nich można uzyskać za pomocą jednego tylko loginu.
Gromadzenie i analityka danych – perspektywa Times Higher Education
Do tworzenia rankingów uczelni THE wykorzystuje różnorodne źródła danych, w zależności od rodzaju przygotowywanego rankingu, o czym opowiedział Michael Lubacz z THE.
Dla konkretnych krajów – USA i Japonii – THE opracowuje rankingi uczelni bazujące na danych związanych z dydaktyką, takich jak satysfakcja studentów, mierzona na podstawie corocznych ankiet, czy opinie pracodawców.
Najnowszym zestawieniem w rodzinie rankingów THE jest THE Impact Rankings. Jako jedyny ranking na świecie dokumentuje on wpływ społeczny uczelni i bazuje na Celach Zrównoważonego Rozwoju (SDG) przygotowanych przez ONZ. Ocena w tym rankingu opiera się na aż 220 kryteriach, pogrupowanych w cztery obszary: nauka, edukacja, zarządzanie i współpraca z otoczeniem.
Najbardziej znany jest THE World University Rankings, gdzie nacisk położony jest na jakość badań naukowych. Wskaźniki używane w rankingu mierzą również dydaktykę, transfer wiedzy oraz umiędzynarodowienie. Do przygotowania WUR wykorzystywane są trzy źródła danych: dane pochodzące od samych uczelni (dotyczące m.in. studentów, pracowników naukowych i przyznawanych tytułów naukowych), dane reputacyjne z globalnej ankiety oraz dane z bazy Scopus.
W tworzeniu World University Rankings THE musiało poddać analizie m.in. 108 mln cytowań, 14,4 mln publikacji naukowych, blisko 290 tys. odpowiedzi z dorocznej ankiety reputacyjnej od 22 tys. respondentów oraz 430 tys. punktów danych od ponad 2,1 tys. instytucji z całego świata.
Analityka danych bibliometrycznych w tworzeniu rankingów THE
Na potrzeby prezentacji Danae Banette z THE przybliżyła analizę jednego z tych źródeł – danych bibliometrycznych pozyskiwanych od Elsevier. Wykorzystywane są tutaj dane za ostatnie 5 lat obejmujące: cytowania (ważone wg dyscypliny), współczynnik liczby publikacji do liczby kadry akademickiej oraz liczbę publikacji z co najmniej jednym zagranicznym współautorem. Dane te są pobierane tylko ze Scopus i nie są dostarczane przez uczelnie, dlatego prelegentka zaleca, by uczelnie zadbały o jakość danych przesyłanych do Scopus, w tym w szczególności zapewniły, że dane są pełne, a afiliacje prawidłowe.
THE rozpatruje pięć rodzajów publikacji: artykuły, recenzje naukowe, książki, rozdziały w książkach oraz publikacje pokonferencyjne. Nie wszystkie z nich liczą się jednakowo. Przykładowo, artykuły zamieszczone w czasopismach, które zostały oznaczone przez Scopus jako stosujące nieetyczne praktyki, nie są w ogóle brane pod uwagę.
Liczba publikacji jest też istotnym warunkiem, czy uczelnia może wziąć udział w WUR. Uczelnia w ewaluowanym 5-letnim okresie musi opublikować minimum 1000 publikacji, w tym nie mniej niż 150 w jednym roku. Uczelnie mogą zostać wykluczone z World University Rankings, jeśli nie prowadzą kształcenia na poziomie licencjackim lub w przypadku, gdy 80% lub więcej całego jej dorobku pochodzi z jednej dziedziny nauki.
Przeanalizowane dane są nie tylko podstawą do zbudowania rankingu, ale są również udostępniane uczelniom. Wyniki analizy uczelnie mogą potraktować jako benchmarking swojej działalności i zastosować je do dalszego rozwoju. Także szkoły wyższe, które nie spełniają wymagań formalnych, mogą zgłosić się do oceny i uzyskać od THE informacje o swoich osiągach. Każda z uczelni, niezależnie od wyniku, zyskuje także instytucjonalny profil na notującej miliony wejść stronie THE, co zwiększy widoczność uczelni na świecie.
Najważniejszy wskaźnik to cytowania – jego waga wynosi aż 30%. Cytowania są przez THE normalizowane względem roku, typu publikacji oraz dyscypliny naukowej. W każdej z dyscyplin dane porównywane do średniej z danej dyscypliny. THE nie przeprowadza porównań między dyscyplinami, dlatego że różna jest ich specyfika, a tym samym są inne liczby publikacji i cytowań. Normalizacja dokonywana jest także na poziomie krajów.
W styczniu 2022 THE rozpocznie proces przyjmowania zgłoszeń i danych od uczelni, które chcą wziąć udział w kolejnej edycji rankingu: WUR 2023. Uczestnictwo w rankingu jest bezpłatny, a uczelnia może zyskać wiele cenny informacji, dlatego zachęcamy do zapoznania się z zasadami udziału.
Serdecznie zapraszamy również do kontaktu z Times Higher Education, Elsevier i PCG Academia. Z przyjemnością odpowiemy na wszystkie Państwa pytania oraz porozmawiamy, jak możemy wesprzeć Państwa uczelnie w zakresie gromadzenia i przetwarzania danych.