NCN osiąga lepszą efektywność grantów badawczych niż ERC, a polscy naukowcy lepiej radzą sobie w czasie pandemii niż ich zagraniczni koledzy. Tak wynika z badań naukowców PWr, którzy opracowali Wrocławski Wskaźnik Efektywności Grantów.

Wyniki swoich badań prof. Przemysław Kazienko i doktorant Maciej Dzieżyc z Wydziału Informatyki i Telekomunikacji opublikowali właśnie w artykule „Effectiveness of research grants funded by European Research Council and Polish National Science Centre”.

Narodowe Centrum Nauki (NCN) jest agencją powołaną w 2010 r. do wspierania działalności naukowej w zakresie badań podstawowych. Do jej zadań należy m.in. finansowanie badań, nadzór nad ich wykonaniem i współpraca międzynarodowa. W ramach licznych programów grantowych, konkursów i stypendiów wspiera projekty badawcze realizowane przez badaczy na różnych szczeblach kariery naukowej.

Europejska Rada ds. Badań Naukowych (ERC) z siedzibą w Brukseli to natomiast organizacja wspierająca badania naukowe w Europie. Co roku ogłasza konkursy dla młodych i doświadczonych naukowców, promując przede wszystkim interdyscyplinarne badania podstawowe wykraczające poza dotychczasowy stan wiedzy.

Nasi naukowcy swój projekt rozpoczęli od analizy polskich grantów przyznawanych w ramach konkursów NCN. Wtedy zaobserwowali m.in. wyraźny problem związany z niefinansowaniem informatyki.

– Bardzo nas to zaniepokoiło, dlatego zaczęliśmy drążyć. Chcieliśmy polskie projekty porównać z zagranicznymi, aby mieć jakiś punkt odniesienia. Po analizie okazało się, że właściwie możemy to zrobić w miarę dobrze jedynie względem ERC – mówi prof. Przemysław Kazienko.

Okazuje się bowiem, że obie organizacje w wielu kwestiach są zorganizowane podobnie. Finansowanie grantów przez NCN podzielone zostało na 25 paneli, a model ten został w niemal niezmienionej formule zapożyczony właśnie z ERC. Obie instytucje finansują badania podstawowe, a na swoich stronach upubliczniają realizowane projekty, ich budżety czy czas trwania. Wszystkie te informacje okazały się kluczowe w analizach prowadzonych przez naszych naukowców.

Wrocławski Wskaźnik Efektywności Grantów

Opracowali oni WEIG, czyli Wroclaw Effectiveness Indicator for Grants. Wskaźnik ten to suma wybranej wartości bibliometrycznej przypadająca na kwotę dofinansowania w danym projekcie, np. suma wartości wskaźnika wpływu Impact Factor (IF) na 1 mln euro. Jest on liczony dla wszystkich efektów danego projektu, w tym przypadku wszystkich publikacji w czasopismach posiadających IF.

– Można go łatwo łączyć, np. po latach, panelach, programach, a także porównywać, pamiętając jednak przy tym, aby uwzględniać zwłaszcza specyfikę dyscyplin. Można więc porównywać NCN z ERC, ale już porównanie panelu matematyki z chemią jest bardzo kontrowersyjne – tłumaczy prof. Przemysław Kazienko. – W naszych badaniach skorzystaliśmy z serwisów publikujących granty finansowane przez NCN i ERC oraz bazę Web of Science, z której pobieraliśmy wartości bibliometryczne czasopism dla artykułów publikowanych w ramach grantów: IF, AIS oraz IF%. Z kolei wybierając taką nazwę wskaźnika, chcieliśmy także promować Wrocław – dodaje.

Największym problemem w projekcie było pozyskanie i właściwe przygotowanie danych – zwłaszcza niezależnych baz. Przy publikacji wyników badań naukowcy musieli także uzyskać odpowiednią zgodę od firmy Clarivate, operatora bazy Web of Science.

– Tutaj należą się duże podziękowania za wsparcie dla Biblioteki PWr. Dzięki temu mogliśmy wraz z artykułem opublikować odpowiednie dane. Obecnie każdy może sam je eksplorować, pamiętając jednak, że analizuje stan z października 2021 r. – zaznacza prof. Przemysław Kazienko.

Wysoka efektywność NCN

Z przeprowadzonych analiz wynika, że NCN osiąga większą efektywność swoich projektów niż ERC i zdaniem naukowca nie jest to aż tak wielkim zaskoczeniem. Jednak już fakt, że nie dotyczy to jednakowo wszystkich dyscyplin nauki oraz zmiany z biegiem lat, nie są już takie oczywiste.

– Jedną z najważniejszych i najbardziej optymistycznych informacji jest fakt, że polskie granty są średnio dwa razy bardziej efektywne niż europejskie jeżeli chodzi o IF i trzy razy bardziej efektywne biorąc pod uwagę procentowy ranking czasopism (IF%) – podkreśla prof. Przemysław Kazienko.

(a) Miary relatywnej efektywności (RE) i relatywnego finansowania (RF) dla dotacji wygasających w danych latach (NSC/ERC). (b) Względna efektywność (RE) i finansowanie (RF) znormalizowane według ich wartości w 2014 r.

Warto także zwrócić uwagę na rozkłady czasu publikacji artykułów będących efektem projektów. Szczyt to ostatni i przedostatni rok, jednak niektóre prace pojawiają się nawet pięć lat po zakończeniu grantu.

– To m.in. odróżnia nasze wyniki od danych gromadzonych przez NCN poprzez raporty końcowe składane już w dwa miesiące po zakończeniu projektu – tłumaczy prof. Przemysław Kazienko. – Wiele osób zapewne stwierdzi, że polskie projekty są efektywniejsze niż europejskie dlatego, że jesteśmy tańsi. Nasze wyniki nieco temu przeczą. Różnice w płacach zmniejszają się z roku na rok, a efektywność względna nawet nieco rośnie. Wydaje się więc, że nasze efekty rosną szybciej niż koszty. Przy europejskiej stabilizacji powoduje to, że Polska szybciej goni Europę, niż ona nam ucieka – dodaje.

Okazuje się, że najbardziej efektywnymi konkursami prowadzonymi przez NCN są Etiuda i Preludium, czyli programy skierowane do młodych naukowców. Podobnie jest w ERC – większą efektywność osiągają tam projekty realizowane przez osoby rozpoczynające swoją karierę naukową. Trudno jednak obecnie jednoznacznie powiedzieć, jakie są tego przyczyny.

– Wymaga to dalszych analiz. Być może wynika to z tego, że granty w tych programach mają stosunkowo małe budżety i krótki okres. Pamiętajmy też, że na efekty grantu składa się nie tylko pojedynczy projekt, ale także środki „dookoła”, np. dotacja budżetowa dla uczelni finansująca podstawowe etaty, wkład całych zespołów badawczych, czy częściowe efekty osiągnięte już wcześniej – podkreśla prof. Przemysław Kazienko.

W badaniach widać też różnicę w grantach NCN pomiędzy panelami z kategorii nauk technicznych i nauk o życiu, przy czym okazało się też, że efektywność tych ostatnich systematycznie spada. Choć trudno obecnie wskazać dokładnie przyczynę takiej sytuacji, to zdaniem naukowców może to częściowo wynikać ze zwiększonych nakładów i kosztów, które niestety nie pociągają za sobą lepszych efektów powodując spadek względnej efektywności.

– Trzeba jednak zwrócić uwagę, że zjawiska te nie są równo rozłożone na wszystkie panele z danej dziedziny nauk. Przykładowo, informatyka traci względne finansowanie, a równocześnie w panelu informatyka polska jest przeciętna (w porównaniu do innych dyscyplin) i najgorsza w Europie. W efekcie spadającego względnego finansowania, polska informatyka coraz bardziej „bije” na głowę tę europejską pod względem efektywności – tłumaczy prof. Przemysław Kazienko. – Z kolei w panelu matematyka małe polskie nakłady dają całkiem dobry efekt, co przy średnich nakładach i gorszym efekcie w Europie, ponownie daje ponad pięć razy większą względną efektywność (IF), zaś dla IF liczonego z rankingu czasopism w ramach dziedzin (IF%) nawet osiem razy lepiej. Dzieje się to przy rosnących w kolejnych latach względnych nakładach na matematykę i malejących na informatykę – dodaje.

Należy zwrócić uwagę, że w artykule nie ma natomiast takiej samej informacji o panelach humanistycznych. Wynika to m.in. z faktu, że nie pokrywają się one w obu instytucjach, a monografie – często będące efektem badań – nie są traktowane tak jak czasopisma i nie mają parametrów takich jak wskaźniki wpływu. Nie są także indeksowane w bazach takich jak Web of Science.

– Niemniej jednak prezentujemy dane zbiorcze dla całej dziedziny nauk humanistycznych, bez podziału na panele: także tutaj polska nauka wspierana przez NCN jest ok. dwa razy efektywniejsza niż europejska finansowana przez ERC – zaznacza naukowiec.

Pandemia nie taka straszna

Ciekawostką może być też informacja, że polscy naukowcy lepiej poradzili sobie z realizacją projektów w trakcie pandemii. Zdaniem badaczy wynika to prawdopodobnie z polityki NCN i naszej mentalności. Okazuje się na przykład, że ERC niemal zachęcało do przedłużenia realizowanych projektów.

(a) Efektywność względna dla IF (RE-IF) i (b) Finansowanie względne (RF) znormalizowane odpowiednio według ich wartości w 2014 roku. Tylko nieliczne projekty zakończyły się przed 2012 rokiem.

– Miałem okazję oceniać taki przedłużony projekt europejski i sam się dziwię, jak oni funkcjonowali. Spora część naukowców w projektach europejskich jest zatrudniana na umowy o pracę, a budżety grantów nie były zwiększane – przesuwany był tylko czas zakończenia. Prawdopodobnie więc, europejskie uczelnie przesuwały środki z inwestycji na finansowanie takich etatów – wyjaśnia prof. Przemysław Kazienko. – Z kolei granty NCN są jedynym źródłem zarobku dla stosunkowo małej grupy osób. Było nam więc łatwiej. W efekcie w 2020 r. zakończono tylko nieco ponad 50 % grantów ERC, zaś w NCN dotyczyło to prawie 80%. W zeszłym roku ERC już nas dogoniło – dodaje.

Badania nad opracowaniem wskaźnika rozpoczęły się 3,5 roku temu. Nie jest wykluczone, że projekt będzie dalej rozwijany, ale w tej kwestii wszystko zależy od pozyskania odpowiednich źródeł finansowania.

– Nasz projekt można by rozbudować o inne agencje zagraniczne i stworzyć np. europejski serwis analityczny, a nawet serwis światowy. Wymagałoby to większych zasobów związanych z integracją danych, np. aby dopasować brytyjskie sektory, obszary i tematyki EPSRC (Rada ds., Badań w zakresie Inżynierii i Nauk Fizycznych – zapewnia rządowe granty na prowadzenie badań) z naszymi panelami nauk. Mam nadzieję, że uda nam się chociaż uruchomić serwis internetowy umożliwiający wizualizacje tych danych, które już zebraliśmy – zapowiada prof. Przemysław Kazienko.

Naukowcy mają także w planach przygotowanie danych – wykresów i infografik – przeznaczonych dla polskiego odbiorcy.

Maciej Dzieżyc, Przemysław Kazienko Effectiveness of research grants funded by European Research Council and Polish National Science Centre. Journal of Informetrics. 2022, vol. 16, nr 1, art. 101243, s. 1-26.

mic