Nauka

Popularny nie znaczy wartościowy

Jak mierzyć dorobek naukowy?

Polemika z Tekstem Grzegorza Gorzelaka pt."Reprodukcja Miernoty".

W artykule „Reprodukcja miernoty” profesor Gorzelak ubolewa nad niskim poziomem badań naukowych w Polsce, podając jako znamienny przykład niską wartość tzw. wskaźnika Hirscha, h, większości polskich naukowców. W skrócie, wskaźnik ten jest miarą popularności prac danego badacza – większa wartość h oznacza większa popularność jego artykułów. Jak wynika z tekstu, Prof. Gorzelak uważa, że h powinno być podstawowym kryterium aprecjacyjnym działalności naukowej. Jest to pogląd naiwny, bowiem h nie jest i nie może być wskaźnikiem uniwersalnym, gdyż zależy od wielu czynników, których waga w różnych dziedzinach nauki może być różna. Ponadto, aby analiza popularności danej pracy naukowej była przydatna w opracowaniu opinii o jej jakości, to każde cytowanie powinno być rozpatrywane w odpowiednim kontekście. Inną wagę ma zdawkowe stwierdzenie, że wśród badaczy zajmujących się daną dziedziną nauki był również autor cytowanego artykułu, inne  zaś napisanie, że stosowano metodologię badań opracowaną przez tego autora. Taka analiza cytowań jest bardzo żmudna i prościej chyba przeczytać po prostu kilkanaście reprezentatywnych publikacji autora i na tej podstawie wyrobić sobie opinię o poziomie jego prac.

Popularność publikacji nie jest bowiem prostą miarą jej wagi naukowej, a czasem nie jest w ogóle jej miarą. W dziedzinie nauk ścisłych i przyrodniczych wartość wskaźnika Hirscha można najszybciej powiększyć poprzez publikowanie prac przeglądowych. W przypadku medycyny dochodzą do tego jeszcze artykuły opisujące wyniki badań klinicznych, powadzonych równolegle w wielu szpitalach na całym świecie, artykuły podające dane epidemiologiczne i publikacje opisujące consensus w sprawie leczenia danej choroby. Wszystkie te publikacje, ważne ze społecznego punktu widzenia, nie są jednak publikacjami naukowymi w ścisłym tego słowa znaczeniu. Cytowania publikacji z danej dziedziny nauki zależą ponadto od populacji naukowców w niej pracujących, aktywności publikacyjnej jej przedstawicieli oraz średniej liczby odnośników literaturowych na artykuł. Te liczby są bardzo duże np. w biologii molekularnej, a małe w matematyce oraz w wielu dziedzinach nauk technicznych i rolniczych (włączając w to wyśmiewaną w artykule „Reprodukcja miernoty” architekturę). Ktoś musi uczyć studentów projektowania architektonicznego, przetwórstwa tworzyw sztucznych, budowy maszyn czy hodowli owiec, a w dziedzinach tych trudno o wysoki wskaźnik Hirscha i prawdopodobnie nie osiągnąłby go nawet Grzegorz Gorzelak, gdyby się przekwalifikował na architekta czy zootechnika. Porównywanie wskaźników Hirscha badaczy z różnych dziedzin nauki, co czyni Autor „Reprodukcji miernoty”, nie ma najmniejszego sensu.

Ale nawet stosowanie wskaźnika h jako podstawowego kryterium oceny aktywności badawczej naukowców z tej samej dziedziny jest ryzykowne, gdyż może generować powstawanie nadmiernej liczby prac naukowych. Współczesna nauka cierpi bowiem na pewną nadprodukcję publikacji, wśród publikowanych prac jest wiele artykułów przyczynkarskich, niewiele wnoszących do stanu wiedzy. Ponadto, niektóre artykuły zawierają błędne koncepcje, błędne wyniki lub błędną ich interpretację. Nawet te prace są jednak czasami cytowane i mogą mieć swój udział we wzroście wskaźnika Hirscha. Bardzo dobrym przykładem koniecznej ostrożności przy stosowaniu wskaźnika h w ocenie osiągnięć naukowych jest przypadek  profesor Agaty Smogorzewskiej. Ta 40-letnia biolożka i lekarka ma niską wartość tego współczynnika, gdyż publikuje bardzo powściągliwie (średnio 1 artykuł na rok). Gdy przyjmowano ją na stanowisko profesora na Uniwersytecie Rockefellera miała zaledwie 14 publikacji. Teraz ma ich nieco ponad 20, co nie przeszkodziło jej w zdobyciu grantów o wartości milionów dolarów i najbardziej prestiżowych nagród naukowych w Stanach Zjednoczonych. Warto jednak przyjrzeć się, gdzie prof. Smogorzewska umieszczała swoje prace: 6 w Science, 4 w Cell, 3 w Nature Genetics, czyli czasopismach, o których 99,99% naukowców z jej dziedziny może tylko pomarzyć. Średnia cytowalność jej prac wynosi grubo ponad 200 i stale rośnie, przy niskim wskaźniku Hirscha. Wskaźnikiem Hirscha niespecjalnie przejmuje się też komitet noblowski, nierzadko przyznając nagrodę naukowcom o niskim h. Dobrym przykładem są tu laureaci Nagrody Nobla z chemii Yves Chauvin (2005) i Daniel Shechtman (2011). Badacze ci mają tak niski wskaźnik Hirscha (30 i 22), że Grzegorz Gorzelak niechybnie zaliczyłby ich do „zreprodukowanej miernoty”, niezdolnej do konkurowania z prawdziwymi naukowcami z Zachodu.

Powściągliwość w publikowaniu jest cechą coraz rzadszą i powinna być propagowana, zaś niedościgłym wzorem jest tutaj jeden z najwybitniejszych polskich chemików profesor Zbigniew R. Grabowski, który w ciągu 50 lat pracy naukowej opublikował zaledwie 63 artykuły, za to o średniej cytowalności 78 cytowań na artykuł, ale współczynnik Hirscha i tak ma niski (29). Przy wspomnianej już nadprodukcji prac naukowych, postulat „publikuj albo giń” jest niebezpieczny i przypomina namawianie ubogich Hindusów, aby mieli jeszcze więcej dzieci. Lepsze byłoby hasło „publikuj, ale roztropnie i powściągliwie”.

Grzegorz Gorzelak ubolewa również, że wskaźniki Hirscha polskich luminarzy w danej dziedzinie nauki są około trzykrotnie niższe od wskaźników jej światowych liderów. O poziomie nauki w danym kraju decydują dwa czynniki: zamożność społeczeństwa i polityka naukowa rządu. W wyniku procesów globalizacyjnych polityka stymulowania rozwoju nauki w wielu krajach stała się bardzo podobna, o czym mógł się przekonać najstarszy z nas będący członkiem komitetów przyznających dotacje badawcze zarówno we Francji jak i w Polsce, jak również śledzący te procesy w innych krajach. We współczesnym świecie o poziomie nauki w danym kraju decyduje więc w główniej mierze wielkość PKB per capita, o czym pisaliśmy kiedyś w „Gazecie Wyborczej”. Wykazaliśmy tam, że poziom nauki mierzony liczbą artykułów na milion mieszkańców i średnią ich cytowalnością jest kwadratową funkcją PKB. Korelacja między tymi wielkościami jest znakomita, jeśli nie brać pod uwagę krajów gdzie liczba naukowców jest znikoma.

Polska znajduje się dokładnie na krzywej korelacyjnej. Co więcej, średnie wskaźniki bibliometryczne polskich prac naukowych są bardzo zbliżone do wskaźników państw o podobnym PKB (Węgry, Estonia). Podobne są również indywidualne osiągnięcia naukowców, np. najczęściej cytowany chemik pracujący w Polsce ma wskaźnik Hirscha h=49 i liczbę cytowań niezależnych 6773 (wg bazy Web of Science), dla lidera cytowań na Węgrzech wartości te wynoszą odpowiednio h=51 i 7329 cytowań, a w Estonii h= 43 i 8334 cytowania. Są to więc wartości zbliżone i oczywiście niższe niż w przypadku rekordzistów w krajach bogatszych. Wniosek z tego jest dosyć prosty, Polska może przesunąć się w rankingu osiągnięć naukowych tylko wtedy, gdy znacząco powiększy PKB.

Trzeba również powiedzieć, że wskaźnik Hirscha ma ograniczoną użyteczność w ocenie dorobku młodych pracowników naukowych o stażu poniżej 10 lat, gdyż nie może być wtedy wysoki, nawet w przypadku jednostek wybitnie uzdolnionych. Dlatego nazwaliśmy go kiedyś „wskaźnikiem dostojeństwa naukowego”. Oznacza to że, w procesie oceny projektów badawczych, złożonych do Narodowego Centrum Nauki przez młodych pracowników nauki, jego rola może być co najwyżej pomocnicza. W pierwszym konkursie NCN w dziedzinie nauk chemicznych sporą część grantów otrzymali młodzi adiunkci o małym h, co jest normalne i pożądane. Mimo to średnie h  laureatów nie było niskie i wynosiło około 16, przy czym profesorowie tytularni otrzymali jedynie 25% grantów. Znowu, wskaźniki te są gorsze niż we Francji, ale porównywalne z Węgrami.

            Istotną słabością danych przedstawionych przez prof. Gorzelaka jest zastosowanie bazy danych Google Scholar. Jest to baza nieukończona, niedopracowana i „gubiąca” cytowania artykułów z lat 70 i 80 ubiegłego wieku, co sprawdziliśmy na własnym przykładzie. Jej wadą jest również brak możliwości odjęcia autocytowań, co np. możliwe jest w bazie Scopus. W przypadku nauk ścisłych i przyrodniczych bazy Scopus i Web of Science są wciąż lepsze od Google Scholar. Przedstawione w artykule prof. Gorzelaka dane dotyczące wskaźnika Hirscha są ewidentnie niedoszacowane. Na przykład w dziedzinie nauk chemicznych kilkunastu polskich naukowców ma indeks Hirscha powyżej 40, a kilkudziesięciu powyżej 30. Średnia wartość h dla 86 pracowników naukowych Wydziału Chemicznego Politechniki Warszawskiej wynosi ponad 12, mimo że sporą grupę stanowią tu bardzo młodzi adiunkci, dla których h musi być małe. Wydział Chemii Uniwersytetu Warszawskiego w takiej statystyce wypada jeszcze lepiej.

Web of Science i Scopus są natomiast praktycznie bezużyteczne w przypadku nauk humanistycznych i społecznych. Trzeba więc poczekać aż baza Google Scholar polepszy się w najbliższych latach i zawierać będzie pełniejsze dane. Wydaje nam się jednak, że obliczanie wskaźnika h dla humanistów czy socjologów jest absurdem, bo tutaj kontekst cytowań liczy się jeszcze bardziej niż w chemii, fizyce czy biologii.

W ocenia dorobku naukowego można stosować wskaźniki bibliometryczne, ale trzeba to robić roztropnie, aby nie wpaść w liczne pułapki. O ostrożnym i prawidłowym używaniu bibliometrii pisali wielokrotnie profesorowie Wróblewski, Życzkowski, Racki czy Kosmulski, ale ich głos pozostaje głosem wołającego na puszczy. Żaden współczynnik bibliometryczny nie może  zastąpić lektury artykułów ocenianego naukowca.

Adam Proń, Halina Szatyłowicz i Janusz Zachara

Autorzy są pracownikami Wydziału Chemicznego Politechniki Warszawskiej.

 

Więcej na ten temat
Reklama

Czytaj także

null
Kraj

Interesy Mastalerka: film porażka i układy z Solorzem. „Szykuje ewakuację przed kłopotami”

Marcin Mastalerek, zwany wiceprezydentem, jest także scenarzystą i producentem filmowym. Te filmy nie zarobiły pieniędzy w kinach, ale u państwowych sponsorów. Teraz Masta pisze dla siebie kolejny scenariusz biznesowy i polityczny.

Anna Dąbrowska
15.11.2024
Reklama