Publish or perish. W czym rozdawanie grantów i indeks Hirscha przypominają literackie nagrody Nobla?

Czy laureaci literackich (i nie tylko) nagród Nobla zasłużyli na nie? Czy rzeczywiście stworzyli najlepsze dzieła i co oznacza, że są lepsze? Może w jakiś sposób przysłużyły się światu, literaturze, a może zadecydował o tym przypadek lub względy polityczne (tutaj idealny przykład, to moim zdaniem literacka nagroda Nobla dla Winstona Churchilla) ?Kto decyduje o ich przyznaniu, jeśli nie mała grupa ludzi, którzy zdani są na chwilowe kaprysy i zauroczenia? 
A jak przyznawane są granty, jak mierzona jest wydajność i sens pracy naukowca? Istnieje przekonanie, że wartość działań akademików jest mierzona o wiele rzetelniej niż przyznawanie literackich Nagród Nobla. Liczą się cytowania, indeks Hirscha, punktowania w zależności od rangi czasopisma, ilości artykułów i wydanych książek i inne wyliczanki. Można odnieść wrażenie, że wartość naukowca i jego działania są możliwe do zmierzenia. Dlaczego w takim razie dzieje się tak, że laureaci literackiej Nagrody Nobla bywają często zapominani, a naukowcy o wysokiej pozycji mierzonej przez cytowalność i liczbę publikacji często tracą twarz poprzez unieważnianie swoich badań? Czy indeks Hirscha nie jest taką samą, złudną wizją miarodajności jak literackie nagrody?

"Indeks został pomyślany tak aby lepiej odzwierciedlać wartość dorobku naukowego niż sama liczba publikacji, czy sumaryczna liczba cytowań wszystkich publikacji jednego naukowca, premiując tych, którzy publikują mniejszą liczbę dobrych publikacji, w stosunku do tych, którzy rozpraszają wyniki swoich badań na większą liczbę publikacji w celu sztucznego zwiększenia ich liczby. Ponadto premiuje naukowców, których publikacje są stale i często cytowane, gdyż z upływem czasu ich indeks h wzrasta a nie maleje. Na przykład naukowiec, który opublikował 6 publikacji, z których każda była cytowana co najmniej 6 razy ma indeks h = 6, natomiast taki, który ma 100 publikacji, ale spośród nich są tylko 3 takie, które mają 3 lub więcej cytowań, ma indeks h = 3. Krytycy indeksu twierdzą, że dyskryminuje on naukowców, których charakteryzuje zmienna jakość publikacji oraz osoby, które miały krótkie i błyskotliwe kariery. Np. osoba, która napisała jedną pracę, która była cytowana 100 razy, drugą pracę, która była cytowana 50 razy, trzecią pracę, która byłą cytowana 3 razy, oraz 100 prac, które były cytowane po 2 razy, ma indeks Hirscha 3; czyli taki sam, jak osoba, która opublikowała raptem 3 prace, z których każda była cytowana po 3 razy. Podobnie osoba, która napisała 2 publikacje, z których każda była cytowana 1000 razy ma indeks h równy raptem 2. Tak jest np. w przypadku Évariste'a Galoisa. Gdyby Albert Einstein zmarł w 1905 r. jego indeks h wynosił by 4, choć już wówczas był autorem 4 spośród 10 swoich najważniejszych publikacji."[http://pl.wikipedia.org/wiki/Indeks_H]

Zgodnie z indeksem Hirscha, wartościowy naukowiec, to ten, który jest często cytowany i w odpowiednich czasopismach (impact factor). Z jednej strony zgadzam się z krytyką dotyczącą niewspółmierności punktacji wobec publikujących, którzy niezależnie od ilości tekstów posiadają tę samą liczbę cytowań. Być może należy uznać, że przydatniejszym badaczem jest ten, który publikuje mało, jednak posiada dużą liczbę cytowań, niż ten,który publikuje dużo, a jego indeks cytowań jest niewielki. Ale czy nie jest to kolejna pułapka? Jeśli przyznamy, że lepszy jest naukowiec o dużej ilości cytowań (niezależnie od ilości publikacji), nie oznacza to, że jest on rzeczywiście przydatniejszy dla nauki. Jest on po prostu bardziej popularny. 
Pomimo mojej ogromnej miłości do nauki, nie jestem w stanie przyznać, że popularność oznacza przydatność. Może to być przydatność jedynie względem cytowań - jeśli opieram się na niepotrzebnej nauce pracy, mogę ją zacytować do tak samo nikomu niepotrzebnej pracy. Gdy zrobi to 50 osób i powtórzy bzdurny cytat w swej bzdurnej pracy, indeks cytowań wzrośnie. Z góry przepraszam za wartościowanie, jednak jeśli cytowane są bzdurne prace, a dobre są niecytowane, to która jest rzeczywiście lepsza?
Jak w ogóle ocenić przydatność badań, które czasami okazują się być wartościowe dopiero po jakimś czasie? Czy istnieją jakiekolwiek miarodajne wskaźniki pracy naukowej? Rozumiem, że tego typu wzory są potrzebne, choćby z tego powodu, że pomagają przy rozdzielaniu grantów, czy ocenianiu pracownika, ale czy należy ufać im absolutnie?

Przyjrzyjmy się teraz podobieństwu poniższych zdań:
1) To wspaniały naukowiec, ma wysoką liczbę cytowań.
2)  To wspaniały pisarz, zdobył literacką nagrodę Nobla.


Ad 1) Oto przykłady badaczy z wysoką liczbą cytowań:

- Diederik Stapel, profesor psychologii społecznej Uniwersytetu Tilburg w Holandii, "był autorem ponad 150 prac badawczych. Najgłośniejsza z nich, opublikowana w sierpniu 2011r., w Science, drugim obok Nature, najważniejszym czasopiśmie naukowym świata-dowodziła, że nieuporządkowane środowisko sprzyja utrzymywaniu stereotypów i dyskryminacji." (Odkrycia do ukrycia, W. Mikołuszko, Polityka, nr 19 (2906), 2013, s. 62-62). Stapel posiadający wysoką liczbę cytowań (http://scholar.google.ca/citations?user=a51g4WoAAAAJ&hl=en) zmyślał dane do własnych prac naukowych, do czego po pewnym czasie sam się przyznał. Jego prace przyjęto zgodnie z międzynarodowymi standardami publikowania prac naukowych. "Po uzyskaniu wstępnej akceptacji przez redaktorów, wysyłano je do recenzji innym wybitnym przedstawicielom tej samej gałęzi nauki. Ich »tak« było stemplem jakości, gwarancją, że praca spełnia standardy badawcze." (Op. cit. s. 62). Większość czasopism naukowych anulowało publikacje profesora Stapela. (Warto postawić sobie pytanie, ile wart jest tytuł profesora, skoro lwia część jego dzieł została anulowana).

- Andre Wakefield, autor popularnych badań, w których starano się dowieść, że szczepionka na odrę, świnkę i różyczkę może prowadzić do rozwoju autyzmu u dzieci. Jego artykuły także anulowano, nikomu nie udało się potwierdzić tej hipotezy, The Lancet cofnął całą pracę. Mimo to indeks cytowań wskazuje na popularność, nie tylko w świecie naukowym. Plotka została rozsiana po świecie, co skutkuje poważnymi konsekwencjami: obecnie wielu rodziców przestaje szczepić dzieci.

- Rachel Carson, o której można przeczytać tutaj: http://www.polityka.pl/nauka/ekologia/1530401,1,niezwykla-historia-rachel-carson.read

- Naoki Mori, onkolog, ilość cofniętych prac: 30, przy wysokim indeksie cytowalności

- Sunil Kumar Manna, immunolog, ilość cofniętych prac: 10, przy wysokim indeksie cytowalności

Obliczenia biorące pod uwagę czynniki takie jak indeks Hirscha czy impact factor nie były w stanie wykryć oszustw, ani rzeczywistej przydatności badań. Wyświetlały tylko miarę popularności i prestiżu.


Ad 2) Wybrani laureaci literackiej Nagrody Nobla, których można uznać za zupełnie przypadkowo wyłonionych, często zapomnianych lub dostających nagrody z powodów politycznych, chwilowego zainteresowania, którzy :

- Winston Churchill, data przyznania Nagrody: 1953, uzasadnienie:  „ za wielkie mistrzostwo utworów o charakterze historycznym i biograficznym, a także błyskotliwą sztukę oratorską, z pomocą której bronił najwyższych ludzkich wartości” (http://pl.wikipedia.org/wiki/Nagroda_Nobla_w_dziedzinie_literatury, dalsze uzasadnienia pochodzą również z tego źródła). Ale kto pamięta o nim jako o pisarzu?  Przytoczę w tym momencie słowa Gabriela Garcii Marqueza (również laureata owej nagrody): 
"Przy wielu okazjach nazwisko laureata pozwalało domniemywać, że akademicy są liberalnymi idealistami. Do największej, zarazem najchwalebniejszej wpadki doszło w 1938 roku, kiedy Hitler zabronił Niemcom odebrania nagrody Nobla, uciekając się do śmiesznego argumentu, że jej fundator był Żydem. Richard Kuhn, Niemiec, który owego roku otrzymał Nagrodę Nobla w dziedzinie chemii, musiał odmówić przyjęcia Nagrody. Z przekonania, albo z uczciwości nie przyznano żadnej Nagrody Nobla podczas drugiej wojny światowej. Ale gdy tylko Europa podniosła się z gruzów, Szwedzka Akademia uczyniła coś, co jest chyba jej jedyną godną pożałowania kombinacją: przyznała Literacką Nagrodę Nobla sir Winstonowi Churchillowi tylko dlatego, że był on podówczas człowiekiem cieszącym się największym prestiżem, a nie dało się przyznać mu Nagrody w jakiejkolwiek innej dziedzinie, zwłaszcza pokojowej". (Widmo Nagrody Nobla, G.G. Marquez, Morze utraconych opowiadań i inne felietony, Warszawa 2002, s. 7-11).

- Grazia Deledda, data przyznania Nagrody: 1926 uzasadnienie: "za poetyckie dzieła, w których z jaskrawą plastycznością opisuje życie jej ojczystej wyspy, a także za głębię w podejściu do ludzkich problemów w całości". Dziś, najpewniej zapomniana, o czym świadczyć może niewznawianie jej utworów, niewielka ilość przetłumaczonych utworów nawet na język angielski, czy nieliczna ilość informacji w przestrzeni Internetu (uważam, że to bardzo ważny aspekt).

- Pearl S. Buck, data przyznania Nagrody: 1938, uzasadnienie: "za wspaniały epicki opis życia chińskich chłopów i za biograficzne arcydzieła”. Dzieła Pani Buck także nie wytrzymały próby czasu.

Takich przykładów jest wiele. Zaznaczam iż moim celem nie jest krytyka dzieł wyżej wymienionych autorów, czy upieranie się przy zdaniu, że na Nagrodę nie zasłużyli. Nie chciałabym, aby ktokolwiek rzucał na nich, jako na literatów pośmiertne obelgi, czy odmawiał im prawa do czci.Pragnę zwrócić uwagę, iż żyło w tym czasie wielu innych autorów, nie tylko poczytniejszych czy bardziej docenianych. Popularność nie idzie w parze z jakością, ale czy nie jesteśmy w stanie przyznać, że istnieje całe grono autorów wspanialszych,którzy nie dostąpili tego zaszczytu? Pominę tu moje najważniejsze sympatie, ale wymienię przynajmniej kliku, których powinien znać każdy, a którzy Nagrody Nobla nie otrzymali: Jorge Luis Borges,  Joseph Conrad, Marcel Proust (fakt, iż W poszukiwaniu straconego czasu zostało opublikowane w całości dopiero po śmierci autora), Louis-Ferdinand Céline, J. R. R. Tolkien, Walt Whitman, Franz Kafka (zdobył sławę dopiero po śmierci), Emil Cioran, Stanisław Lem, Aldous Huxley, Isaac Asimov i wielu, wielu innych, włączając w to pisarzy literatury popularnonaukowej nie zostało nagrodzonych. Nie czyni to z nich pisarzy gorszych, aniżeli tych, którzy zostali docenieni przez Szwedzką Akademię. Mam wrażenie, że taka jest też potoczna opinia: raczej jesteśmy skłonni uważać, że Proust był lepszym literatem niż była nią Deledda i jest to w porządku. 
Zdajemy sobie sprawę z wagi owej nagrody, ale (mam nadzieję, że) nikt przy zdrowych zmysłach nie uważa jej za najbardziej wartościowy i miarodajny wyznacznik. To kwestia losowego przypadku, popularności i wielu innych aspektów. Dlaczego więc jesteśmy tak bardzo skłonni wierzyć w indeks Hirscha i współczynniki impact factor? Czy nie dlatego, że daje nam ułudę naukowości i rzetelności, podczas gdy uzasadnienia Nagrody Nobla uważamy za czysto estetyczne i niemierzalne? Czy nie są to takie same ułudy wartości i sensu?
Nie wiem czy istnieje lepszy sposób na określenie wydajności i przydatności naukowców, ale wiem, że jakość nauki nie musi iść w parze z ilością, a dobry akademik nie musi być zawsze doskonałym badaczem, ale jeśli jest dobrym dydaktykiem, lub badaczem niepopularnej dziedziny nie tylko stoi o wiele niżej na szczeblu kariery zawodowej, ale też ma marne szanse na uzyskanie grantu, pozytywnej oceny instytucji zarządzającej daną jednostką (uniwersytet, ministerstwo, Państwowa Komisja Akredytacyjna itd.) co zamyka szanse na dalszą produktywność.

Edycja posta, czwartek, 6 czerwca:  Polecam bardzo interesujący artykuł Sławomira Tumańskiego, profesora Politechniki Warszawskiej, redaktora naczelnego miesięcznika Przegląd Elektroniczny: Segregacja prasowa, Polityka, nr 23 (2910), s.67-69.

Profesor Tumański doskonale opisuje wady inseksu Hirscha, impact factor, listy filadelfijskiej (ISI Master Journal List), zdeprawowanie nauki w imieniu systemu punktowego, a także podział świata naukowego na dwie części: amerykańską (bądź anglosaską, zachodnią), „gdzie wszystkie pisma są master, a artykuły the best, oraz świat zewnętrzny, gdzie z definicji nic godnego indeksowania nie może się zdarzyć” (Op. cit. s. 67). Z artykułu można się również dowiedzieć, że w świecie, gdzie obowiązuje radykalne przywiązanie do listy filadelfijskiej i systemów punktowania opisanych powyżej, powstał przemysł cytowań, oparty na symbiozie cytowań. Poszczególne instytucje w ramach umowy, cytują się wzajemnie, aby zdobyć punkty, co więcej, w ramach przysługi cytują się także koledzy, co obopólnie wspomaga ich w awansie. Następnie zostaje przedstawiony problem naukowców, którzy na podstawie punktowanych publikacji otrzymują granty – co się dzieje, gdy czasopismo przestaje być na liście filadelfijskiej? Muszą zwracać pieniądze. Ponadto,wciąż większe szanse na karierę mają badacze z krajów anglojęzycznych, o wysokiej liczbie czasopism przynależnej do ISI Master Journal List, aniżeli doskonali akademicy z Europy Wschodniej. Białorusini, Chorwaci, Polacy, Kazachowie czy Ukraińcy w praktyce skazani są na banicję – jak twierdzi Tumański "wciąż są ofiarami izolacji ich krajów, często nie znają biegle angielskiego i mają słabe kontakty zagraniczne”. Z kolei cała reszta, woli cytować pisma “zachodnie”, gdyż wydają się bardziej prestiżowe. Nie mamy co się temu dziwić, skoro to właśnie one są bardziej renomowane na liście, co nie oznacza iż posiadają lepszą wartość naukową. I właśnie w ten sposób pogłębia się zapaść pomiędzy światem naukowym,który w powszechnym rozumieniu jest zglobalizowany.