Announcement by CEON/CEES: Citation rate as a measure of scientific performance should be used in doctrinary way

Povodom objavljivanja Konačne liste reda prvenstva koju je utvrdila Stambena komisija Fondacije za rešavanje stambenih potreba mladih nastavnih i naučnih radnika i umetnika Univerziteta u Novom Sadu ograđujemo se od načina na koji su upotrebljeni rezultati koje smo posredstvom Pokrajinskog sekretarijata za nauku i tehnološki razvoj stavili Fondaciji na raspolaganje.

U skladu s prethodnim zahtevom, dostavili smo 15. 09. 2008. Sekretarijatu Rezultate o citiranosti kandidata u domaćim kategorisanim časopisima, referisanima u našoj bazi Srpski citatni indeks (scindeks.nb.rs). U izveštaju smo za sve kandidate naveli ukupan broj ostvarenih citata, broj autocitata kao i frakcionu citiranost, izraženu procentualnim udelom u citiranom autorskom timu.

S obzirom na to da Pravilnik Fondacije to pitanje uređuje samo okvirno, očekivali smo će ti rezultati biti upotrebljeni u skladu s načelima dobre scijentometrijske prakse i u duhu Pravilnika o postupku i načinu vrednovanja i kvantitativnom iskazivanju naučnoistraživačkih rezultata istraživača na koji se Pravilnik Fondacije poziva. Takođe smo očekivali da će indeks citiranosti biti utvrđen tako da se citatima ostvarenim u međunarodnim (ISI) časopisima dodeli veća težina i da će kandidati biti vrednovani unutar širih oblasti nauke, što je praksa i na šta valjano tumačenje Pravilnika upućuje. Na posletku, očekivali smo da ćemo u vezi s načinom upotrebe naših podataka biti konsultovani.

Umesto toga, citiranost je iskazana u tzv. sirovom obliku. Svim kandidatima dodeljen je po jedan bod za svaki citat, izuzev onih koji su brojem sirovih citata prešli Pravilnikom utvrđeni limit.  Nije primenjeno neko odbranjivo rešenje, na primer takvo da se sirovi podaci transformišu na skalu raspona od 0 do 50, odnosno 100 bodova, što čl. 8 Pravilnika dopušta. Ovako, učešće citiranosti u konačnom ishodu svedeno je na neznatnu meru, mada ona više nego bilo koji drugi korišćeni pokazatelj reflektuje kvalitet naučnog rada i najbolje predviđa učinak u budućnosti. Ostvariti određeni broj, a u mnogim disciplinama i svega nekoliko genuinih (pravih) citata u ranoj fazi naučne karijere, predstavlja uspeh i čvrst oslonac za prognozu toka naučnog razvoja, pod uslovom da se takvi citati izoluju, što je mogućno odgovarajućim statističkim postupcima. Na ovom konkursu propuštena je prilika da se to učini. Citiranost je upotrebljena na način koji je u suprotnosti načelima evaluacije za koja se javno zalažemo (ceon.rs, pod «O nama-Stavovi»).

Produktivnost (odnosno, prema Pravilniku «indeks kompetentnosti»), kao druga dimenzija učinka, takođe je vrednovna na nelegitiman način, direktnim preuzimanjem podataka iz tzv. Kartona naučnog radnika. U svom izveštaju upozorili smo Sekretarijat da su Kartoni u lošem stanju i da se njihova upotreba u evaluativne svrhe može osporiti, što se u javnosti i dogodilo. Karton naučnog radnika predstavlja projekat niskog informatičkog kvaliteta i pouzdanosti i još niže održivosti. Nije kompatibilan sa sistemima te vrste koji postoje ili se razvijaju u Evropi, pa i u Srbiji. Prepoznajući to mnogi istraživači odbili su da ga «popune» uprkos posledicama, tj. uskraćivanju prava pristupa pokrajinskom fondu za nauku. Pravo je Sekretarijata da uslovljava finansiranje istraživača saradnjom na bilo kom svom projektu, ali bi to moralo imati pokriće u opravdanosti i kvalitetu takvog projekta. Sankcije bi morale biti primerene, a one to nisu. Nedopustivo je,  na primer, da se na «Listi najcitiranijih naučnih radnika na Univerzitetu»  izostave imena onih za koje je citiranost utvrđena (znamo to po tome što smo podatke o citiranosti u društvenim naukama mi i pripremili) a nemaju Karton, pošto to nije lista citiranosti korisnika jednog fonda, već Univerziteta u Novom Sadu, kako je i naslovljena na sajtu Univerziteta.

U javnosti su evidentirane i druge nepravilnosti na ovom konkursu, a da to nije demantovano. Stiče se utisak da je postupak izveden protivno načelu objektivnog vrednovanja, zasnovanog na valjanim i proverenim podacima, za što se Sekretarijat zalaže. Pozivamo zato Sekretarijat i Fondaciju da (1) koristeći mere iz svoje nadležnosti suspenduju rešenje Komisije, pošto sami kandidati za to nemaju pravnih sredstva, izuzev u  sudskom postupku i (2) pokrenu postupak dorade Pravilnika, kako bi se čitav postupak, a posebno vrednovanje naučnog učinka, obavio na doktrinaran i produktivan način. Smatramo da je svaka šteta od odlaganja rezultata konkursa manja od one koja će nastati ako odluka Komisije ostane na snazi.

Napominjemo da smo se odrekli ponuđene naknade za pripremu podataka o citiranosti kandidata na ovom konkursu. Učinili smo to iz poštovanja za prepoznatljivo nastojanje Sekretarijata da u praksi odlučivanja promoviše citiranost kao pokazatelj i, u ovom slučaju, upotrebi ga za odlučivanje o mladim istraživačima, što je u skladu s našom misijom i za svaku pohvalu. Pokazalo se da se takva promocija izvrgla u svoju suprotnost. Izvinjavamo se onim kandidatima kojima smo svojim učešćem u sistemu odlučivanja na ovom konkursu nehotice naneli štetu.

Upućujemo ovo saopštenje Pokrajinskom sekretarijatu i Fondaciji neposredno, a kandidatima i javnosti posredstvom medija koji su izveštavali na ovu temu.

Centar za evaluaciju u obrazovanju i nauci
Upravni odbor
Predsednik
dr Pero Šipka
profesor
Filozofski fakultet u Novom Sadu
Odsek za psihologiju