Křivé zrcadlo české vědy ****************************************************************************************** * Křivé zrcadlo české vědy ****************************************************************************************** 7.3.2009, rubrika: ORIENTACE ESEJ, strana: 24, autor: Marek Skovajsa Představa, že veškerý vědecký výkon lze změřit, je pouze pohodlným byrokratickým přáním V domácí vědě se začínají uplatňovat nová pravidla hodnocení publikací zavedená vládní rad Mají však mnohé nedostatky a vykazují řadu rozporů. Rada české vlády pro vědu a výzkum zveřejnila loni v létě pravidla, podle kterých je již d výzkum vědců působících na všech výzkumných pracovištích. A letos v lednu podle týchž prav ohodnotila vědecký výkon celých institucí. Výsledky tohoto hodnocení mají mít v dalších le dopad na financovaní všech domácích vědeckých pracovišť včetně vysokých škol. Jde tedy o n téma, ale jak odpovídá místním politickým zvyklostem, nový systém se rodil v nejvrchnějšíc politiky bez širší a dostatečně důkladné diskuse. Výsledkem je kombinace (snad) dobrých úm správných rozhodnutí a vysloveně problematických kroků. Nová pravidla se snaží českou vědu motivovat k lepším výkonům v mezinárodním srovnání a ta výsledků, které jsou aplikovatelné v praxi. Aplikovaný výzkum tedy zkrátka nepřijde. I mén aplikované výsledky se hodnotí o něco příznivěji než naprostá většina publikací, které jso jediným produktem základního výzkumu. Odlišné zájmy základního a aplikovaného výzkumu však jednu z mnoha třecích ploch. Ty ostatní se ukrývají přímo uvnitř systému hodnocení publika Všem stejným metrem? Nový systém má zjevnou tendenci sázet na společná plošná pravidla pro co největší počet rů oborů. Jednoduchá, univerzální pravidla mají obrovské výhody. Jsou relativně levná a brání diskusím. Mezi skupinami věd i jednotlivými vědami samozřejmě existuje velké napětí. Debat být nekonečné a málo plodné. Diskuse, zvláště o kvalitě, se však často nevedou ani uvnitř disciplín. Je-li situace takto špatná, rýsuje se jako nejlepší řešení najít objektivní, me aplikovatelná pravidla, pomocí kterých se dá měřit všem, aniž by vznikla nutnost jakkoli o diskutovat. Tato pravidla výrazně usnadňují zpracování obrovského množství publikací, které ve vědě vz umožňují, aby hodnocení prováděli úředníci, kteří posuzovaným oborům příliš nerozumějí, pr vycházet z objektivně daných příznaků každé publikace. Mohlo by se zdát, že výsledkem musí zmanipulovatelná a nejspravedlivější podoba hodnocení. Každé „objektivní“ kritérium však n a někomu méně. V kostce řečeno, pravidla hodnocení publikací kladou velkou váhu na články v takzvaných im časopisech s výjimkou humanitních disciplín, u nichž je použití impakt faktoru krajně nevh proto mají svá vlastní speciální kritéria. Tyto základní ideje jsou samy o sobě rozumné, ale konkrétní nastavení bodových vah různých vzbuzuje rozpaky. Neplatí totiž intuitivní předpoklad, že by stejná kvalita a množství prá hodnoceny víceméně stejně. Monografie o 50 stranách má stejnou váhu jako monografie o 500 Třístránkový článek „vydělá“ tolik bodů jako článek padesátistránkový. Kapitoly v knize mají váhu pouze podle toho, kolik různých autorů se na ní podílelo. Týž č v knize o celkem pěti autorech má dvojnásobnou váhu proti článku vydanému v knize, v níž p různých autorů. Bodování tedy nezohledňuje ani základní kvantitativní vlastnosti textu, a už vůbec není ře různorodé kvalitě různých typů publikací. Článek v knize publikované u vysoce prestižního nakladatelství může mít poloviční váhu proti článku uveřejněnému v průměrném českém časopi Některé náročné výkony, například editování čísel vědeckých časopisů nebo kompendií, se ne nebo zcela nedostatečně a jisté není ani to, zda budou náležitě oceněny třeba překlady kla V síti vědy Pravidla hodnocení přikládají velký význam publikacím v impaktovaných časopise nejlepším časopise daného oboru má váhu odpovídající zhruba sedmi monografiím. Impaktované takové, které jsou zařazeny do citačních databází americké komerční společnosti Thomson Re té asi nejznámější, nazývané Web of Science. Tato firma počítá citace u publikovaných člán vydává žebříčky časopisů seřazených podle jejich průměrné citovanosti. Autorem myšlenky počítání tzv. impakt faktoru je průkopník americké scientometrie Eugene G už v 50. a 60. letech nastavil pravidla pro počítání průměrné citovanosti tak, aby optimál kvalitu nebo přesněji „dopad“ publikací zejména v biochemii a oborech s ní srovnatelných. další odborníci však neúnavně zdůrazňují, že impakt faktor je problematickým ukazatelem kv společenskovědních časopisech a zcela scestné může být jeho použití v humanitních oborech. O nedostatcích impakt faktoru toho bylo ve vědeckých časopisech už napsáno velmi mnoho, př vhodné pár základních námitek připomenout. Tím základním problémem impakt faktoru je rozdí citovanosti v různých vědních disciplínách, ale i v různých specializacích v rámci jednoho zjednodušení platí, že impakt faktor udává průměrnou citovanost časopisu pouze v posledníc Bude vyšší v těch oborech, kde se citují především nejnovější výsledky, a přírodní nebo te s rychlým obratem nových poznatků budou tedy mít výrazně vyšší impakt faktory než třeba fi stále patří k dobrému tónu odkazovat na Aristotela a Platona. Britští přírodovědci Bruce Charlton a Peter Andras uvádějí, že průměrná citovanost v příro je 13krát vyšší než ve vědách sociálních, a dokonce 200krát vyšší než v humanitních oborec rozdíly existují i uvnitř vědních skupin. Zhruba řečeno, impakt faktory jsou nejvyšší v bi a chemii, a v rámci sociálních věd v psychologii a různých sociálně-zdravotnických oborech Pravidla hodnocení české vědy se problémům s rozdílnou hladinou citovanosti v různých obor tím, že do výpočtu bodové váhy článku nezahrnují absolutní hodnoty impakt faktorů, ale pou pořadí na žebříčku impaktovaných časopisů. Pokud biochemik a ekonom publikují článek v des časopise svého oboru ze sta, získají stejný počet bodů, ač impakt faktor prvního časopisu pětinásobně vyšší. Nic než „impakt“ Některými dalšími omezeními impakt faktoru trpí více s vědy než přírodovědné obory. Zcela zásadní problém spočívá v tom, že impakt faktor stále z silně amerikocentrický. Obrovská databáze firmy Thomson Reuters obsahuje zejména články vy Spojených státech a samozřejmě především v angličtině. Porozumění americké korporace pro s středoevropských jazyků je vcelku omezené. Jejím redaktorům například dělá při identifikac problém rozlišovat mezi češtinou, slovenštinou a slovinštinou. Neanglické časopisy vzaté n zařazené do databáze dopadají s impakt faktorem velmi podprůměrně. Není divu, když článek národním jazyce si může přečíst řádově mnohem méně lidí než článek psaný anglicky. A navíc v databázi Thomson Reuters bývá vždy zařazen jen zlomek časopisů vycházejících v m jazyce. Citace uveřejněné v národních časopisech, které v databázi zařazeny nejsou, se nep neanglické časopisy na své anglické konkurenty dále ztrácejí, protože se jim nezapočítávaj citace. Konečně dalším stěžejním problémem spojeným s užíváním impakt faktoru je skutečnost, že di v nichž se ve významné míře publikuje formou knih. Databáze knih a knižních citací srovnat časopisů neexistuje a vzhledem k obrovským nákladům takového projektu asi hned tak existov Impakt faktor sleduje citovanost pouze u článků v privilegované skupině asi 10 000 světový mezi nimiž převládají časopisy přírodovědecké. Desetitisíce dalších časopisů ignoruje a st jsou i statisíce odborných knih. Publikování v monografiích je tedy v systému zdůrazňující silně diskriminováno. Příkladem velkých rozdílů v publikačních zvyklostech, a tím i v cito jednoho oboru, může být sociologie. Její matematizované subdisciplíny se způsobem práce po a publikace zde mají nejčastěji podobu článků v odborných časopisech. Tyto obory mají hlad výrazně vyšší než teoretické, k filozofii nebo historii a ke knižním publikacím tíhnoucí s disciplíny, aniž by to ještě cokoli vypovídalo o jejich kvalitě. Nejuznávanější sociologič jako Zygmunt Bauman nebo Jürgen Habermas, mají na Web of Science méně citací než špičkoví sociologové. „Národní excelence“ Filozofie, historie, národopis, jazykověda, uměnověda, pedagogika a pá se v pravidlech hodnocení společně ocitly pod ošklivou nálepkou Národní referenční rámec e kterou platí specifická kritéria. Impakt faktor zde má velmi omezený význam, naopak roste monografií a časopisů. Toto řešení je nevyhnutelné, ale nekoncepčně postihuje obor společe Některé z nich – jako ekonomie, psychologie nebo sociologie – se do „rámce excelence“ nedo se jim stejným metrem jako vědám přírodním. Jiné sociální vědy však do celkem vlídného nár excelence“ pronikly. To se týká například práva, politologie, mediálních studií nebo antro Důsledky tohoto rozdělení sociálních věd jsou absurdní a mohou mít likvidační dopad na ty, excelence“ nedostaly. Kdyby zakladatel české sociologie T. G. Masaryk dnes publikoval svou sociální, musel by si dobře rozmyslet, jestli ji označí za publikaci sociologickou, nebo p V prvém případě by totiž za tutéž knihu dostal polovic bodů než v druhém případě a jeho un prostředků na vědu. Odlišná pravidla pro humanitní a některé další obory s sebou nesou rizika pro kvalitu domá Monografie i časopisy často vycházejí bez skutečného odborného posouzení, mnohá pracoviště publikace zejména proto, aby umožnila svým zaměstnancům a spolupracovníkům mít více „výstu posílila svůj celkový publikační výkon. Kvalita pak není nutně kritériem nejpodstatnějším. spoléhat na pouhou deklaraci vydavatele, že daná publikace prošla recenzním, ba mnohdy dok recenzním řízením. Víceméně na deklarace vydavatelů a pár velmi základních kvantitativních se však soustředila česká rada pro vědu, když sestavovala seznam domácích časopisů, které za dostatečně kvalitní na to, aby publikace v nich měly nějakou bodovou váhu. Do seznamu s časopisy velmi kvalitní i velmi nekvalitní. Ještě problematičtější výsledky přinesla snaha vládní rady zavést snadno aplikovatelná kri pro hodnocení monografií. Měl být sestaven seznam kvalitních vědeckých nakladatelství podo jaký existuje pro časopisy. Jenže na rozdíl od Spojených států a západní Evropy se v Česku nakladatelských domů specializovaných na odbornou literaturu teprve utváří. Vydávání je ve a kvalita ovšem také. Hrozilo tedy, že seznam bude buď příliš úzký, a řadu solidních, ale nakladatelství vynechá, anebo příliš široký, a pak lepší kontrole kvality publikaci výrazn Nakonec rada aspoň pro letošní rok od svého úmyslu upustila a jako monografie může vyjít p a kdekoliv. Tvůrci metodiky hodnocení vědeckých publikací zatím projevují uhlířskou víru v sílu mechan Jenže samo nastavení těchto pravidel vyžaduje určitá předchozí rozhodnutí, která měření kv způsoby zkreslují. Představa, že veškerý vědecký výkon lze změřit pomocí jedné tabulky, je byrokratickým přáním. Ani v Česku nebude možné zcela opustit praxi zavedenou v mnoha zemíc jednotlivé výzkumné obory hodnotí odděleně a konečný verdikt vynáší panel kvalifikovaných posuzují nejrůznější stránky jejich vědeckého výkonu. V Německu v loňském roce skončil pil panelového hodnocení dvou oborů, chemie a sociologie, organizovaný pod záštitou spolkové R Pro nás mohou být zajímavá především doporučení panelu pro sociologii: klást značný důraz v impaktovaných časopisech, ale aspoň v sociálních vědách nepřeceňovat počty citací. A hla neměřit, ale číst. Každý člen panelu musel přečíst 3000 stran různých textů z hodnocených společně pak označili tuto formu posuzovaní kvality za naprosto nepostradatelnou. Více čís na čísla by se mělo i u nás. *** Kdyby zakladatel české sociologie T. G. Masaryk dnes publikoval svou knihu Otázka sociální dobře rozmyslet, jestli ji označí za publikaci sociologickou, nebo politologickou. V prvém za tutéž knihu dostal polovic bodů než v druhém případě a jeho univerzita polovic prostřed Garfield i mnozí další odborníci neúnavně zdůrazňují, že impakt faktor je problematickým u článků ve společenskovědních časopisech a zcela scestné může být jeho použití v humanitníc