Přítomní: Jiří Pop (PF), doc. Jiří Mrázek, Th.D. (ETF), PhDr. David Greger, Ph.D. (PedF), doc. ThDr. Pavla Damohorská, Th.D. (HTF), Mgr. Karel Šima, Ph.D. (FF), MUDr. Karel Ježek, Ph.D. (LFP), Mgr. Anna Altová (PřF), doc. RNDr. Jiří Dolejší, CSc. (MFF), JUDr. Michal Říha (PF), Mgr. Andrej Farkaš (MFF), prof. MUDr. Jan Trka, Ph.D. (2.LF), Doc. Mgr. Cyril Brom, Ph.D. (MFF), Prof. MUDr. Zuzana Moťovská, Ph.D. (3.LF), doc. PhDr. RNDr. Josef Stráský, Ph.D. (MFF), PharmDr. Eduard Jirkovský, Ph.D. (FaF)

Hosté: Mgr. Jiří Chvátal (OAS RUK), prof. PhDr. Ladislav Krištoufek, Ph.D. (prorektor UK)

Program:

1) Výkonové indikátory

2) Pětileté hodnocení vědy na UK

1) Výkonové indikátory

Dr. Greger přivítal přítomné členy a seznámil je s postupem projednávání materiálu „Nový systém Výkonových ukazatelů pro vědecký výkon UK“. K části „Principů“ se bude vyjadřovat pouze Ekonomická komise. Dnešní debata však již nebude velmi detailní, bude projednán věcně pouze předložený návrh, o němž se bude následně hlasovat.

Prof. Krištoufek poděkoval členům Komise pro vědu AS UK za diskuze proběhlé v minulých měsících. Včera byla komisi zaslána drobná legislativně-technická oprava materiálu: jedná se o tři drobné slovní úpravy metodiky, které však nezasahují do rozdělení jako takového a pouze zpřesňují slovní formulaci.

Připomene cíl materiálu, tedy aktualizování datové základny, dle níž rozdělujeme peníze za vědu (DKRVO). V současné chvíli jsou čerpána data z pětiletého hodnocení vědy, což v praxi znamená, že se vývoj v oboru propíše často i se 7-8letým zpožděním, což je pro fakulty demotivační. Chtěli jsme vytvořit nástroj, v rámci nějž by si fakulta i univerzita stanovily své priority ve vědě. Cílem není kvantifikovat vše, co se vyprodukuje, v první fázi dojde k propisu 5 %, 95 % institucionálního financování zůstane dle fixu. Zasáhneme do fixu z roku 2016 (starý RIV), kde věda měla minimální vliv na rozdělení financí. Nejdůležitějším krokem bylo stanovení indikátorů hodnocení tak, aby se v nich našly všechny fakulty a součásti – ne každá fakulta spadne pod všechny, ale každá z nich se najde alespoň v polovině z nich. Došli jsme k určení 3 indikátorů na vstupu a 3 indikátorů na výstupu. Skupina těchto 6 indikátorů je stejná jako na začátku našeho projednávání: indikátory jsou relativně obecné, aby se daly aplikovat na všechny vědní oblasti.

Nastavení podílů (vah) pro rozdělení financí mezi jednotlivé indikátory bylo věnováno celé minulé jednání. Je rád, že jsme dosáhli kompromisu, který by neměl nikoho znevýhodňovat, byť asi nikoho vyloženě nepotěší. Byla obava, aby systém nepřesouval finance od přírodovědných a lékařských fakult k humanitním a společenskovědním fakultám. To však nikdy nebylo cílem a ani k tomu nedojde. Jsou fakulty, které si pohorší, a jiné, které si polepší, ale není to jednotné v rámci typů fakult. Zmíněný přesun bude dle výpočtů na úrovni 3 % prostředků, nejedná se tedy o systematickou penalizaci konkrétního typu fakult. Jsou fakulty humanitní i společenskovědní, které si polepší, a naopak jiné, které si pohorší, stejně tak je tomu i ve skupině lékařských a přírodovědných fakult.

Výhled tohoto systému je, že se nyní pro rok 2024 bude 95 % prostředků rozdělovat podle starého fixu a jen 5 % bude rozděleno podle této nové metodiky. Poskytli modelaci, jak se které fakulty posunou, a největší pokles je asi 1,4 % DKRVO za předpokladu, že se finance v DKRVO nikam nepohnou. Je však pravděpodobné, že prostředky porostou cca o 4 %. Pokud by došlo k nárůstu, tak jediný, kdo by si mohl pohoršit, je ÚDAUK, a to není standardní výzkumný ústav. U ostatních fakult a součástí by však za této situace nedošlo k žádnému poklesu.

Se souhlasem RKR bude ustavena pracovní skupina pro monografie, která se mimo možností úprav či rozšířené seznamu CRISTIN bude zabývat i soutěží nejlepších monografií.

Co se týče vydavatelství MDPI a Hindawi, tak tam půjdeme cestou zastropování časopiseckého výkonu fakult na maximálně 15 % pro rok 2024 s tím, že další rok poklesneme na 10 % s výhledem možného dalšího snižování. Těchto 15 % se v současné modelaci týká tří fakult. Osobně očekává, že pokud se započítá rok 2022, tak se strop bude týkat většího počtu fakult.

„Highly cited researchers“ byli v materiálu ponecháni, byli zařazeni v rámci indikátoru citací, ale v současné chvíli s váhou 0. Pokud se v budoucnu bude tomuto ukazateli přidávat váha, tak budou prostředky ukrojeny z citací, aby bylo jasně dáno, že tato procenta nebudou na úkor čehokoliv jiného.

Závěrem moc děkuje za měsíce projednávání. Má za to, že se nám povedlo dopracovat se k velmi slušnému materiálu, který je konsensuální, byť díky tomu možná bude pro některé problematický. Dopracovali jsme se ke komplexnímu systému, kterému věří, že bude fungovat.

Dr. Greger poděkoval za představení a znovupřipomenutí cíle materiálu, který mohl upadnout v zapomnění z důvodu dlouhého projednávání této metodiky.

Dr. Šima – Věcně zde zaznělo vše, nepřekvapivě ale materiál nepodpoří, jelikož jej na rozdíl od pana prorektora nepovažuje za kompromisní. Od minulého jednání, kdy byly metaváhy podrobně probrány, se totiž nijak podstatně nezměnil. Principy jako celek podporuje, stejně tak podporuje, aby byl systém výkonových indikátorů vytvořen, ale ne v této podobě. Nesouhlasí s poměrem vah na monografie a ostatní časopisecké a jiné publikace, kde se kompromis nepodařilo najít.

Doc. Damohorská – Podporuje dr. Šimu, pro humanitní a teologické fakulty je rozdělení metavah nepříliš dobré. Monografie jsou dle ní v předloženém materiálu nedostatečně oceňované, což je i stanoviskem její fakulty. Bude tedy hlasovat proti.

Prof. Krištoufek – Připomínce rozumí, ale rád by připomenul, že se materiál projednává přes 8 měsíců. Pamatujeme si nejlépe poslední variantu podkladu, ale od začátku došlo k mnoha kompromisům: došlo k výraznému rozšíření seznamu nakladatelství, která jsou započítávána do monografií, došlo k zahrnutí standardních projektů GA ČR, k výraznějšímu rozšíření SCOPUSu a k zahrnutí také časopisů ve 3. a 4. kvartilu. Materiál nazývá kompromisním s ohledem na to, jak jsme se s ním pohnuli od začátku projednávání. Kompromisů a zahrnutí většího množství vstupů a výstupů bylo mnoho.

Návrh usnesení:

Komise pro vědu AS UK vyjadřuje kladné stanovisko k materiálu „Nový systém Výkonových ukazatelů pro vědecký výkon UK“.

Hlasování 7-3-4

Neschváleno

2) Pětileté hodnocení vědy na UK

Prof. Krištoufek – Máme zde výsledky a aplikace prvního kola hodnocení tvůrčí činnosti na UK za roky 2014-2018, nyní bude druhé kolo za roky 2019-2023, které se do Principů propíšou v roce 2026.

Naše motivace k hodnocení je být leaderem v českém prostředí a jít příkladem. Zároveň máme mezinárodní závazky: prvním je implementováni podepsaného Agreement on Reforming Research Assessment, a to do konce roku 2023, což nám vyjde. Cílem je propisovat naše hodnocení do rozpisu prostředků, chceme to udělat poctivě.

Stručně seznámil s doporučeními ARRA a CoARA: chceme uznávat rozmanitost výzkumných aktivit a praxí, včetně různých forem výstupů, přejít výhradně na kvalitativní hodnocení, opustíme nevhodné použití metrik založených na časopisech a publikacích, jako např. impakt faktor (JIF) a h-index.

Co se týče našich základních východisek, tak nyní máme program základní institucionální podpory vědy a výzkumu Cooperatio, který vychází z doporučení 1. kola hodnocení. Vedle toho by měl být paralelní systém Výkonových ukazatelů pro vědecký výkon na UK, který kombinuje kvalitativní a kvantitativní přístup k aproximaci výzkumného objemu univerzitních součástí.

Cílem tohoto hodnocení je zejména vyhodnocení kvality tvůrčí činnosti, poskytnutí zpětné vazby v rámci nového rozdělení vědních oblastí v mezinárodním srovnání, a to včetně konkrétních doporučení pro zvýšení konkurenceschopnosti na poli tvůrčí činnosti v mezinárodním prostředí. Chceme si srovnat naše interní vnímání vědních oblastí s mezinárodním standardem či podporovat mezifakultní spolupráce v rámci vědních oblastí. Potřebujeme nastavit nový standard hodnocení tvůrčí činností zohledňující principy ARRA.

Co se týče struktury hodnocení, tak budeme mít Radu složenou z 12 členů, v jejím čele bude tříčlenné předsednictvo. Panel odpovídají panelům vědních oblastí na UK a budou 4, kdy každý bude mít vlastního tajemníka z OVaV. Rada se fyzicky sejde na UK před začátkem hodnocení k detailnímu seznámení s pravidly, aby byla zajištěna jejich správná aplikace v rámci všech panelů. Výsledné hodnocení bude na škále A-D, se symetrickými mezistupni + a –. Každá vědní oblast obdrží známku dle postupu hodnocení. Výsledná známka fakult a součástí, která se bude dále promítat v Principech v následujících obdobích, bude určena jako vážený průměr známek přes VO, v kterých je fakulta/součást zapojena. Váha bude váženým průměrem třech kritérií: FTE AP a VP, prostředků na danou VO a celkových prostředků nad rámec programu Cooperatio. Budou nastavena i minimální kritéria pro uznání VO pro součást.

Struktura hodnotící zprávy bude velmi odlišná, detailnější. U minulého hodnocení vnímal jako problematické, že nebyla sjednocena očekávání, která byla na hodnotící zprávu kladena. Hodnotící zpráva bude následně jediným fyzickým podkladem pro hodnocení vědní oblasti, ale bude obsahovat i mnoho příloh. Struktura zprávy bude totožná napříč vědními oblastmi. Za UK jako celek bude hodnotitelům dodán základní text o struktuře Univerzity a základním kontextu Hodnocení. Zavedeme on-site visits, které proběhnou fyzicky po vyhodnocení Hodnotící zprávy, jichž se budou účast členové Rady po svých panelech.

Představil dále postup výběru hodnotitelů, od jejich osobních předpokladů, přes průběh nominací až po samotný výběr kvalifikovaných osob. Budeme mít dva panelisty/hodnotitele, kteří zpracují pro vědní oblast posudek a navrhnou celkovou známku na základě parciálních známek v hodnocení. Budeme mít dále tři vedlejší hodnotitele, kteří navrhnou celkovou známku na základě parciálních známek.

Hodnotící zpráva bude za celou vědní oblast, práci na ni koordinuje koordinátor/ka dané vědní oblasti, včetně výběrových podsekcí, a to primárně skrze členy Rady vědní oblasti z daných fakult a součástí. Ti následně budou komunikovat se svými fakultami a součástmi.

Závěrem stručně představil harmonogram hodnocení.

Aby shrnul hlavní změny v materiálu oproti variantě představené v únoru 2023 – souhrnný podklad o publikační činnosti nebude součástí návrhu jako takového: hodnotitelům poskytneme základní data, nicméně nedostanou celý ten obří soubor. Zavedeme on-site visits ve fyzické podobě. Zruší se bonusy a penalizace pro jednotlivé součásti v rámci jedné vědní oblasti.

Prof. Trka – Myslí si, že výsledkem hodnocení bude hodnocení B+ u většiny fakult a ničemu to nepomůže, viz minulé hodnocení. Financování jednotlivých fakult to nepomůže zcela jistě. Jednotlivým vědním oborům to pomůže, ale fakultám ne. Např. většina medicínských oborů se děje na pěti fakultách, kdy někde je obor lepší a jinde horší. Jak se ale projeví to, že je někde skvělá skupina? Dostanou pak více peněz na úkor horších týmů?

Prof. Krištoufek – Nevíme, jak hodnocení dopadne, nelze tedy predikovat, zda budou všichni B nebo B+. Myšlenka hodnocení je, že se podíváme na fakultu a na to, jak nakládá se svými personáliemi. Pokud mají skvělou vědní oblast, která je personálně dobře zabezpečená, tak to pro danou fakultu přinese bonus. Hodnocení fakulty bude poskládáno dle toho, v kolika vědních oblastích je zapojená, jak do nich dává prostředky, kolik má výborných vědních oblastí apod. Následná otázka pak bude samozřejmě taková, jak se toto pak propíše do Principů. Aktuálně je rozdíl po propsání hodnocení minimální, nyní chceme tyto váhy mírně zvýšit. Je pravda, že pro lékařské fakulty to bude specifické, jelikož mají mnoho vědních oblastí. Když se ale podíváme na současné nastavení dělení financí, tak je velmi heterogenní, kdy každá z fakult má excelenci v jiné vědní oblasti. Pokud dopadneme tak, že budou všichni dobří, tak si nepomůžeme a dopad na finance bude malý, ale budeme mít alespoň zpětnou vazbu a mezinárodní srovnání. Efekt na finance pak bude uniformní.

Prof. Trka – Nezjistíme, že jsme všichni skvělí, spíše budeme průměrní. Lékařských Cooperatií je 19 a 2.LF se účastní 13 z nich. Nedává mu smysl skládat informace o jedné fakultě ze 13 Cooperatií.

Prof. Krištoufek – Nesouhlasí s tím, ale děkuje za připomínku. Bude třeba s daty citlivě pracovat, ale to je pak úkol pro statistiky.

Doc. Brom – Jemu přijde dotaz prof. Trky dobrý. Je poměrně časté, že v určitém oboru jsou jedna či dvě excelentní pracoviště/skupiny, a pak průměr/podprůměr. Dokáže toto hodnocení „vypíchnout“? V prezentaci bylo řečeno, že obory na úrovni 1-2 % fakultu „propadnou“ mimo hodnocení, protože tato velikost je irelevantní, ale to přesně může být případem excelentních skupin, které by tak mohly být z hodnocení zcela vyřazeny.

Prof. Krištoufek – Děláme hodnocení proto, abychom zjistili, kdo je excelentní, nechceme tedy aby propadli. Snažíme se vždy zamezit degeneracím ve špatném slova smyslu, aby se nikdo „nesvezl“ se zbytkem. Hypoteticky otázku chápe, ale nenapadá jej reálná situace, kdy by toto bylo na UK relevantní.

Prof. Trka – Tento příklad vychází z minulého hodnocení, kdy se onkologie dělá na všech pěti fakultách, kdy z minulého hodnocení vyplynula podprůměrnost tohoto oboru na UK, byť zde existuje jedna malá excelentní skupina. Jak lze tedy s tímto výsledkem nadále pracovat? Ta skupina je malá v rámci oboru i v rámci fakulty.

Prof. Krištoufek – Pokud je malá i v rámci fakulty, tak bude do hodnocení vstupovat příslušnou vahou. Pokud je excelentní v rámci vědní oblasti, tak bude s největší pravděpodobností celá oblast hodnocena jako excelentní. Chceme se přibližovat anglickému principu, kdy hledáme to nejlepší, a právě to posuzujeme. Na fakultě, která v dané oblasti není tak dobrá (dává na vědní oblast málo prostředků či personálií), se známka z vědního oboru propíše málo, zatímco na domovské fakultě excelentní skupiny se známka propíše výrazněji. Jak váhy přesně pojmeme si musíme ujasnit v rámci pracovní skupiny či RUK.

Prof. Trka – Vidí v tom stále velký problém. Hodnocení oboru dle něj smysl má, ale převod hodnocení do peněz pro fakulty mu stále přijde nesmyslné. Proces, kterým se má hodnotící zpráva projednávat a odevzdávat mu přijde nesmírně komplikovaný a prakticky neproveditelný, protože po každé změně to bude muset projít znovu přes všechny fakulty.

Prof. Krištoufek – Toho jsme si vědomi, padlo to i na setkání proděkanů a pracovní skupiny. Musíme to zjednodušit a zefektivnit, ale zároveň musíme zajistit tok informací směrem k fakultám. Budou to ještě upravovat.

Dr. Šima – Bylo by efektivnější, kdyby měla komise písemný materiál, ke kterému by mohla dopsat své komentáře a otázky, ať zde nediskutujeme o každém detailu.

Dr. Greger – Děkuje a souhlasí. Následné jednání bude 15.11. a rád by požádal pana prorektora, aby nám podobný podklad poskytl.

Prof. Krištoufek – Materiál komisi nasdílí, komentáře dnes zmíněné zkusíme do něj do příštího jednání zapracovat. Pracovní skupina by se mohla sejít do konce října. Pošle v průběhu příštího týdne materiál i dnes ukázanou prezentaci.

Dr. Šima – Hodnotí velmi pozitivně přístup vedení k posunu v materiálu, který je od února značný. Je dobře, že následujeme praxi těch nejlepších světových univerzit. Doufá, že hodnocení bude mít zejména formativní charakter. Velmi zásadní a strategické budou váhy u financování. Pokud ale dáme vysokou váhu na externí financování, tak se do toho propíšou rozdílné ekonomické náročnosti jednotlivých výzkumů. Jak se zohlední interdisciplinární výzkum? Hodnocení bude podle vědních oblastí, interdisciplinární výzkum proto bude upozaděn. Budeme hodnoceni dle mezinárodnímu benchmarku, ale vůči komu bude stanoven?

Prof. Krištoufek – Co se týče benchmarku, tak ten určí vnímání hodnotitelů, kteří si sami řeknou, co považují za mezinárodní standard. I proto budou kladeny vysoké nároky na osoby hodnotitelů při jejich výběru. Interdisciplinární výzkum je dobré zmínit, ale bude aplikováno stejné pravidlo jako u zbytku: pokud je v rámci dané vědní oblasti interdisciplinární výzkum považován za standard, tak na něj bude myšleno. Budeme pracovat s nominacemi excelentních skupin za vědní oblasti, kam je možné interdisciplinární výzkum nominovat. Co se týče vah a nákladovostí výzkumu, tak tyto váhy budou pouze na úrovní fakulty – bude nás zajímat, jak jsou v rámci fakulty rozděleny finance či lidé, nebudeme srovnávat nákladovost mezi fakultami navzájem.

Zapsala: Amáta Vohradská, tajemnice AS UK

Schválil: PhDr. David Greger, Ph.D., předseda Komise pro vědu AS UK