Přítomní: PhDr. David Greger, Ph.D. (PedF), Mgr. Anna Altová (PřF), Doc. Mgr. Cyril Brom, Ph.D. (MFF), doc. ThDr. Pavla Damohorská, Th.D. (HTF), Mgr. Andrej Farkaš (MFF), PharmDr. Eduard Jirkovský, Ph.D. (FaF), Prof. RNDr. Jan Krejsek, CSc. (LFHK), prof. PhDr. Michal Kubát, Ph.D. (FSV), Prof. MUDr. Zuzana Moťovská, Ph.D. (3.LF), doc. Jiří Mrázek, Th.D. (ETF), doc. PhDr. RNDr. Josef Stráský, Ph.D. (MFF), Mgr. Karel Šima, Ph.D. (FF), Mgr. Karolína Štauberová (KTF), prof. MUDr. Jan Trka, Ph.D. (2.LF), doc. RNDr. Jiří Dolejší, CSc. (MFF),

Hosté: prof. PhDr. Ladislav Krištoufek, Ph.D. (prorektor UK), MUDr. Josef Fontana, Ph.D. (RUK)

Program:

1. Zahájení a zprávy pana prorektora z oblasti vědy

2. Výkonové indikátory

3. Nominace členů do Pracovní skupiny pro monografie v rámci Systému výkonových ukazatelů

4. Návrh struktury Hodnotící zprávy výzkumných oblastí (Cooperatio)

1. Zahájení a zprávy pana prorektora z oblasti vědy

Dr. Greger přivítal prof. Krištoufka a dr. Fontanu. Následně seznámil přítomné s návrhem programu dnešního jednání.

Prof. Krištoufek se ujal úvodních informací ohledně vývoje situace od posledního jednání Komise pro vědu AS UK – Připravuje se novela zákona o VŠ a nová „130“, blížíme se k finální podobě zákonů. Zásadní změny oproti stavu „130“ v průběhu léta se nekonají, u novely zákona o VŠ se řešila v posledních měsících úprava stipendií, zejména technikálie. Budeme v návaznosti na to řešit novelizaci Stipendijního a zkušebního řádu UK, ale to je asi spíše záležitost pro Studijní komisi AS UK. Musíme pro fakulty nastavit nástroje, podle nichž se budou rozdělovat finance mezi jednotlivé oborové rady.

2. Výkonové indikátory

Dr. Greger – Jaký bude nyní harmonogram? Má se to přepočítat, půjde to do Rozpisu. Ale uvidíme to ještě před tím nějakou finální verzi modelací? Jaký je v této oblasti časový výhled?

Prof. Krištoufek – Napočítání ve standardním harmonogramu by mělo proběhnout v únoru, což jde ruku v ruce s počítáním celkového Rozpisu.

Dr. Fontana – Jsou to dvě kategorie věcí: první je záležitost kompletace finančních dat, což proběhne spolu se sběrem dat od fakult na výroční a bilanční zprávy. Pro samotné rozpočtení finanční části je pak termín trochu delší, to si řeší ekonomické oddělení, ale očekáváme, že to bude hotové do března. Data jako taková můžeme mít dříve, nicméně se následně verifikují, probíhá jejich křížová kontrola, zda souhlasí atd. Standardně je Rozpis předkládán v dubnu či květnu.

Dr. Greger – Modelový výpočet, který byl součástí indikátorů a je o rok posunutý, tak bychom jeho první návrh mohli na komisi vidět v březnu?

Dr. Fontana – Ti, kdo mají jako první kontrolovat správnost dat vzešlých od ekonomického odboru, musí být tajemníci a děkani. Rádi následně komisi zašleme finální verzi, ale chceme podklady jako první probrat s fakultami a ověřit jejich správnost.

Dr. Greger – Rozumí, děkuje za doplnění, šlo mu alespoň o odhad časového harmonogramu.

Dr. Fontana – Bude to předloženo buď v březnu nebo v dubnu, závisí to zejména na státním rozpočtu.

Prof. Krištoufek – Duben je za něj reálný, v lednu a únoru bude probíhat mnoho náročných datových záležitostí okolo pětiletého hodnocení. Na jaře ale nebude problém ukázat alespoň modelace, poměry a pohrát si s nimi. Druhá otázka je SSCI a případné zahrnutí také časopisů ESCI, kdy by to nechal první jeden až dva roky běžet relativně podobně, kdy bychom mohli diskutovat věci, které jsme zazávazkovali – MDPI, Hindawi, potažmo monografie. S tím počítá, že proběhne v dalším kole. Co se týče rozšiřování databází, tak by byl zatím relativně opatrný ohledně ESCI – není totiž příliš jasné, co v něm je, jak se počítají koeficienty apod. Osobně nemá k dispozici např. srovnání SSCI a Scopus, neví, která z těchto databází je dle něj prestižnější. V roce 2024 by do toho zkrátka zatím nezasahoval, nejdříve potřebujeme navnímat, jak to funguje.

Dr. Greger – Napočítáno to bude bez ESCI, v březnu se k této diskuzi můžeme pro další roky vrátit, až budeme lépe vědět, jak se ESCI počítá.

3. Nominace členů do Pracovní skupiny pro monografie v rámci Systému výkonových ukazatelů

Dr. Greger – Vysvětlil, jak bude pracovní skupina složena. Za AS UK bude delegováno 6 osob, nominováno bylo následujících 7 osob: Karel Šima (FF UK), Michal Kubát (FSV UK), Michal Říha (PF UK), David Greger (PedF UK), David Vopřada (KTF UK), Miroslav Sedláček (PF UK), Jiří Mrázek (ETF). Navrhnul jednotlivé nominanty krátce představit, aby komise věděla, o kom hlasuje.

Dr. Šima – Děkuje za slovo. O členství v pracovní skupině má zájem proto, že právě on navrhl, aby se zahrnul i seznam CRISTIN. Rád by poskytl expertní podklady, které následně můžeme využít pro revizi tohoto seznamu.

Prof. Kubát – Je členem komise pro vědu, s touto záležitostí má své zkušenosti, na fakultě se této záležitosti věnoval i z pozice proděkana pro vědu. Rád by své zkušenosti poskytl dále.

Dr. Říhu představil dr. Greger, kolega je také členem komise, dotazoval se na plénu zejména na seznam CRISTIN, jak se o některých výstupech rozhoduje, upozornil na to, že jsou některá nakladatelství automaticky brána na nižší váhu, kdy se jedná spíše o obchodní model, nikoliv model, který by vypovídal o kvalitě.

Dr. Greger – Rád by diskutoval rozdíly mezi českými a zahraničími nakladatelstvími v CRISTINu, zda udělat více úrovní než jen dvě apod. Rád by nejen doplňoval, ale chce otevřít diskuzi i nad tím, jak naložit např. se zahrnutím Grady a dalších nakladatelství na seznamu. Některým oborům by mohlo uškodit, kdyby se dalo snadno publikovat nekvalitní počiny.

Doc. Vopřadu představil dr. Greger. Jedná se o extramurálního člena komise. Jsme si jisti, že nebude nominantem fakulty, zastupuje humanitní vědy a teologie.

Dr. Sedláček je extramurálním členem ekonomické komise. Jedná se o výkonného redaktora časopisu Juridica, má podporu od vedení PF.

Doc. Mrázek je také členem komise, je nominován za ETF, aby se pohlídalo, že tam jsou nejen zahraniční, ale i naše nakladatelství, které mají solidní teologii. Bylo by dobré, aby tam někdo za teologie byl a kvalitu u tohoto oboru pohlídal.

Dr. Greger poděkoval za představení nominovaných osob a zahájil tajné hlasování. Po jeho ukončení seznámil přítomné s výsledky – ze 7 nominantů bylo voleno 6 osob, kdy nejméně hlasů získal dr. Sedláček (PF UK). Zbylým šesti úspěšným dr. Greger pogratuloval. Výsledky hlasování budou zaslány prof. Krištoufkovi.

4. Návrh struktury Hodnotící zprávy výzkumných oblastí (Cooperatio)

Prof. Krištoufek – Pětileté hodnocení za roky 2019-2023 a jeho konstrukce se snaží co nejvíce vycházet z nového agreementu, Research Assessmentu, kdy chceme být co nejvíce kvalitativní a kvantitativní části potlačit na minimum. Chceme ukázat a hodnotit to nejlepší, co ve vědních oblastech máme. Výrazně se tam pracuje s vědní oblastí, ne tolik s fakultami. Hodnotící zpráva je rozdělena na pět hlavních částí, chceme dát hodnocení jasnou strukturu. Bude rád za případné připomínky, rádi je zapracujeme.

Prof. Trka – Kolikrát se sešla pracovní skupina pro hodnocení?

Prof. Krištoufek – Sešli jsme se šestkrát. Tento materiál byl představen na RKR v září, proběhla k němu základní debata a již jsme nějaké připomínky obdrželi.

V první části zprávy se jedná o základní údaje o vědní oblasti, který nemá mít více jak 5 stran. Popis je jednou z datových částí, která byla detailněji prodiskutována. Bude poskytnut základní bibliografický přehled s tím, že na rozdíl od minulého hodnocení nepůjde do detailů. Bude se jednat o základní informaci pro hodnotitele, popsat jim jaká je struktura oblasti apod. Tato část je primárně popisná, včetně základního výhledu této oblasti.

Doc. Dolejší – Vítá, že vzniknou čitelné hodnotící zprávy. Jak se ale naloží s výsledky tohoto hodnocení? Jaká je představa o globální struktuře rozdělování financí?

Prof. Krištoufek – Toto již bylo částečně vydiskutováno. Myšlenka je taková, že výkonové indikátory se propíšou částečně do prostředků DKRVO a výsledky tohoto hodnocení budou vstupovat do Principů skrze tyto váhy, které pro rok 2024 jsou 95 % historického a 5 % dle výkonu. V roce 2026 by mohl být fix 80 % a 20 % dle výkonových ukazatelů, kdy by toto bylo následně přenásobeno koeficienty z pětiletého hodnocení. Navazuje to tedy na to, co je v Principech již nyní. Můžeme nyní indikovat, jaký je plán, ale samotné projednání proběhne až pro Principy na rok 2026.

Dr. Fontana – Padla otázka, zda se novými koeficienty budou násobit sumy z počátku nebo sumy vynásobené koeficienty. Plán je takový, že se bude jednat o sumy vynásobené prvními koeficienty.

Dr. Greger – Děkuje, to bude asi součástí debaty na Ekonomické komisi AS UK.

Prof. Krištoufek – Máme pětileté hodnocení s tím, že do toho každý rok vstupují výkonové indikátory, které jsou počítány každý rok. Zbytek debaty by nechal na Ekonomickou komisi.

Doc. Dolejší – Podstatnou část hodnocení udělají mezinárodní hodnocení, což je dobře. Máme ale jasnou zprávu, jak probíhá hodnocení kvality u našich partnerů, např. v rámci 4EU+?

Prof. Krištoufek – Naši partneři nejsou příliš sdílní, co se týče konkrétních postupů. Je také důležité to, že cíle jsou velmi jiné. Systémy, kterými dostávají naši partneři finance na vědu, jsou nesrovnatelné s tím, co máme u nás. Souvisí s tím i různá úroveň de/centralizace těchto univerzit.

Dr. Šima – Když to srovná s minulým hodnocením, tak mu zde chybí zprávy za jednotlivé fakulty. Hodnotitelé tedy informaci o rozložení oboru mezi jednotlivé fakulty získají jen z tohoto krátkého dokumentu? Hodnotitelé mají totiž tendenci se do organizace instituce dívat hlouběji. To, že se v této hodnotící zprávě fakulty řeší minimálně, může být z pohledu hodnotitelů velmi problematické. Má za to, že budou chtít vědět více informací, aby oboru lépe porozuměli.

Prof. Krištoufek – Chceme hodnotit vědní oblasti, zda v nich jsme nebo nejsme dobří. To, že jsme moc roztříštění, je pak náš problém. Že máme nestandardní strukturu fakult víme. Je možné, že hodnotitel dospěje k názoru, že jistá vědní oblast není příliš kvalitní, a to i z důvodu jejího rozložení napříč více fakult. Toto hodnocení reaguje i na předchozí hodnocení, kdy nás hodnotitelé vyzývali k tomu, abychom raději hodnotili po oblastech, a ne po fakultách. Chceme zároveň, aby bylo hodnocení proveditelné. Hodnocení fakult tak bude nepřímé, budeme je hodnotit jako součet vědních oblastí, na kterých se fakulta podílí.

Prof. Trka – Vědních oblastí pro LF je cca 17, každá z fakult se účastní 12-13 z nich. Velmi jej proto zajímá, jak vznikne souhrnné hodnocení fakulty. Jak se udělá průměr z tolika vědních oblastí pro jednu fakultu? Jeho představou bylo, že si UK najde centra excelence. Zatím mu to ale zní tak, že najdeme jen průměr.

Prof. Krištoufek – Souhlasí s řečeným. Chceme, aby hodnocení ideálně našlo a identifikovalo to, co je skvělé. Sebe-evaluační zpráva je konstruována jako nominace toho nejlepšího, nehledáme tedy průměr. Nominace budou tedy ne za fakulty, ale chceme, aby fakulty spolupracovaly a našly to nejlepší z oboru nehledě na to, odkud to je. Když chceme hodnotit to nejlepší, tak se může stát, že to u některých fakult či oblastí bude velmi průměrné. Pokud je to nejlepší tvořeno jen jednou fakultou v dané vědní oblasti, tak se také ukážou další věci. Např. že daná vědní oblast tam má buď mnoho lidí (což ale není relevantní ukazatel). Budeme se dívat, jaká část prostředků Cooperatio jde na danou vědní oblast dané fakultě, kolik celkově soutěžních prostředků mimo program Cooperatio na tuto vědní oblast jde v rámci dané fakulty. Toto bude sloužit jako váhy pro hodnocení vědních oblastí, které následně vstoupí do hodnocení za fakultu. Cílem není najít průměr, ale když se podíváme přes tyto váhy, tak zjistíme, že na fakultě jsou 2-3 hlavní oblasti, jejichž váhy jsou nejvíce relevantní. Zbylých 15-20 % může být tvořeno zbylými 12 vědními oblastmi. Na toto jsme mysleli a pracujeme s tím, debatovali jsme to detailně.

Doc. Dolejší – Děkuje za předchozí diskuzi. Externí hodnotitele by mělo zajímat, co po nich chceme. Jinak řečeno: když se budou nominovat ty nejlepší výsledky, tak se ohodnotí na lepší část toho vědního oboru. Na tom se zároveň přiživí i ty části, které zas tak dobré nejsou. Bude to tedy stimulační moment, protože to ukáže, že obor má potenciální tahouny, kteří mohou obor na fakultě pozvedat. Je tedy v pořádku, že se bude moci i jiná fakulta na tomto přiživit, jen proto, že je ve stejném Cooperatiu?

Prof. Krištoufek představil druhou část hodnotící zprávy, která bude popisovat personální strukturu oboru (profesoři, docenti, Ph.D. studenti). Součástí bude i rozdělení dle věků. Je zde možnost nominovat až 10 klíčových osobností oboru. Poslední část se týká juniorní vědy. Pracujeme s možností rozdělit nominace na 2-3 úrovně, aby jich mohlo být i více v případě velkých vědních oblastí.

Dr. Šima – Rád by se vrátil k hodnocení fakult. Protože nominace jsou zatím na úrovni špičky ledovce zpravidla. V minulém hodnocení šlo o desítky či stovky výstupů o pracovnících v dané oblasti, kdy měli hodnotitelé i informaci o velikosti oboru na univerzitě. Jak se to hodnocení toho nejlepšího promítne na fakulty? Protože kvality oborů se nějak přepočtou na známky pro fakulty, ale reálně to nebude vyjadřovat kvalitu vědy na konkrétních fakultách. Je třeba toto komunikovat otevřeně, aby fakulty věděly, co pro ně známky budou znamenat. Počítá se se zapojením rad Cooperatií, ale má pochybnosti, že budou rady objektivní při výběru těch nejlepších výsledků v oboru napříč univerzitou. Při střetu více fakult to bude předmětem vyjednávání uvnitř rad, kde se reálně bude to nejlepší určovat. Doufá, že bude RUK tyto diskuze moderovat.

Dr. Greger – Je třeba si citlivě nastavit, kolik výstupů budeme chtít. Někde bude snadné posbírat 50 nejlepších výstupů, zatímco když sesbíráme u jiných oborů 50 výstupů, tak tam nutně budou zahrnuty i ty průměrné výsledky, a to z důvodu velikosti tohoto oboru. Pak se dostáváme k tomu, co říkal dr. Šima, tedy pokud bude mít fakulta mezi těmi 50 výstupy svůj 1 excelentní výstup, tak bude mít obdobnou známku a podíl na financích jako jiné fakulty, které mají v tomto oboru více excelentních výstupů. Rád by, aby byl počet výstupů nastaven správně, abychom se nedobrali k výsledku, že jsou všichni buď průměrní, či všichni zcela excelentní.

Doc. Dolejší – Je přirozené, že se podíl na výsledcích vědy váží tím, co do toho jednotlivé fakulty investovaly, obdobně jako u investičních portfolií. Přimlouvá se zároveň za to, aby se posuzovala i velikost oboru.

Prof. Krištoufek – Paralela s investičním fondem v obecné rovině sedí, a od toho pak vyplývají i váhy. Ohodnotíme sice to nejlepší, ale skutečně nehodnotíme fakulty přímo. Kdyby existovala fakulta, jejíž prostředky směřují pouze do excelentních oblastí, tak je jistě excelentní i daná fakulta sama o sobě. Nedovede si však představit případ fakulty, která by byla „free-rider“, a doufá, že taková situace nenastane. Myšlenka vah je taková, aby zdůraznila důležitost fakulty v jednotlivých oborech. Nebojí se toho, že by hodnocení nehodnotilo fakultu jako takovou. Nás nejvíce zajímá to, v čem je fakulta skvělá, co nejlepšího je schopná udělat, na to se nás ptají i naši partneři. Má proto za to, že to pro fakulty reprezentativní bude, ale jinak to udělat nejde si myslí.

Doc. Brom – Ono se to tedy ještě asi bude řešit na ekonomické komisi, ale pokud chci přepočítávat známky na peníze, tak známka nemůže zahrnovat jen špičku ledovce (excelentní vršek), ale i zbylou část ledovce. Uvažme krajní případ, kdy bychom měli velký obor, kde by vrcholek byl A, ale zbytek D. Celková známka bude A, jestli tomu dobře rozumí, protože to D nevidíme? Toto A bychom ale asi na peníze trojčlenkou převádět neměli.

Doc. Dolejší – Ale takto by to přesně fungovalo. Je užitečné se alespoň trochu přiživit na excelentních oborech.

Doc. Brom – Pokud by to takhle fungovalo, tak nejde o rozdělování prostředků na vědu obecně, ale jde o bonus za excelenci. Bylo by dobré to tak i od začátku nazvat, aby nevznikly šumy. Dále je třeba to vážit i velikostí oborů (fakult). Na MFF jistě někdo excelentní bude, ale má to relativně menší váhu, než když je někdo excelentní na malé ETF.

Prof. Krištoufek – Jak rozdělíme peníze je na nás, jak to nazývat je věc druhá. Bavíme se nyní o hodnocení tvůrčí činnosti, kterou chceme nějak propsat do rozdělování prostředků na vědu, což je ale druhotná věc, kterou je třeba oddělit. Rozumí, že jde těžko oddělit debatu o hodnocení a tu o financích, ale nyní by se rád soustředil na to hodnocení samotné.

Dr. Šima – Rád by se soustředil na otázku počtu výstupů, které mají reprezentovat vědní oblast, což se opět odvíjí od velikosti dané oblasti. Dvacet někde může znamenat polovinu oboru, jinde 1 % všech výstupů. U minulého hodnocení se tyto kapacity dohodly dopředu, což vedlo k tomu, že nebyly některé výsledky porovnatelné. Byla ale snaha vytvořit tabulku, která zahrnovala známkování fakult a oborů. Je třeba zde jasně říct, že to se tentokrát konat nebude, že budeme hodnotit čistě obory a přepočet známek na fakulty bude skutečně nepřímý. Známka tedy nebude odpovídat kvalitě vědy na fakultě, což bude velká změna, kterou je třeba vysvětlovat.

Doc. Brom – To všechno chápe, jen abychom pak měli dost „dat“ (tzn. výstupů/známek z hodnocení) pro smysluplné přepočítávání na peníze. Abychom si za tři roky smutně neřekli, že máme super výsledky hodnocení (formativní atd.), ale která nedává (matematicky) moc smysl převádět na peníze.

Prof. Krištoufek – S tím souhlasí, ale má za to, že dat bude dostatek. Nyní jsme již v úrovni detailů, data již máme. To, do jaké míry chceme to hodnocení propsat, je samozřejmě věc druhá. S názorem dr. Šimy však nesouhlasí, skutečně si myslí, že toto hodnocení bude kvalitu vyjadřovat. Známky budou informativní a z jeho pohledu budou reprezentativní. Chceme vědět, co děláme nejlepšího, to je úkolem tohoto hodnocení. Průměr kvalitativně nejsme schopni ohodnotit. U počtu nominací by byl raději konzervativní – původně bylo navrhováno 20, nyní je návrh na 10. Je třeba se na to dívat optikou hodnotitele, který nebude mít čas pročíst 50 výsledků dostatečně detailně. I proto je snaha upozadit hodnocení fakult, aby rady vědních oblastí skutečně vybraly to nejlepší a nesnažily se upřednostnit konkrétní fakulty. Tento systém je postaven motivačně, protože z kvality budou benefitovat všechny fakulty.

Dr. Greger – Problém vnímáme v tom, že jsou zde odlišné pohledy na to, co má být zahrnuto. Jeden pohled je ten, že by každá fakulta měla mít zahrnut nějaké své výstupy, byť by to mohlo vést k průměrnosti. Další si přejí, aby bylo výstupů zahrnuto co nejvíce, aby to nebyly výstupy jen od jedné malé skupiny. Je třeba tedy najít nějaký střední model, kdy se např. z 50 nominovaných excelentních výstupů nalosuje náhodně 20.

Doc. Dolejší – Jeví se mu to jako přijatelné. Pokud chceme vystihnout kvalitu, tak nominujme. Jediným problémem je, že mají některé obory bohatou vnitřní strukturu, u níž je třeba nominovat více. Motivační nastavení systému se líbí, byť to může být nefér, pokud bychom se až zpětně dívali na to, odkud tyto výsledky vzešly.

Prof. Krištoufek – Nominacím dělaným přes fakulty se chceme vyhnout, protože by to dopadlo přesně tak, jak říká prof. Trka, tedy že budou všichni automaticky B. Čísla u nominací jsou k diskuzi. Chápe, že některé vědní oblasti jsou obrovské a mají mnoho podtémat, což může vést k návazné diskuzi o tom, zda je současné nastavení dobré či zda s tím budeme nějak v budoucnu pracovat.

Většinu komentářů vnímá jako pozitivně-konstruktivních a děkuje za ně. Zároveň tam nevnímá žádný zcela zásadní problém, za což je velmi rád. Budeme na tom dále pracovat a komisi bude i průběžně informovat.

Zapsala: Amáta Vohradská, tajemnice AS UK

Schválil: PhDr. David Greger, Ph.D., předseda Komise pro vědu AS UK