Very interesting and recognizable blog by @cwts researchers Judit Varga and Wolfgang Kaltenbrunner (both mastodonless?) about the practice of evaluating narrative CV's:

https://sfdora.org/2024/11/05/narrative-cvs-how-do-they-change-evaluation-practices-in-peer-review-for-grant-funding/

#narrativeCV #researchculture #recognitionandrewards

Today at the Marie Curie Alumni conference PEP-CV was launched: a free and open peer-mentorship exchange platform connecting mentors with mentees to develop and write narrative CVs.

Join the PEP-CV community to contribute to a more diverse and inclusive system that recognises a broad range of experiences, achievements, and careers in R&I! 💡

Visit the platform: pep-cv.mariecuriealumni.eu

Maar over de hele linie zien beoordelaars kleine kwaliteitsverschillen. Dat zie je dan ook terug in de marginale verschillen in score tussen na elkaar geordende aanvragen, over de hele rangorde. Ook zijn de oordelen over aanvragen in de top veelal niet uniform. Ik heb vrijwel nooit gezien dat er een duidelijk afgetekende top was, een duidelijk middengebied en een duidelijk afgebakende groep laag scorende aanvragen.

2: En dan wat ik zie als "De mythe van de makkelijk vast te stellen top". Het idee dat wetenschappers gemakkelijk de allerbeste voorstellen of onderzoekers kunnen identificeren is net zo goed een fictie. In mijn ervaring is dit een vorm van post hoc rationaliseren. De discussie gaat over de groep 'rond de streep', die op basis van geld getrokken wordt. Daardoor blijft de moeilijkheid van het bepalen van verschillen binnen deze groep hangen.

Korte draad over een interessant initiatief van het UMCU, waar Starters&Stimuleringsbeurzen worden verdeeld via loting. Helder en overtuigend toegelicht door (mastodonloze?) Rinze Benedictus (https://www.umcutrecht.nl/nieuws/onderzoeksbeurzen-via-loting-als-primeur).

2 nuanceringen van mij op basis van 8 jaar ervaring bij NWO:

1: (Geheel) objectieve beoordeling van onderzoekskwaliteit is inderdaad een mythe. Er is nooit één juiste selectie. Het is echter wel degelijk mogelijk om tot navolgbare, goed onderbouwde en valide rangordes te komen.

Some professional news: after 8 years at the Dutch Research Council (NWO) I'm going to move to @Radboud_uni. My new adventure begins on December 1st! I'll be the new Head of Education and Research Policy at the Faculty of Social Sciences 😊

Voor alle GroenLinksers en PvdAers: steun dit amendement over wetenschapsbeleid en een evenwichtige verdeling van middelen over de verschillende vakgebieden: https://amenderen.groenlinkspvda.nl#edited?amendement=1729

Op Twitter gaat een techno-optimismecliché rond: als we meer bèta's hebben komt het goed met het klimaat. Laat dat nou net even anders liggen. https://www.sciencedirect.com/science/article/pii/S2214629619309119

'Some of the key climate-change and energy transition puzzles are in the realm of the social sciences. However, these are precisely the fields that receive least funding for climate-related research. (...) Between 1990 and 2018 (...) only 0.12% of all research funding was spent on the social science of climate mitigation.'

OK, apparently there are people who argue that article level metrics are not metrics. I did not know that. Amazing.

How is it possible that people keep on falsely stating that the NWO evidence based CV bans all quantitative metrics, even though these people have been informed about our approach over and over again? Here MP Van der Woude (VVD) at 3h10 in the committee debate Science Policy: https://debatgemist.tweedekamer.nl/debatten/wetenschapsbeleid-7

Last week I had the pleasure and privilege to speak at a workshop about narrative CV's from The Research Council Norway, alongside @ERC_Research's VP prof. Eystein Jansen & prof.
@arjensenius from uni Oslo.

You can find my presentation here: https://zenodo.org/record/7780906

It was a very useful workshop with lots of different viewpoints.

Thank you Marte Qvenild for the invite, @mariacruz for passing the invite along and @kgossink for letting me borrow heavily from your earlier presentation!

Goede antwoorden van OCW over NWO-beleid: https://www.tweedekamer.nl/kamerstukken/kamervragen/detail?id=2023D13238&did=2023D13238 #researchassessment #researchculture

Narrative CVs allow researchers to contextualize their career. In a 5-day workshop, a collective of researchers, funders, policy makers and administrators reflected on this type of CV, including open questions, but also opportunities of the format.

Now they report on the workshop in a joint blog post - we have never had that many contributors to a blog post before!

https://www.leidenmadtrics.nl/articles/narrative-cvs-a-new-challenge-and-research-agenda

Credits go to:

Wolfgang Kaltenbrunner, Tamarinde Haven, @annemijn_algra, Ruud Akse, Francesca Arici, Zsuzsa Bakk, @justynabandola, Tung Tung Chan, @rodrigocostas, Catelijne Coopmans, @alexcsiszar, Carole de Bordes, @jo_dudek, Mollie Etheridge, @kgossink, @JulianHamann1, Björn Hammarfelt, Markus Hoffmann, Zwaan Ipema, @sarahderijcke, @alexrushforth, Sean Sapcariu, Liz Simmonds, Michaela Strinzel, @tatumcc, Inge van der Weijden, & Paul Wouters.

Post by Leiden Madtricks on the birdsite: 'Narrative CVs allow researchers to contextualize their career. In a 5-day workshop, a collective of researchers, funders, policy makers and administrators reflected on this type of CV, including open questions, but also opportunities of the format. Now they report on the workshop in a joint blog post' https://www.leidenmadtrics.nl/articles/narrative-cvs-a-new-challenge-and-research-agenda

Original post: https://twitter.com/LeidenMadtrics/status/1635949878911066116?t=LXOduy9MaphKTfe51COLyA&s=19

Interessant onderzoek uit januari met op het oog goed nieuws over de kansen voor vrouwen bij NWO: geen verschil in honoreringskans tussen vrouwen en mannen. Wel een belangrijke kanttekening (zie screenshot). En ook niet onbelangrijk, vrouwen vragen minder vaak aan dan op basis van het aantal aanstellingen te verwachten is.

Onderzoeksbeurzen: opstap voor vrouwen in hun wetenschappelijke carrière? | Rathenau Instituut
https://www.rathenau.nl/nl/wetenschap-cijfers/wetenschappers/vrouwen-de-wetenschap/onderzoeksbeurzen-opstap-voor-vrouwen-hun

@Houwelingen @Radboud_uni @RHoogstraat Nog meer NWOers om te volgen: @maudylohaus, @mariacruz, @HLdeJonge, @arnoldlubbers, @Jeroenson

Erg eens met @ingridrobeyns in het NRC tweegesprek met Machteld Geuskens:
https://www.nrc.nl/nieuws/2023/02/24/moeten-de-universiteiten-de-rang-van-hoogleraar-afschaffen-a4158046 Wat betreft de opmerking van Geuskens over subsidieverstrekkers: wij zijn niet zozeer geïnteresseerd in functie, laat staan in reputatie en aanzien. We proberen juist te kijken naar expertise en vaardigheden. En uit eigen ervaring: die expertise zit soms bij de prof, maar minstens zo vaak bij andere wetenschappers. Uitgaan van prof als ultieme expert = halo effect.

Groundhog day.
'Schriftelijke vragen
:Het artikel van Times Higher Education “CV-blind’ grant review divides Dutch scientists’ https://www.tweedekamer.nl/kamerstukken/kamervragen/detail?id=2023Z03352&did=2023D07889

A few weeks ago I participated in the NWO Vici webinar, where we presented the changes in the Vici funding scheme: the new two tiered assessment system, the abolishment of interviews for SSH and Science, the updated CV format and the adjusted assessment criteria. For those interested, you can now find the webinar video on youtube: https://youtu.be/h69XtyHWGd0 #researchassessment #Vici #researchfunding #researchculture #recognitionandrewards