Bibliometrie

Bibliometrie is het meten en analyseren van wetenschappelijke publicaties. Het gaat bijvoorbeeld over hoe vaak een artikel geciteerd wordt door andere onderzoekers, in welke tijdschriften onderzoek verschijnt, en hoe zichtbaar of invloedrijk een onderzoeksgroep of instelling is. Zulke metingen kunnen helpen om een beeld te krijgen van de impact van onderzoek, maar cijfers vertellen nooit het volledige verhaal.

Traditionele bibliometrische indicatoren richten zich vooral op het aantal publicaties en citaties (en berekeningen die daarop gebaseerd zijn). Ze geven inzicht in hoe onderzoek binnen de academische wereld wordt verspreid, maar zeggen weinig over de maatschappelijke of klinische waarde van de resultaten. Daarom bestaan er tegenwoordig ook altmetrics: die meten hoe vaak onderzoek buiten de wetenschap wordt gedeeld of gebruikt, bijvoorbeeld op sociale media, in nieuwsartikelen, blogs of beleidsteksten. Altmetrics kunnen snel een signaal geven van maatschappelijke aandacht, maar zijn ook gevoeliger voor hypes. Samen vormen de traditionele citatiebeoordelingen en de altmetrics dus een complementair duo, wat voor een vollediger en genuanceerder beeld zorgt van de reikwijdte en relevantie van wetenschappelijk werk.

Het is belangrijk om op een verantwoorde manier bibliometrische indicatoren te gebruiken. Internationale initiatieven zoals DORA (San Francisco Declaration on Research Assessment) en CoARA (Coalition for Advancing Research Assessment) waarschuwen dat bibliometrische cijfers en altmetrics nooit op zichzelf gebruikt mogen worden om kwaliteit te beoordelen.

Traditionele bibliometrische indicatoren

Traditionele bibliometrische analyses leggen de nadruk op het meten van publicatie-output en citaties. Omdat citatieculturen sterk verschillen tussen disciplines, worden de resultaten meestal genormaliseerd en vergeleken met internationale of vakgebonden gemiddelden om een eerlijker beeld te krijgen. Voor dit type analyses bestaan gespecialiseerde analysetools. Vaak gebruikte commerciële systemen zijn onder meer InCites (gebaseerd op de Web of Science-database) en SciVal (gebaseerd op Scopus). Aan de UGent is een licentie voorzien voor InCites, de onderzoeksevaluatietool van Clarivate Analytics die zijn berekeningen rechtstreeks baseert op data uit Web of Science.

In onderstaande overzicht worden enkele traditionele parameters toegelicht.

Output indicatoren

Outputindicatoren, zoals het aantal publicaties, geven meetbare inzichten in de productiviteit van onderzoekers en instellingen en maken trendanalyses mogelijk. Hun beperking is echter de eenzijdige focus op kwantiteit: ze houden weinig rekening met de diversiteit van onderzoeksoutput en kunnen gedrag stimuleren zoals zelfcitaties of het opsplitsen van resultaten in meerdere publicaties. Daarom moeten ze altijd aangevuld worden met andere metrieken om een vollediger beeld te krijgen van onderzoeksimpact.

Q1-tijdschriften behoren tot het eerste kwartiel binnen de impactfactorverdeling en worden vaak als prestigieus gezien. Deze focus kan echter misleidend zijn, omdat een hoge impactfactor van een tijdschrift niet automatisch de kwaliteit van een individueel artikel weerspiegelt.

Open Access-publicaties zijn vrij beschikbaar voor iedereen en vergroten de zichtbaarheid en verspreiding van onderzoek. Het nadeel is dat sommige modellen publicatiekosten bij de auteur leggen, wat ongelijkheid kan veroorzaken in de mogelijkheden om Open Access te publiceren.

Er worden 4 verschillende Open Access types onderscheiden:

• Gold: Dit betreft direct toegankelijke artikelen bij publicatie, waarbij de volledige tekst vrij beschikbaar is.
• Green: Hieronder vallen artikelen die na publicatie in abonnementstijdschriften beschikbaar worden gesteld in repositories, zonder embargo.
• Bronze: Bij dit type betaalt de auteur voor directe open toegang, maar de publicatie wordt niet als Gold Open Access beschouwd.
• Hybrid: Dit zijn artikelen gepubliceerd in abonnementstijdschriften, maar waarbij auteurs betalen voor een open access-optie.

Impact indicatoren

De citatiegegevens van je artikel vind je in Web of Science, Google Scholar en Scopus. Houd er rekening mee dat de citatiegegevens naargelang de databank verschillend (kunnen) zijn omdat ze berekend worden op basis van de inhoud van die welbepaalde databank.

Voor meer informatie over de databanken raadpleeg je de informatiefiches van Web of Science, Google Scholar en Scopus.

Het analyseren van het aantal citaties biedt een snelle indicatie van de impact en zichtbaarheid van wetenschappelijke publicaties. Citatieaantallen zeggen niets over de kwaliteit van de verwijzingen, kunnen vertekend worden door zelfcitaties (al kunnen die worden uitgefilterd) en verschillen sterk per vakgebied, waardoor vergelijken lastig is. Bovendien speelt vaak het Matthew-effect*: bekend onderzoek of gerenommeerde auteurs krijgen sneller extra citaties, ongeacht de intrinsieke waarde van hun werk.

(* Bron: Perc Matjaž; The Matthew effect in empirical data – J. R. Soc. Interface – 2014)

De Category Normalized Citation Impact (CNCI) meet de citatie-impact van publicaties en corrigeert daarbij voor onderwerp, publicatiejaar en documenttype. Een waarde van 1 komt overeen met het wereldgemiddelde; een waarde lager dan 1 wijst op een impact onder dat gemiddelde, terwijl een waarde hoger dan 1 een bovengemiddelde impact aanduidt. De indicator is minder betrouwbaar bij een klein aantal publicaties en biedt vooral waarde wanneer er voldoende data beschikbaar zijn. Hoewel de CNCI een meer contextuele beoordeling van onderzoek mogelijk maakt, is ze volledig gebaseerd op de classificaties binnen Web of Science. Daardoor kunnen disciplinaire verschillen onderschat worden en is de maat minder geschikt voor multidisciplinair onderzoek.

Ook het analyseren van top-geciteerde publicaties (zoals Highly Cited Papers of de top 1% en 10% van meest geciteerde publicaties) kan nuttig zijn om trends te signaleren en sterktes te benadrukken, maar deze indicatoren zijn minder bruikbaar in kleinere vakgebieden, gevoelig voor verschillen in citatiecultuur en vaak nadelig voor recente publicaties.

Het blijft daarom essentieel om zowel de voordelen als de beperkingen van deze impactindicatoren in rekening te brengen bij het beoordelen van onderzoeksimpact.

H-index en impactfactor

De h-index combineert het aantal publicaties van een onderzoeker met het aantal citaties die deze publicaties ontvangen. Hoewel vaak gebruikt, bevoordeelt deze maat onderzoekers met een lange carrière en veel publicaties, houdt ze geen rekening met verschillen tussen disciplines en kan ze invloedrijke, maar weinig talrijke publicaties onderwaarderen.

De impactfactor geeft het gemiddeld aantal citaties weer van artikelen in een tijdschrift (raadpleegbaar via de Journal Citation Reports in Web of Science). Dit cijfer zegt echter niets over de kwaliteit of impact van een individueel artikel en verschilt sterk per vakgebied.

Beide indicatoren staan al geruime tijd ter discussie en zijn niet in lijn met de principes van DORA, die expliciet oproept om onderzoekers en onderzoek niet te beoordelen op basis van één enkel cijfer of de reputatie van een tijdschrift. Toch worden ze in de praktijk nog regelmatig gevraagd door bijvoorbeeld beleidsmakers of financieringsinstanties. Daarom is het belangrijk hun beperkingen te kennen en ze enkel met grote voorzichtigheid te gebruiken.

ORCID iD

Een belangrijk aandachtspunt bij bibliometrie is dat publicaties correct worden toegewezen aan de juiste onderzoeker. Namen kunnen immers variëren in spelling, veranderen doorheen een carrière of overeenkomen met die van andere onderzoekers. Dit leidt vaak tot foutieve of onvolledige publicatieprofielen in databanken zoals Web of Science of Scopus.

ORCID (Open Researcher and Contributor ID) biedt hiervoor een oplossing. Het is een unieke, persoonlijke en permanente identificatiecode die onderzoekers onderscheidt van naamgenoten en consistente koppeling van publicaties, datasets, peer review-activiteiten en andere onderzoeksoutputs mogelijk maakt. UGent vereist van elk van haar onderzoekers dat zij een ORCID iD bekomen, deze linken aan hun UGent-account, en vermelden op hun publicaties.

Het gebruik van een ORCID heeft meerdere voordelen:

• onderzoekers behouden één stabiel en volledig overzicht van hun publicaties, ongeacht naamsvariaties of affiliatie-wijzigingen;
• onderzoeksinstellingen, uitgevers en financieringsinstanties kunnen efficiënter werken doordat data automatisch en foutloos wordt uitgewisseld;
• ORCID wordt steeds vaker verplicht of sterk aanbevolen bij indiening van publicaties en fundingaanvragen (zoals BOF- en IOF-aanvragen)

Voor accurate en eerlijke bibliometrie is het dus essentieel dat onderzoekers hun ORCID activeren en actief koppelen aan hun publicaties en onderzoeksactiviteiten.