Wikipedia Onder Vuur door AI-Afslurpende Bots

2025-04-04 journalistiek

Online, vrijdag, 4 april 2025.
Wikipedia kampt met een aanzienlijke stijging van bandbreedtegebruik, gedreven door AI-scraping bots die massaal multimedia-inhoud downloaden. Sinds januari 2024 is er een toename van 50% in dataverbruik, veroorzaakt door bots in plaats van menselijke gebruikers. Deze druk dreigt de infrastructuur van Wikimedia te overbelasten, vooral tijdens drukke periodes zoals het overlijden van Jimmy Carter in december 2024. Dit incident benadrukt een tekort aan robuuste maatregelen om AI-verkeer te controleren, wat tot groeiende kosten en risico’s voor de Wikimedia Foundation leidt. De organisatie werkt aan strategieën om deze uitdaging aan te pakken, terwijl ze balanceren tussen open toegang en de noodzaak om hun infrastructuur te beschermen. Wikimedia benadrukt dat hoewel de inhoud gratis is, de infrastructuur dat niet is.

Ongekende Druk op Servers

De impact van AI-bots op Wikipedia’s infrastructuur is substantieel: momenteel is maar liefst 65% van het meest bronintensieve verkeer afkomstig van geautomatiseerde systemen [1][2]. Dit heeft ertoe geleid dat het Site Reliability team van Wikimedia zich in een ‘voortdurende staat van verdediging’ bevindt tegen deze AI-scrapers [2]. Sinds januari 2024 heeft de organisatie een dramatische toename van 50% gezien in bandbreedte voor multimedia-downloads [3][4].

Concrete Impact op Dienstverlening

Een significant voorbeeld van de uitdagingen deed zich voor in december 2024, toen het overlijden van Jimmy Carter leidde tot meer dan 2,8 miljoen paginaweergaven in één dag. Een 1,5 uur durende video van Carter’s presidentiële debat veroorzaakte een verdubbeling van het normale netwerkverkeer [5]. Hoewel Wikipedia’s infrastructuur is ontworpen om pieken in menselijk verkeer aan te kunnen, vormt het onophoudelijke AI-scraping een fundamenteel andere uitdaging [6].

Strategische Tegenmaatregelen

De Wikimedia Foundation heeft een duidelijke boodschap: ‘Onze content is gratis, onze infrastructuur is niet’ [7]. Als reactie ontwikkelt de organisatie het ‘Responsible Use of Infrastructure’ initiatief [8]. Het doel voor 2025/2026 is ambitieus: een reductie van 20% in aanvraagfrequentie door scrapers en 30% in bandbreedtegebruik [4]. Momenteel implementeert Wikipedia case-by-case rate limiting en worden problematische bots geblokkeerd [9].

Bronnen

AI scraping