Reddit blokkeert toegang tot Internet Archive

Reddit heeft bevestigd dat het de Wayback Machine van het Internet Archive zal blokkeren voor het indexeren van het merendeel van de content die op het platform wordt gepubliceerd. Het in San Francisco gevestigde bedrijf wil indirect scraping door AI-providers blokkeren. Dit is de nieuwste aflevering in een strijd die meer dan een jaar geleden begon.

Reddit uit de Wayback Machine

Eind juni 2024 kondigde Reddit aan dat het alle AI-bots zou blokkeren, behalve die van bedrijven waarmee het een licentieovereenkomst heeft gesloten, zoals Google en OpenAI . Het Californische bedrijf wil hiermee het scrapen van openbare content die wordt gebruikt om AI-modellen te trainen, voorkomen. Ongeveer een maand geleden spande het een rechtszaak aan tegen Anthropic .

De Wayback Machine van het Internet Archive is een digitaal archief dat webpagina's bewaart die sinds mei 1995 zijn gepubliceerd. Gebruikers kunnen daardoor oudere (verwijderde of gewijzigde) content vinden door terug te gaan in de tijd. Het archief wordt gemaakt met een webcrawler die vergelijkbaar is met die van Google.

Het indexeert uiteraard Reddit-content, zodat AI-bedrijven een alternatieve bron kunnen gebruiken als hun bots door Reddit worden geblokkeerd. Een woordvoerder zei:

Het Internet Archive biedt een dienst aan het open web, maar we zijn op de hoogte gebracht van gevallen waarin AI-bedrijven platformbeleid, waaronder het onze, schenden en gegevens uit de Wayback Machine halen.

Reddit heeft daarom besloten de Wayback Machine de toegang tot berichten, reacties en profielpagina's te ontzeggen. Alleen de homepage kan worden geïndexeerd, waardoor het Internet Archive alleen de nieuwskoppen en populairste berichten van de dag kan archiveren.

Reddit heeft het Internet Archive geïnformeerd en aangegeven dat de blokkade van kracht blijft totdat ze hun site veilig kunnen stellen. Mark Graham, directeur van de Wayback Machine, zei dat ze hierover in gesprek zijn met Reddit.