Nowe rozwiązanie firmy jest dwutorowe. Z jednej strony Cloudflare wprowadza domyślną blokadę botów AI, z drugiej – system “pay-per-crawl”, który pozwoli właścicielom stron otrzymywać wynagrodzenie za każdorazowy dostęp algorytmów do ich treści.
Problem z tradycyjnym modelem internetu
Jak tłumaczy Will Allen, szef działu AI Privacy w Cloudflare, tradycyjna umowa była prosta: wyszukiwarka indeksowała treści, a w zamian kierowała ruch na strony autorów. “To się fundamentalnie zmienia” – podkreśla Allen w komentarzu dla MIT Technology Review.
Systemy AI działają inaczej niż wyszukiwarki. Pobierają ogromne ilości danych z sieci, ale często nie podają źródeł swoich odpowiedzi. Nawet jeśli linki się pojawiają, użytkownicy coraz rzadziej w nie klikają, otrzymując gotowe odpowiedzi od chatbotów. Eksperci mówią już o nadchodzącej erze “zero-click”, gdzie ruch do oryginalnych stron może drastycznie spaść.
Eskalacja “wojen crawlerów”
Decyzja Cloudflare to najnowszy rozdział w rozgrywającej się wojnie crawlerów AI. Jak wykazały badania MIT Technology Review, crawlery stanowią już połowę całego ruchu internetowego i wkrótce mogą wyprzedzić ruch ludzki.
Problem nasilił się drastycznie w ostatnich miesiącach. Według danych TollBit – firmy monitorującej ruch botów – w pierwszym kwartale 2025 roku ruch od botów pobierających dane wzrósł o 49 procent w porównaniu z poprzednim kwartałem. Co więcej, ponad 26 milionów prób scrapowania AI ominęło blokady tylko w marcu 2025 roku.
Jak działa nowy system Cloudflare?
Klienci Cloudflare będą mogli:
- Decydować o dostępie botów na każdym etapie życia AI (trenowanie, fine-tuning, użytkowanie)
- Tworzyć białe listy zweryfikowanych crawlerów
- Ustalać cenę za dostęp do swoich treści
- Różnicować zasady dla poszczególnych firm AI
Cloudflare wykorzysta swoje doświadczenie w walce z atakami DDoS do identyfikacji nieuczciwych crawlerów, które ignorują pliki robots.txt. W najgorszych przypadkach firma nadal będzie kierować boty na fałszywe strony generowane przez AI, marnując ich zasoby.
Firma już wcześniej wprowadzała narzędzia do blokowania botów AI jednym kliknięciem, ale teraz robi to domyślnie dla wszystkich klientów.
Poparcie branży mediów
Decyzję Cloudflare poparły m.in. Associated Press, Time, Quora i Stack Overflow. “Platformy społecznościowe, które zasilają modele językowe, powinny otrzymywać wynagrodzenie za swój wkład, aby mogły reinwestować w swoje społeczności” – skomentował Prashanth Chandrasekar, CEO Stack Overflow.
To o tyle znaczące, że Stack Overflow początkowo blokował GPTBot, ale w marcu 2024 roku usunął te ograniczenia, prawdopodobnie w ramach negocjacji z OpenAI.
Obawy środowiska naukowego
Nie wszyscy są jednak entuzjastycznie nastawieni do zmian. Shayne Longpre z MIT Media Lab ostrzega, że domyślna blokada może utrudnić niekomercyjne wykorzystanie danych, jak badania naukowe czy archiwizowanie sieci.
“Nie wszystkie systemy AI konkurują ze wszystkimi wydawcami internetowymi. Nie wszystkie systemy AI są komercyjne. Użytek osobisty i otwarte badania nie powinny być tutaj poświęcane” – podkreśla Longpre.
Podobne obawy wyrażają instytucje kulturalne. Jak wynika z raportu GLAM-E Lab, ponad 90 procent ankietowanych muzeów, bibliotek i archiwów doświadcza agresywnego ruchu botów, często prowadzącego do spowolnień i awarii.
Prawne batalie w tle
Decyzja Cloudflare przychodzi w momencie nasilających się batalii prawnych. New York Times pozwał OpenAI o naruszenie praw autorskich, a w marcu 2025 roku sędzia federalny odrzucił wniosek OpenAI o oddalenie sprawy, pozwalając na kontynuację procesu.
Warto przypomnieć, że niektóre firmy AI, w tym Anthropic, były oskarżane o ignorowanie plików robots.txt – standardowego sposobu sygnalizowania, które części strony mogą być indeksowane przez boty.
Co to oznacza dla przyszłości internetu?
Ruch Cloudflare może być początkiem większej zmiany w sposobie funkcjonowania internetu. Firma zarządza znaczną częścią ruchu sieciowego, więc jej decyzje mają szerokie konsekwencje.
Według danych Cloudflare, ByteSpider (TikTok) jest najaktywniejszym botem AI pod względem liczby żądań, wyprzedzając nawet GPTBot OpenAI. Co ciekawe, w czerwcu 2025 roku boty AI miały dostęp do około 39 procent miliona najpopularniejszych stron internetowych, ale tylko 2,98 procent z nich podjęło kroki w celu zablokowania lub wyzwania tych żądań.
Przyszłość modelu “darmowego” internetu
Być może wkrótce inni dostawcy infrastruktury pójdą w podobnym kierunku. Electronic Frontier Foundation ostrzega, że firmy AI muszą zapewnić, by nie “zatruwały studni otwartego internetu”, z którego korzystają, w krótkowzrocznym pośpiechu po dane treningowe.
Dla firm AI oznacza to potrzebę renegocjacji umów z właścicielami treści. Dla twórców – szansę na większą kontrolę nad wykorzystaniem ich pracy i potencjalne dodatkowe źródło przychodów.
Czytaj też: Naukowcy odkryli sekret kreatywności AI. To nie przypadek, to matematyka
Czy to koniec “darmowego” internetu dla sztucznej inteligencji? Cloudflare właśnie postawiło pierwszą tamę przed niekontrolowanym pobieraniem danych przez systemy AI, ale to dopiero początek szerszej dyskusji o przyszłości otwartego internetu w erze AI.