Cloud­flare intro­du­ceert nieuwe classi­fi­ca­ties, verbe­terde analy­se­tools en toonaan­ge­vende partner­schappen om trans­pa­rante website-eigenaren en AI-ontwik­ke­lings­be­drijven in staat te stellen hun middelen te bundelen om de bloei van het agenti­sche internet te waarborgen. De nieuwe tools en integra­ties van Cloud­flare helpen website-eigenaren en AI-ontwik­ke­lings­be­drijven bij het optima­li­seren van identi­fi­catie, effici­ëntie en moneti­satie. Met deze aankon­di­ging draagt Cloud­flare bij aan de vorming van een colla­bo­ra­tieve agenti­sche economie die de maatschappij, website-eigenaren en AI-bedrijven ten goede komt.

De funda­men­tele aard van inter­net­ver­keer is veran­derd. Geauto­ma­ti­seerde agents en bots genereren nu meer dan de helft van alle webver­zoeken. Naarmate AI zich vestigt als de nieuwe inter­face voor toegang tot infor­matie en het uitvoeren van online trans­ac­ties, veran­dert het de regels voor conten­tont­dek­king. De meeste website-eigenaren willen hun content integreren met AI-systemen. Bedrijven waarvan het bedrijfs­model afhan­ke­lijk is van adver­ten­ties of abonne­menten, worden echter bedreigd door systemen die AI-modellen trainen op hun content zonder compen­satie. Cloud­flare vindt dat bedrijven die hun content willen integreren met AI-systemen, dit zo eenvoudig en efficiënt mogelijk moeten kunnen doen. Ander­zijds zijn er ook tools nodig om de toegang van AI te beperken als een bedrijf deze integratie niet wenst. Als reactie op deze uitda­ging test Cloud­flare nieuwe standaard­clas­si­fi­ca­ties die klanten meer diepgaande infor­matie kunnen bieden, AI-onder­steunde zoekop­drachten kunnen versnellen en ervoor kunnen zorgen dat makers eerlijk worden gecom­pen­seerd wanneer hun content bijdraagt aan een zoekre­sul­taat. Deze aanpak bevor­dert een recht­vaar­diger systeem. Het optima­li­seert de crawl-effici­ëntie, beschermt intel­lec­tueel eigendom en stelt zowel makers als AI-modellen in staat te floreren binnen de agent-gebaseerde economie.

“Vorig jaar hebben we website-eigenaren de tools geboden die ze nodig hadden voor trans­pa­rantie en controle over de bots die toegang hadden tot hun content. We zijn enthou­siast over de voordelen die deze tools het ecosys­teem hebben gebracht”, aldus Matthew Prince, medeop­richter en CEO van Cloud­flare. “Nu het meren­deel van het inter­net­ver­keer geauto­ma­ti­seerd is, moeten we verder gaan en sneller handelen, zodat er een duurzaam ecosys­teem kan ontstaan. De nieuwe tools en partner­schappen van Cloud­flare bieden website-eigenaren meer inzicht en zakelijke kansen. Ze zijn ook gunstig voor AI-ontwik­ke­lings­be­drijven met bots die een duide­lijke en trans­pa­rante intentie hebben. We hopen dat de standaard­wij­zi­gingen die we voorstellen, crawlers voor gemengd gebruik zullen stimu­leren om de zoekfunctie te scheiden van het gebruik en de training van agents.”

Deadline voor beëindigen open toegang tot exploratiebots voor gemengd gebruik

Uit de duizenden gesprekken die Cloud­flare heeft gevoerd met AI-ontwik­ke­lings­be­drijven en website-eigenaren is één ding duide­lijk geworden: de meeste website-eigenaren willen vindbaar zijn binnen het AI-ecosys­teem. Deze vindbaar­heid mag echter niet betekenen dat intel­lec­tueel eigendom wordt wegge­geven aan makers die hun werk te gelde maken via adver­ten­ties en/​of abonne­menten. Trans­pa­rante AI-ontwik­ke­lings­be­drijven hebben hiervoor de weg vrijge­maakt door hun bots duide­lijk te scheiden en te labelen op basis van hun doel. Maar crawling­bots met een gemengd gebruik benadelen zowel website-eigenaren als trans­pa­rante AI-bedrijven, omdat ze zoeken, agent­ge­bruik en training combi­neren. Dit dwingt conten­t­ei­ge­naren te kiezen tussen vindbaar­heid in het tijdperk van agency en het zonder compen­satie afstaan van hun meest waarde­volle content. De grootste zoekma­chine op de markt heeft nu toegang tot bijna twee keer zoveel infor­matie als de toonaan­ge­vende AI-bedrijven, omdat laatst­ge­noemden het moeilijk maken voor klanten die willen dat hun content vindbaar blijft zonder te worden gebruikt voor AI-trainingsdoeleinden.

De komende twee maanden zal Cloud­flare samen­werken met het ecosys­teem, feedback verza­melen en tests uitvoeren om de nieuwe standaard­in­stel­lingen en classi­fi­ca­ties te finali­seren, met een streef­datum van 15 september 2026. Voor nieuwe klanten en nieuwe websites van bestaande klanten is 15 september 2026 de datum waarop de standaard­in­stel­lingen zo worden gecon­fi­gu­reerd dat zoekac­ti­vi­teit is toege­staan, maar training en agent­ge­bruik op pagina’s met adver­ten­ties worden geblok­keerd. Crawlers voor gemengd gebruik, die website-eigenaren niet de mogelijk­heid bieden om te kiezen tussen zoeken, agent­ge­bruik en training, worden op al derge­lijke pagina’s geblok­keerd. Klanten kunnen deze instel­lingen uiter­aard op elk moment wijzigen via hun dashboard. De wijzi­gingen worden ook doorge­voerd voor alle bestaande gratis klanten die hun instel­lingen vóór 15 september 2026 niet in hun dashboard hebben aange­past. Deze wijzi­gingen zijn bedoeld om de balans te herstellen tussen tradi­ti­o­nele zoekma­chines en AI-ontwik­ke­lings­be­drijven die de betekenis van vindbaar­heid in het agent­tijd­perk herdefiniëren.

Verbeterde analysetools voor meer inzicht en het genereren van inkomsten met content

De markt voor gemone­ta­ri­seerde content is nu een feit, met uitge­vers en AI-platformen die het afgelopen jaar meer dan 50 belang­rijke licen­tie­over­een­kom­sten voor content hebben getekend. Om deze overeen­kom­sten te versnellen, lanceert Cloud­flare het nieuwe Attri­bu­tion Business Insights-dashboard. Dit dashboard elimi­neert de data-asymme­trie die conten­t­ei­ge­naren lange tijd dwong om blinde­lings te onder­han­delen. Voor het eerst kunnen belang­heb­benden (niet alleen bevei­li­gings- en IT-teams) duide­lijk zien hoe AI-bots hun content consu­meren en de hoeveel­heid mense­lijk verkeer volgen die speci­fieke AI-bedrijven daadwer­ke­lijk genereren.

Inzicht in hoe AI content consu­meert is echter slechts de eerste stap. Naarmate het identi­fi­ca­tie­proces verschuift van zoekma­chines naar antwoord­ma­chines, moeten klanten een nieuwe disci­pline beheersen: Answer Engine Optimi­za­tion (AEO). AEO gaat niet alleen over het begrijpen van wie de content crawlt, maar ook hoe deze wordt geciteerd in door AI gegene­reerde antwoorden, hoe vaak en met welke zicht­baar­heid, in alle modellen. Net zoals webana­ly­se­tools essen­tiële infra­struc­tuur zijn geworden in het zoektijd­perk, wil Cloud­flare de ultieme laag van monito­ring- en optima­li­sa­tie­tools bieden die de basis vormen voor het AI-tijdperk.

Slimmer zoeken en eerlijke vergoeding

Onder­han­delde contracten zijn misschien geschikt voor de grootste uitge­vers, maar ze zijn niet schaal­baar voor de rest van het web. Cloud­flare werkt op twee fronten om zowel content­ma­kers als AI-ontwik­ke­lings­be­drijven te helpen: het verbe­teren van de effici­ëntie van AI-onder­steunde zoekop­drachten en het automa­tisch compen­seren van content­ma­kers wanneer hun content wordt gebruikt. Momen­teel crawlen AI-modellen en zoekma­chines herhaal­de­lijk miljoenen ongewij­zigde webpagina’s op zoek naar nieuwe data om gebrui­kers­vragen te beant­woorden. Uit data van Cloud­flare blijkt dat meer dan 50% van het crawl­ver­keer van AI-gestuurde bots wordt besteed aan het opnieuw analy­seren van pagina’s die niet zijn gewij­zigd. Dit leidt tot verspil­ling van bandbreedte voor uitge­vers en reken­kracht voor AI-ontwik­ke­lings­be­drijven, zonder dat de zoekre­sul­taten daadwer­ke­lijk verbe­teren. Omdat Cloud­flare kan zien wat er daadwer­ke­lijk is veran­derd, kunnen ze signa­leren wanneer een pagina de moeite waard is om opnieuw te analy­seren en wanneer de bewer­king zinloos is. Dit vermin­dert onnodige crawls en levert betere resul­taten op. Cloud­flare test deze signalen met grote AI-ontwik­ke­lings­be­drijven om te verifi­ëren hoe goed ze de actua­li­teit van infor­matie verbe­teren en onnodig crawlen vermin­deren. We zijn van plan deze signalen later dit jaar breed beschik­baar te stellen.

Een jaar geleden, op de eerste Content Indepen­dence Day, lanceerde Cloud­flare de eerste versie van zijn pay-to-crawl- functie. Deze functie was ontworpen om uitge­vers de mogelijk­heid te bieden AI-ontwik­ke­lings­be­drijven te laten betalen voor het verkennen van hun content. Nu ontwik­kelt Cloud­flare dit pay-to-crawl-model verder naar een pay-per-use-model, zodat uitge­vers betaald krijgen wanneer hun content daadwer­ke­lijk waarde creëert, en niet alleen wanneer deze wordt gecrawld. Het bedrijf werkt samen met een aantal partners, waaronder Ceramic​.ai en You​.com, om hier een functi­o­ne­rende markt­plaats van te maken. Met het Ceramic.ai-platform wordt een uitgever die ermee instemt deel te nemen aan het programma betaald telkens wanneer hun content verschijnt in de door AI onder­steunde zoekre­sul­taten van Ceramic. Ze profi­teren ook van de resul­te­rende zoekop­drachten, citaties en backlinks. Andere AI-ontwik­ke­lings­be­drijven kunnen het model gebruiken dat het beste bij hun workflow past. You​.com biedt een agent bijvoor­beeld de mogelijk­heid om te betalen voor toegang (op aanvraag) tot speci­fieke premium content die ze nodig hebben, terwijl Cloud­flare de gemeen­schap­pe­lijke onder­lig­gende laag voor alle partijen levert.

Jaar van inhoudelijke onafhankelijkheid: gelanceerde producten

De Content Indepen­dence Day van vorig jaar stond in de eerste plaats in het teken van verde­di­ging en bood tools om data te beheren. De afgelopen twaalf maanden heeft Cloud­flare een solide infra­struc­tuur opgebouwd om van een model van eenvou­dige bescher­ming over te stappen naar een model van gerichte active­ring. De huidige aankon­di­gingen vormen de bekro­ning van deze funda­menten, gebouwd op de drie pijlers van een duurzaam ecosys­teem: controle, trans­pa­rantie en moneti­satie. Vorig jaar lanceerde Cloud­flare AI Crawl Control, waarmee een op toestem­mingen gebaseerd model voor AI-crawling werd geïntro­du­ceerd. Om deze bevei­li­gings­maat­re­gelen te democra­ti­seren, werkt Cloud­flare samen met verschil­lende platforms (zoals beehiiv) en biedt het gedetail­leerde dashboards aan onafhan­ke­lijke content­ma­kers en grote media­be­drijven, zodat zij eenvoudig AI-modellen kunnen volgen, blokkeren of zich ervoor kunnen aanmelden.

Om inter­ac­ties met agents op een funda­men­teel niveau te bevei­ligen, lanceerde Cloud­flare ook Web Bot Auth, een open frame­work waarmee AI-bots en autonome inkoop­agents identi­teits- en legiti­mi­teits­be­wijs kunnen leveren aan uitge­vers en verko­pers. Cloud­flare werkt tevens samen met toonaan­ge­vende betalings­pro­vi­ders om de basis te leggen voor de betalings­in­fra­struc­tuur die de opkomende agent-commerce-economie onder­steunt. Door het Web Bot Auth-frame­work direct te gebruiken, helpt Cloud­flare deze aanbie­ders ervoor te zorgen dat AI-gestuurde inkoop­agenten veilig trans­ac­ties kunnen uitvoeren met miljoenen verko­pers wereld­wijd, zonder dat hun inlog­ge­ge­vens openbaar worden gemaakt. Uitein­de­lijk dragen deze initi­a­tieven bij aan de infra­struc­tuur voor een duurzame, op agenten gebaseerde economie en zorgen ze ervoor dat het internet van de toekomst gebouwd is op trans­pa­rantie, vindbaar­heid en eerlijke vergoedingen.

Grote uitgevers en AI-ontwikkelingsbedrijven ondersteunen het agentische internet.

• beehiiv : “We betreden een nieuw tijdperk dat de vindbaar­heid van content volledig herde­fi­ni­eert, en onafhan­ke­lijke makers verdienen het om voorop te lopen in deze veran­de­ring. De toekomst draait om makers in staat stellen de controle over hun content en hun publiek te nemen. We willen auteurs de touwtjes in handen geven, zodat ze gemak­ke­lijk het nieuwe, actieve internet kunnen omarmen, hun zicht­baar­heid in de zoekma­chines van de volgende generatie kunnen optima­li­seren en actief hun publiek kunnen laten groeien op hun eigen voorwaarden.” – Tyler Denk, CEO
• Ceramic​.ai : “Om de toekomst van AI-gestuurd zoeken te bevor­deren, hebben we een partner nodig met een enorm bereik en een gedeelde toewij­ding aan trans­pa­rantie en eerlijke vergoe­dingen. Cloud­flare stelt ons in staat onze activi­teiten eenvoudig en program­ma­tisch op te schalen. Door ons pay-per-query-model in hun netwerk te integreren, zorgen we ervoor dat miljoenen content­ma­kers trans­pa­rant kunnen kiezen om betaald te worden telkens wanneer hun content in onze zoekre­sul­taten verschijnt.” – Anna Patterson, oprichter en CEO
• Condé Nast : “Cloud­flare heeft het afgelopen jaar gerenom­meerde uitge­vers zoals Condé Nast blijven steunen en het idee gepro­moot dat we als essen­tiële deelne­mers aan het AI-ecosys­teem gecom­pen­seerd zouden moeten worden voor onze content. Ze bieden ons een toonaan­ge­vende techni­sche infra­struc­tuur en blijven een strate­gi­sche partner in het antici­peren op de toekomst.” – Geoff Campbell, SVP Strategy & Business Development
• Patreon : “Naarmate AI-agenten krach­tiger en populairder worden, verdienen makers meer inspraak in hoe hun werk wordt gebruikt door AI-ontwik­ke­lings­be­drijven. Op het grootste deel van het internet moeten makers AI-training op hun content accep­teren om een publiek te bereiken en te laten groeien. Patreon heeft een andere visie: makers moeten hun publiek kunnen laten groeien en zelf kunnen bepalen hoe hun werk wordt gebruikt. Daarom versterken we onze bestaande samen­wer­king met Cloud­flare om bekende AI-trainings­bots op netwerk­ni­veau op Patreon te blokkeren, terwijl we crawler­bots blijven toestaan die makers helpen gevonden te worden en hun bedrijf te laten groeien via zoekma­chines.” – Drew Ronny, SVP Product