Lmst

Wow ok, done

That was so easy

Kudos to this blog post for the amazing tutorial : https://xeiaso.net/blog/2025/anubis/

Managed to also quickly add a grafana dashboard to reflect some metrics, and those numbers give some perspective to the insane spam all the internet is under, just to generate more slop

#selfhosted #homelab #kubernetes #grafana #prometheus #anubis #gitea #faang #spam #ai #nginx #ingress #scraping

Grafana dashboard showing a bunch of metrics related to anubis' work and how Gitea was getting spamed

Ok, time to deploy Anubis in front of Gitea, I'm done with those FAANG oligarchs scraping my repos 24/7 to check if anything changed...

F*ck off.

But that also means Gitea might get unstable for some time, woops

If you are curious : https://git.halis.io

If you see the cute furry, it worked

#homelab #selfhosted #kubernetes #anubis #nginx #ingress #gitea #ai #scraping #faang

@zeldman

Watt is being Dunn about AI scraping images and descriptions?

Make RED sure you fill your gravy description meat with AI hostile get em on the beaches words.

Images uploaded to mastodon should have AI poison added to them.

#Scraping #AI #ZuckSucks

#ia
#scraping
#korben

Cloudflare bloque les IA par défaut et lance le "Pay Per Crawl" - La fin du pillage gratuit | Intelligence artificielle | Le site de Korben
https://korben.info/cloudflare-bloque-ia-pay-per-crawl.html

Turn on the lights for internet... if you can afford cloudflare:
https://ugpl.net/blog/post/turn-on-the-lights-for-internet-if-you-can-afford-cloudflare.html

#scraping #ai

Really interesting project Anubis to protect against #LLM scraping bots : https://anubis.techaro.lol/ #Scraping #bots

Le #scraping #payant : vers un changement radical du modèle économique de l’ #IA #AI #générative ?

https://www.journaldugeek.com/2025/07/04/le-scraping-payant-vers-un-changement-radical-du-modele-economique-de-lia-generative/

Le #scraping #payant : vers un changement radical du modèle économique de l’ #IA #AI #générative ? www.journaldugeek.com/2025/07/04/l...

Le scraping payant : vers un c...

⚖️ Oberlandesgericht Düsseldorf, Urteil vom 22.05.2025, 16 U 185-24: Schadensersatzanspruch nach Scraping-Vorfall. #Soziale #Netzwerke #Scraping #Schadensersatz #Immaterieller #Schaden #teamdatenschutz #dsgvoportal https://www.dsgvo-portal.de/gerichtsentscheidungen/2025-05-22-OLGDUS-16-U-185-24-Soziale-Netzwerke-Scraping-Schadensersatz-Immaterieller-Schaden-2350.php

#Cloudflare lässt KI-Crawler auflaufen, wenn nicht für #Scraping bezahlt wird | heise online https://www.heise.de/news/Cloudflare-laesst-KI-Crawler-auflaufen-wenn-nicht-fuer-Scraping-bezahlt-wird-10467015.html #PayPerCrawl #ArtificialIntelligence #copyright #Urheberrecht

#KI, #scraping #Crawler
Webinhalte als KI-Trainingsdaten verkaufen: https://www.linux-magazin.de/news/cloudflare-hilft-seitenbetreibern-ihre-webinhalte-an-ki-crawler-zu-verkaufen/

Civil Society: Cloudflare’s latest change {blocks, unblocks} network use by {people, software} that we {hate, love} – {yay, boo} this is {great, terrible}!
https://alecmuffett.com/article/113629
#ai #censorship #cloudflare #scraping

Civil Society: Cloudflare’s latest change {blocks, unblocks} network use by {people, software} that we {hate, love} – {yay, boo} this is {great, terrible}!

Details don’t matter – pick your own headline. I doubt we have heard the last of this, but this, too, shall pass:

With Cloudflare’s new setting, websites can block – by default – online bots that scrape their data

https://www.nytimes.com/2025/07/01/technology/cloudflare-ai-data.html

2022: cloudflare blocks kiwifarms, but in 2025 it still exists:

https://www.theguardian.com/technology/2022/sep/04/cloudflare-reverses-decision-and-drops-trans-trolling-website-kiwi-farms

Quote:

In a blog post [in September 2022], which didn’t mention Kiwi Farms or the pressure campaign, Cloudflare’s chief executive, Matthew Prince, and its vice-president of public policy, Alissa Starzak, suggested the company regretted taking action against the far-right websites 8chan and Daily Stormer in 2019 and 2017, saying there was a “deeply troubling” response afterwards from authoritarian regimes calling for the company to block human rights websites.

2017: cloudflare blocks daily stormer, but in 2025 it still exists:

https://blog.cloudflare.com/why-we-terminated-daily-stormer/

2016: cloudflare blocks users of the tor project:

https://blog.torproject.org/trouble-cloudflare/

https://blog.cloudflare.com/the-trouble-with-tor/

2018: cloudflare introduces tor project onion services:

https://blog.cloudflare.com/cloudflare-onion-service/

Personal Perspective

Cloudflare’s position is expeditious. Don’t read too much into what either the long term impact will be, nor what the moral impact will pan out as.

#ai #censorship #cloudflare #scraping

@akamran @davidtoddmccarty If you search Google for #Mastodon hashtag scraping, you find software and programs that help AI for doing that. It exists.

Fact is that from today, the main instances mastodon.social and mastodon.online prohibit #scraping officially: https://techcrunch.com/2025/06/17/mastodon-updates-its-terms-to-prohibit-ai-model-training/

Problem of decentralisation: admins/users of other instances must get aware of the problem and change their terms, too.

It may be funny but it's no joke.

#gravy

I keep reading rumours that #gravy breaks AI crawlers. I am skeptical. Can anyone link a proper source?

#AI #ML #scraping

Something tells me it's not cloudflare who should get paid, but we've got to start somewhere.

#scraping #ai #arstechnica

https://arstechnica.com/tech-policy/2025/07/pay-up-or-stop-scraping-cloudflare-program-charges-bots-for-each-crawl/

#Hinweis auf #Nutzbarkeit von #Data #Analytics / #Data #Science #Methoden #Scraping, #Pattern #Recognition, #Machine #Learning oder #Text #Mining für #soziologische #Forschung.

#Sutter / #Maasen - #Neuerfindung #Soziologie S.76 f. 2020 DOI: 10.5771/9783845295008-73

#MachineLearning #ML #TextMining #Soziologie #BigData #Methodologie #Methodik #Sozialforschung #Sozialwissenschaft

Die Aussicht auf method(olog)ische Fortschritte – man denke etwa an Scraping (Marres 2013), Pattern Recognition, Machine Learning oder Text Mining (Tokhi/Rauh 2015, Mützel 2015) – untermauern einen solchen positiven Blick der Forschenden: Insbesondere big data gilt unterdessen als Chance für die Sozialwissenschaften insgesamt. Dies indiziert nicht weniger als eine Kehrtwende im soziologischen Diskurs, denn im Kontext eines knowing capitalism war zunächst die Befürchtung geäußert worden, dass der technische Fortschritt die Erhebung und Analyse sozialwissenschaftlicher Daten derart erleichtere, dass die Sozialwissenschaften ihre Alleinzuständigkeit verlören oder zumindest mit vielen Wettbewerbern teilen müssten (Savage/Burrows 2007). Wenn, so die damalige Einschätzung, Sozialwissenschaftler „das Öl des 21. Jahrhunderts …: Big Data" nicht nutzen, gerieten sie gegenüber Nichtwissenschaftlern ins Hintertreffen (Wurnig 2015). Eine Reihe neuerer, populär erfolgreicher Untersuchungen (etwa Wilkinson/Pickett 2009, Piketty 2013) zeuge jedoch davon, dass big data unterdessen „vom Totengräber zur Methode" der Sozialwissenschaften geworden sei (Wurnig 2015). Dies führt gegenwärtig zur Identifizierung neuartiger Method(olog)ien und Theorien, etwa unter dem Label „Forensic Social Science" (McFarland/Lewis/Goldberg 2015). Forensi-

sche Sozialwissenschaft ist ein Ansatz, der angewandte und theoriegeleitete Perspektiven zusammenführt. Dabei werden deduktive und induktive Ansätze kombiniert, um sich gegenseitig zu informieren. Forensic social science wird deshalb als eine Art methodologische Revolution wahrgenommen: Während qualitativ-induktive Verfahren Hypothesen generieren, sind quantitativ-deduktive Verfahren auf das Testen von Hypothesen reduziert – digitale Daten und Methoden unterlaufen hingegen diese Unterscheidung: Im Gegenteil werden aus dieser Perspektive die jeweiligen Desiderate induktiver und deduktiver Ansätze obsolet.Demgegenüber gehe es um „the careful compilation of evidence from unstructured digital traces as a means to generate new theories" (Goldberg 2015, 1).
Weiterhin gibt es jedoch auch kritische Stimmen. Sie betreffen allerdings nicht big data selbst, sondern spezifische Probleme bei der Nutzung von big data für soziologische Forschung. Diskutiert werden zum einen methodologische Aspekte wie z.B. die Repräsentativität von Daten als „digitale Spuren", die Effekte digitaler Umgebungen auf diese Spuren (Puschmann 2016) sowie die Frage, inwiefern es sich bei big data um die oft ‚gepriesenen' Rohdaten handle oder auch diesen Daten nicht immer schon Kategorisierungen inhärent seien (Strübing 2017). Zum anderen berühren sie auch bekannte (forschungs-)ethische Bedenken ob ...

Fighting fire with fire: how to tackle the AI bots that threaten the open Web

It is a measure of how fast the field of AI has developed in the three years since Walled Culture the book (free digital versions available) was published that the issue of using copyright material for training AI systems, briefly mentioned in the book, has become one of the hottest topics in the copyright world, as numerous posts on this blog attest.

The current situation sees the copyright […]

#aiBots #cloudComputing #cloudflare #firewalls #freeSoftware #genai #glamELab #openSource #openWeb #robotsTxt #scraping #survey #training #unc #wikimedia