Ich kümmer mich ja in meiner Freizeit um die Technik hinter Kodinerds.net und habe die letzten zwei Tage mal einen kleinen Versuch gemacht wieviel Last KI Scraper auf unseren Systemen verursachen. Unser Forum ist jetzt nicht so groß und erzeugt keine ungeheure Last.

Also einfach mal eben schnell #Beszel auf den Server geworfen (danke noch mal für den Tipp dazu aus dem Fediverse) und ab Montag 12 Uhr aufzeichnen.

Zu diesem Zeitpunkt hatte ich noch eine einfach Filterung drin. Nginx filtert alle "gutmütigen" Crawler weg die sich über Ihren Useragent erkennen lassen.

Dienstag 12 Uhr habe ich diesen Schutz abgeschaltet.
Man kann recht deutlich sehen das dies dazu führt das zwischen 20-22 Uhr doppelt soviel CPU Last erzeugt und Bandbreite genutzt wurde.

Die Anzahl der Besucher und View (mit Umami erfasst) sind fast identischl

Das ist noch weit vom DDoS entfernt, aber das populärere Projekte damit Probleme habe kann ich gut nachvollziehen.
Mal schauen ob ich Anubis davorschalte, nicht weil es nötig wäre sondern um diesen KI Buden den Spass zu verderben.
#ki #ai #ddosia #selfhosting #kodi #kodinerds #kodinerd