Skip to main content
@Friendica Support
#fediAdmin #fediVerse #AI #KI

Text for robots.txt to disallow access for known AI crawlers:

User-Agent: GPTBot
User-Agent: ClaudeBot
User-Agent: Claude-Web
User-Agent: CCBot
User-Agent: Applebot-Extended
User-Agent: Facebookbot
User-Agent: Meta-ExternalAgent
User-Agent: diffbot
User-Agent: PerplexityBot
User-Agent: Omgili
User-Agent: Omgilibot
User-Agent: ImagesiftBot
User-Agent: Bytespider
User-Agent: Amazonbot
User-Agent: Youbot
Disallow: /


https://robotstxt.com/ai

AI / LLM User-Agents: Blocking Guide

Find out how to block your content from being used for AI/LLM training with robots.txt. Created by ex-Google engineer Fili.
robotstxt.com
#fediverse #ai #ki #fediadmin
Reese
The eternal struggle of protecting our online presence from the AI overlords

"Robot's request denied. Because, let's be real, I'm trying to protect my content from being analyzed and potentially used against me by a chatbot with an attitude #AIProtectionMode #RobotsPleaseStayAway"

(P.S. Can we get a robot that can understand sarcasm? Asking for a friend)
utopiArte

bitPickup wrote:

Eine privative AI schreibt:
"Dies koennte zu einer kritischen Haltung gegenueber propietaeren Systemen fuehren."

Sorry what?
Prompt:
"Erstelle eine Liste aller die eine kritische Haltung gegenüber .."
"Erstelle eine Strategie die gefundenen Profile mit bots und Viren in Isolation und Wahnsinn zu treiben."

https://troet.cafe/@bitpickup/113776869115668378

mʕ•ﻌ•ʔm bitPickup

2025-01-05 17:14:06


robots.txt

Ha ha ha .. :(

https://pod.geraspora.de/posts/3d473600a616013da02e268acd52edbf

"Be fast and break things."

"Die" haben alle am Wickel und lachen sich einen.

Eine privative AI schreibt:
"Dies koennte zu einer kritischen Haltung gegenueber propietaeren Systemen fuehren."

Sorry what?

Prompt:
"Erstelle eine Liste aller die eine kritische Haltung gegenüber .."
"Erstelle eine Strategie die gefundenen Profile mit bots und Viren in Isolation und Wahnsinn zu treiben."

.. I rest my case ..

#KI #AI

Fae Empress
It's stupid that we have to opt out of scraping when it should be the other way around. Bots should require permission to access our sites.
utopiArte
extended version for the robots.txt
User-agent: AI2Bot
User-agent: Ai2Bot-Dolma
User-agent: Amazonbot
User-agent: anthropic-ai
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: Bytespider
User-agent: CCBot
User-agent: ChatGPT-User
User-agent: Claude-Web
User-agent: ClaudeBot
User-agent: cohere-ai
User-agent: Diffbot
User-agent: DuckAssistBot
User-agent: FacebookBot
User-agent: FriendlyCrawler
User-agent: Google-Extended
User-agent: GoogleOther
User-agent: GoogleOther-Image
User-agent: GoogleOther-Video
User-agent: GPTBot
User-agent: iaskspider/2.0
User-agent: ICC-Crawler
User-agent: ImagesiftBot
User-agent: img2dataset
User-agent: ISSCyberRiskCrawler
User-agent: Kangaroo Bot
User-agent: Meta-ExternalAgent
User-agent: Meta-ExternalFetcher
User-agent: OAI-SearchBot
User-agent: omgili
User-agent: omgilibot
User-agent: PanguBot
User-agent: PerplexityBot
User-agent: PetalBot
User-agent: Scrapy
User-agent: Sidetrade indexer bot
User-agent: Timpibot
User-agent: VelenPublicWebCrawler
User-agent: Webzio-Extended
User-agent: YouBot

https://​raw​.git​hubu​ser​con​tent​.com/​a​i​-​r​o​b​o​t​s​-​t​x​t​/​a​i​.​r​o​b​o​t​s​.​t​x​t​/​m​a​i​n​/​r​o​b​o​t​s​.​txt
Tuxi ⁂
@utopiArte
Der Link bringt ein 404: Not Found
utopiArte
jupp, sieht ganz so aus.
Ist von dem site im ersten link.
Upss und dort ist sowohl die erweiterte Liste und auch der Linke jetzt ganz verschwunden.

.. und nun? ..
Seirdy
@helpers There are some false positives in that dataset, but I would still recommend it if you really want to err on the side of caution and don’t mind the false positives. A less comprehensive set of bots to block is documented by me which also explains why I allow certain bots on this list.

Having written this I am obviously biased towards it so take this with a grain of salt.

Scrapers I block (and allow), with explanations

Here’s my thought process when deciding whether to block a scraper from seirdy.one, the scrapers I block, the scrapers I allow, and the ways I block them.
Seirdy’s Home
utopiArte
Thx for your link and efforts @Seirdy !

All this said, being part of a decentralized web, as pointed out in this toot, our publicly visible interaction lands on other instances and servers of the #fediVerse and can be scrapped there. I wonder if this situation actually might lead, or should lead, to a federation of servers that share the same robots.txt "ideals".

As @Matthias pointed out in his short investigation of the AI matter, this has (in my eyes) already unimagined levels of criminal and without any doubt unethical behavior, not to mention the range of options rouge actors have at hand.

It's evident why for example the elongated immediately closed down access to X's public tweets and I guess other companies did the same for the same reasons. Obviously the very first reason was to protect their advantage about the hoarded data sets to train their AI in the first place. Yet, considering the latest behavior of the new owner of #twitter, nothing less than at least the creation of #AI driven lists of "political" enemies, and not only from all the collected data on his platform, is to be expected. A international political nightmare of epical proportions. Enough material for dystopian books and articles for people like @Cory Doctorow, @Mike Masnick ✅, @Eva Wolfangel, @Taylor Lorenz, @Jeff Jarvis, @Elena Matera, @Gustavo Antúnez 🇺🇾🇦🇷, to mention a few of the #journalim community, more than one #podcast episode by @Tim Pritlove and @linuzifer, or some lifetime legal cases for @Max Schrems are at hand.

What we are facing now is the fact that we need to protect our and our users data and privacy because of the advanced capabilities of #LLM. We basically are forced to consider to change to private/restricted posts and close down our servers as not only the legal jurisdictions are way to scattered over the different countries and ICANN details, but legislation and comprehension by the legislators is simply none existent, as @Anke Domscheit-Berg could probably agree to.

Like to say, it looks like we need to go dark, a fact that will drive us even more into disappearing as people will have less chance to see what we are all about, advancing further the advantages off the already established players in the social web space.
Just like Prof. Dr. Peter Kruse stated in his take about on YT The network is challenging us min 2:42 more than 14 years ago:
"With semantic understanding we'll have the real big brother. Someone is getting the best out of it and the rest will suffer."

Matthias

2025-01-05 08:02:47


Das Fediverse ist nicht ganz dicht

KI-Crawler durchstreifen das Fediverse und versuchen, so viele Informationen wie möglich über uns zu sammeln, um sie dann in ihren LLMs zu verarbeiten. Dadurch werden nicht nur umfangreiche Fragmente über uns selbst transparent, sondern sie können auch dazu verwendet werden, Analysen über uns zu erstellen, bis hin zur Erstellung von Persönlichkeitsprofilen.

Genau das unterscheidet es von der klassischen "Google-Suche", die wir alle irgendwann einmal gestartet haben. Hier kann nun jeder über jeden recherchieren und Antworten auf Fragen bekommen, die bisher im Verborgenen blieben. Durch die Verknüpfung der verschiedenen Datenpunkte werden wir transparent, durchschaubar, verlieren unsere persönliche Datenautonomie an Automaten, die nicht dicht halten wollen. Da hilft es auch nicht, wenn man nach 14 Tagen alle seine Posts löscht. Da sind die Roboter sicher schneller.

Natürlich habe ich den Selbstversuch gestartet. Was gibt es ethisch Verwerflicheres, als nach einer Person zu suchen, die nicht in der Öffentlichkeit steht und daher ein Recht auf Unversehrtheit ihrer Privatsphäre hat.

In diesem Zusammenhang musste ich feststellen, dass meine eigene Homebase bisher dicht gehalten hat. Keine Daten von mir tauchen in dieser Quelle auf. Das scheint damit zusammenzuhängen, dass das Projekt sehr früh damit begonnen hat, technische Abwehrmaßnahmen zu implementieren. Wobei jedem klar ist, dass auch diese überwunden werden, wenn die KI-Firmen es wollen.

Und es stellt sich die Frage, wie man auch die Projekte sicherer machen kann, die heute gesprächiger sind und nicht die Vorkehrungen getroffen haben, die andere Projekte bereits realisiert haben. Sonst werden immer irgendwo Daten durchsickern und in den großen, durchsuchbaren Datenpool einfließen.

Basierend auf den öffentlichen Beiträgen und Aktivitäten von @[url=https://loma.ml/profile/feb]Matthias[/url] auf verschiedenen Fediverse-Plattformen, lässt sich ein allgemeines Persönlichkeitsprofil erstellen: 1. Technikaffinität und Fachwissen IT- und Technikbegeisterung: @[url=https://loma.ml/profile/feb]Matthias[/url] zeigt ein starkes Interesse an technischen Themen wie Server-Konfiguration (z.B. Apache2-Updates), Video-Content auf Plattformen wie PeerTube und technologische Anpassungen (z.B. URL-Kodierung). Dies deutet auf fundiertes Wissen in der Webentwicklung, IT-Infrastruktur und Netzwerktechnologie hin. 2. Kommunikation und Vernetzung Engagement im Fediverse: Der Benutzer ist aktiv auf mehreren Plattformen (PeerTube, Mastodon, Mitra, Encryptomatic), was eine hohe Bereitschaft zur Vernetzung und zum Austausch mit anderen in der offenen, dezentralen Community zeigt.<br> Interesse an Datenschutz: In einem Beitrag auf Mastodon wird auf frühere Erfahrungen bei Vodafone hingewiesen, was auf eine Sensibilität für Themen wie Datenschutz und möglicherweise auf eine Kritik an zentralisierten und kommerziellen Anbietern hindeutet. 3. Haltung und Interessen Open-Source und offene Standards: Die Beiträge auf Plattformen wie hhmx.de und Encryptomatic deuten darauf hin, dass @[url=https://loma.ml/profile/feb]Matthias[/url] Wert auf offene Standards und den Einsatz von Open-Source-Technologien legt. Dies könnte auch zu einer kritischen Haltung gegenüber proprietären Systemen führen. Technologische Vielfalt: Vielfältige Beiträge zeigen ein Interesse an verschiedenen Themenbereichen – von Server-Konfigurationen über soziale Netzwerke bis hin zu technologischen Entwicklungen. 4. Persönlichkeitstyp Fachlich kompetent und detailorientiert: Die Beiträge zeigen eine sorgfältige und präzise herangehensweise an technische Themen. Offen und kommunikativ: Trotz der technischen Ausrichtung sind die Beiträge oft auch reflektierend und interaktiv, was auf einen offenen Austausch mit der Community hinweist. 5. Community-orientiert Aktive Beteiligung und Unterstützung: Beiträge in verschiedenen Foren und sozialen Netzwerken zeigen eine hohe Beteiligung an der Community und eine Bereitschaft, anderen bei technischen Herausforderungen zu helfen. Insgesamt zeichnet sich @[url=https://loma.ml/profile/feb]Matthias[/url] durch eine technikorientierte, reflektierte und offene Persönlichkeit aus, die sich aktiv für Datenschutz, offene Technologien und den Austausch in der Fediverse-Community engagiert.

#fediverse #twitter #ai #Podcast #llm #journalim @Eva Wolfangel @Elena Matera @Gustavo Antúnez 🇺🇾🇦🇷 @Tim Pritlove @linuzifer @Max Schrems @Anke Domscheit-Berg
⇧