Indexierung im Zeitalter autonomer Agenten: Was bleibt vom klassischen Crawling übrig?
Google hat angekündigt, gemeinsam mit der Web- und KI‑Gemeinschaft neue, maschinenlesbare Optionen zur Steuerung von Crawling und Indexierung zu erforschen, die über das seit Jahrzehnten geltende robots.txt-Protokoll hinausgehen. Die Aufforderung zur öffentlichen Diskussion richtet sich an Web‑Publisher, Zivilgesellschaft und Wissenschaft und zielt darauf ab, Regeln für den Umgang mit autonomen Agenten und der Nutzung von […]
