Applebot: Apples Webcrawler sammelt Daten für KI-Training

Auch wenn Apple bei der Integration von künstlicher Intelligenz maßgeblich auf die Integration von externen Lösungen setzt – zum Start haben wir ja die Ankündigung der Zusammenarbeit mit OpenAI gesehen – arbeitet der iPhone-Hersteller arbeitet parallel dazu auch daran, eigene Grundlagenmodelle zu erstellen. Ein wichtiges Standbein ist hier die automatisierte Indizierung von Webinhalten. Die Hauptrolle hierbei spielt der seither schon zur Unterstützung von Funktionen wie Siri oder Spotlight-Vorschlägen eingesetzte Webcrawler „Applebot“.

Apple hat die Funktionsbeschreibung des Applebot nun dementsprechend erweitert und weist darauf hin, dass der Webcrawler jetzt auch verwendet wird, um die Inhalte von Webseiten zu erfassen, um sie anschließend zum Trainieren von Apples KI-Grundlagenmodellen verwenden zu können. Darauf basieren dann unter anderem die mit „Apple Intelligence“ neu vorgestellten KI-Funktionen zukünftiger Produkte und Betriebssysteme.

Rechtliche Basis zumindest diskutabel

Die rechtliche Basis hierfür kann man zumindest als diskutabel betrachten. Während Apple einen Teil des zur Erstellung der Grundlagenmodelle für generative KI-Funktionen genutzten Datenbestands laut eigenen Aussagen von Drittanbietern lizenziert hat, ist bei den vom Applebot erfassten Daten lediglich die Rede davon, dass es sich hier um im Internet öffentlich zugängliche Informationen handelt.

Damit setzt sich Apple in gleicher Weise zwischen zwei Stühle, wie es Google mit der Anzeige von Suchergebnissen auf Nachrichtenseiten getan hat. Auch andere KI-Anbieter sahen sich mit dem Vorwurf konfrontiert, dass man die Tatsache, dass ein Webinhalt frei zugänglich ist, nicht damit gleichzusetzen kann, dass die dort verfügbaren Informationen auch ohne Einschränkungen weiterverwendet werden dürfen. Ganz besonders dürfte hier eine Rolle spielen, dass es sich bei Apples KI-Angeboten durchaus auch um eine kommerzielle Verwendung handelt.

User-agent: Applebot-Extended
Disallow: /private/

Betreiber von Webseiten, die mit einer solchen Nutzung nicht einverstanden sind, müssen ihrerseits aktiv werden und entsprechende Anweisungen für die Webcrawler im Quellcode ihrer Seiten hinterlegen. Apple hat seine Informationen zum Applebot entsprechend ergänzt und bietet hier alternativ zu einem generellen Indizierungsverbot nun auch die Möglichkeit ein, lediglich die automatische Datenerfassung für KI-Trainings zu untersagen. Diese läuft bei Apple als „Applebot-Extended“ und lässt sich durch einen entsprechenden Zusatz in der Datei „robots.txt“ verhindern.