Diffbot

Was ist Diffbot?

Diffbot verwandelt das offene Web in strukturierte Daten. Statt Scraping-Regeln je Website zu pflegen, liest die Extract-API eine Seite mit Computer-Vision- und Sprachmodellen, ordnet sie einem von mehreren Standard-Seitentypen zu und liefert saubere JSON-Felder zurück. Der Anbieter beziffert die Antwortzeit mit rund 300 Millisekunden und positioniert das Produkt ausdrücklich als Ersatz für regelbasierte Scraping-Strecken, die im Betrieb teuer werden.

Um Extract herum stehen vier weitere Bausteine. Crawl bekommt eine Start-URL, läuft die Website ab und schiebt jede gefundene Seite durch Extract, das Ergebnis ist eine durchsuchbare Sammlung. Die Natural Language API zieht aus Rohtext Entitäten, Beziehungen, Fakten und Stimmung. Der Knowledge Graph ist eine sich selbst aktualisierende Graphdatenbank mit nach Anbieterangabe über 10 Milliarden Entitäten aus dem öffentlichen Web, abfragbar über die eigene Sprache DQL. Web Search liefert strukturierte Live-Suchergebnisse über eine API, laut Anbieter ohne Werbung und ohne Telemetrie.

Betreiber ist die Diffbot Technologies Corp. Die Dokumentation beschreibt das Unternehmen als Datenverarbeiter im Sinne der DSGVO und verweist auf einen Auftragsverarbeitungsvertrag mit EU-Standardvertragsklauseln, den du per E-Mail anfordern kannst.

Für wen eignet sich Diffbot?

Diffbot ist zuerst eine Entwicklerplattform. Es gibt Client-Bibliotheken für Python und TypeScript, Agent Skills für Claude Code, GitHub Copilot und Snowflake Cortex sowie Anbindungen an Microsoft Excel, Google Sheets, CData und Make. Passend ist das für Teams, die Web-Daten in eigene Pipelines, Datenprodukte oder KI-Agenten einspeisen: Marktbeobachtung, Wettbewerbsanalyse, Anreicherung von Firmendaten, GraphRAG-Anwendungen.

Für kleine Auswertungen gibt es eine Oberfläche im Dashboard und einen Test ohne Anmeldung. Ein Werkzeug für Fachabteilungen ohne Technikbezug ist Diffbot trotzdem nicht: Der Nutzen entsteht über API-Aufrufe, Abfragesprache und eigene Verarbeitung.

Nicht geeignet ist die Plattform, wenn du planbare Kosten pro Nutzer brauchst. Abgerechnet wird nach Verbrauch in Credits, und die Preise unterscheiden sich je Aktion um den Faktor 100. Wer Websites systematisch durchlaufen lassen will, muss zudem mindestens den Plus-Plan buchen, denn die Crawl-API ist darunter gesperrt. Studierende und akademisch Forschende fallen aus dem Raster heraus, für sie bietet Diffbot den Startup-Zugang kostenfrei an.

Diffbot im Arbeitsalltag

Eingang ist entweder eine URL, ein Rohtext oder eine Abfrage. Für eine einzelne Seite rufst du Extract auf, wahlweise über die allgemeine Analyze-Schnittstelle oder über spezialisierte Endpunkte für Artikel, Produkte, Bilder, Videos, Diskussionen, Veranstaltungen, Listen und Stellenanzeigen. Zurück kommt JSON nach dem Schema des erkannten Seitentyps, bei Produktseiten etwa das Preisfeld, bei Artikeln der Autor. Reichen die Standardfelder nicht, legst du eine Custom API mit eigenen Selektoren und Filtern an.

Für ganze Websites startest du einen Crawl-Job. Nötig sind eine Start-URL und die Wahl der Extract-Variante; Filterregeln an jedem Schritt begrenzen Tempo und Rauschen, etwa auf eine einzelne Produktkategorie eines Shops. Alle Ergebnisse landen in einer Sammlung, die sich komplett herunterladen oder über die Such-API durchsuchen lässt. Liegt bereits eine vollständige URL-Liste vor, verweist der Anbieter stattdessen auf Bulk Extract.

Der dritte Weg führt in den Knowledge Graph. Über DQL fragst du Entitäten wie Organisationen oder Personen ab, mit Feldern wie Umsatz, Mitarbeiterzahl oder Standorten. Ein Enhance-Aufruf reichert einen vorhandenen Datensatz um Graph-Wissen an. Jede Entität ist laut Dokumentation eine Verschmelzung mehrerer Quellen, die Herkunftsadressen stehen im Feld origins.

Rechte betroffener Personen wickelt Diffbot über eine Mailadresse ab: Löschanfragen führen zu einer Sperrliste, für die eingehende personenbezogene Daten anschließend blockiert werden.

Preise und Pläne

Abgerechnet wird pro Konto und Monat über ein Credit-Kontingent, das sich monatlich erneuert:

• Free: 0 US-Dollar, 10.000 Credits pro Monat, alle vier APIs, keine Kreditkarte nötig, 5 Anfragen pro Minute. Ist das Kontingent erschöpft, antwortet die API mit dem Fehler 429.
• Startup: 299 US-Dollar pro Monat, 250.000 Credits, Mehrverbrauch zu 0,001 US-Dollar je Credit, alle vier APIs, 5 Anfragen pro Sekunde.
• Plus: 899 US-Dollar pro Monat, 1.000.000 Credits, Mehrverbrauch zu 0,0009 US-Dollar je Credit, Zugriff auf Crawl mit 25 gleichzeitig aktiven Jobs, 3 Nutzerplätze, 25 Anfragen pro Sekunde.
• Enterprise: Preis auf Anfrage, individuelles Kontingent, über 100 aktive Crawls, individuelle Nutzerzahl, fester Ansprechpartner, ab 25 Anfragen pro Sekunde.

Was ein Credit kostet, hängt an der Aktion: eine extrahierte Seite 1 Credit, über einen Rechenzentrums-Proxy 2, ein verarbeitetes Dokument in der Natural Language API (bis 10.000 Zeichen) 1, eine Websuche 1, ein exportierter Knowledge-Graph-Datensatz 25, ein Facettenabfrage-Datensatz 100, eine Anreicherung 25 und eine Anreicherung mit Aktualisierung 100. Das Durchlaufen einer Website mit Crawl selbst kostet 0 Credits, bezahlt wird die anschließende Extraktion.

Mehrverbrauch rechnet Diffbot anteilig ab. Das Beispiel des Anbieters: 1.500.000 Credits im Plus-Plan ergeben 899 US-Dollar plus 500.000 mal 0,0009 US-Dollar. Es gibt keine Mindestlaufzeit, die Kündigung wirkt zum Folgemonat. Studierende und akademisch Forschende erhalten über das Programm Diffbot for Students den Startup-Zugang kostenlos. Stand: August 2026.

Stärken und Schwächen

Stärken:

• Kostenloser Plan mit 10.000 Credits pro Monat und Zugriff auf alle vier APIs, ohne Kreditkarte.
• Preise je Aktion sind vollständig veröffentlicht, ebenso die Überverbrauchssätze.
• Extraktion ohne seitenspezifische Regeln, stattdessen vortrainierte Modelle auf einer Standard-Ontologie.
• Der Anbieter stellt einen Auftragsverarbeitungsvertrag mit EU-Standardvertragsklauseln bereit und führt eine Sperrliste für Löschanfragen.
• Client-Bibliotheken für Python und TypeScript, Agent Skills sowie Anbindungen an Excel, Google Sheets, CData und Make.
• Keine Mindestlaufzeit, monatlich kündbar.

Schwächen:

• Die Crawl-API ist erst ab dem Plus-Plan für 899 US-Dollar im Monat freigeschaltet.
• Zwischen Startup (299 US-Dollar) und Plus (899 US-Dollar) liegt keine weitere Stufe.
• Nutzerplätze sind knapp: Plus enthält drei, für mehr braucht es Enterprise.
• Knowledge-Graph-Abfragen kosten das 25- bis 100-Fache einer Seitenextraktion, was die Kosten schwer vorhersagbar macht.
• Der Betreiber sitzt in den USA, die Verarbeitung stützt sich auf Standardvertragsklauseln statt auf einen EU-Standort.
• Das Enterprise-Kontingent nennt keine Beträge.

Alternativen zu Diffbot

Aus derselben Kategorie kommen Apify, Coresignal und People Data Labs infrage. Die Wahl hängt daran, ob du eher Seiten extrahieren, fertige Datensätze beziehen oder Profile anreichern willst. Bei der Anbindung an deine Systeme unterstützt dich unsere Beratung zu Automation und Prozessoptimierung.

Diffbot im Vergleich

Diese Einordnung rechnet sich aus dem Verzeichnis selbst: Diffbot steht in der Kategorie mit 516 weiteren Werkzeugen.

Der Anbieter sitzt außerhalb der EU. In dieser Kategorie führt das Verzeichnis 226 Alternativen mit EU-Sitz, davon 134 aus Deutschland.

Diffbot nennt konkrete Preise. In der Kategorie tun das 215 von 516 Werkzeugen (42 Prozent).

Einen kostenlosen Einstieg bietet Diffbot nicht. In der Kategorie haben 85 von 516 Werkzeugen einen Gratis- oder Freemium-Plan.

Überblick

Diffbot ist eine der wenigen Web-Daten-Plattformen, die ihre Preisliste bis auf die einzelne Aktion offenlegt. Für Entwicklerteams mit klarem Mengengerüst lässt sich damit sauber kalkulieren, der kostenlose Plan reicht für einen belastbaren Test. Wer systematisch ganze Websites einlesen will, landet schnell im Plus-Plan, und wer personenbezogene Daten in der EU verarbeitet, sollte den US-Sitz und den Auftragsverarbeitungsvertrag vorab prüfen.