Vision-basierter KI-Agent Scraper - mit Google Sheets, ScrapingBee und Gemini

Für die Plattform "Vision-Based AI Agent Scraper" automatisiert dieser Workflow die Datenerfassung von Webseiten durch einen KI-Agenten, der Screenshots zur Datenextraktion nutzt und bei Bedarf auf HTML-Scraping zurückgreift. Er integriert Google Sheets zur Verwaltung von URLs und Speicherung strukturierter Ergebnisse. Mit ScrapingBee werden vollständige Screenshots erstellt, während das Modell Gemini-1.5-Pro präzise Daten wie Produktpreise, Marken und Aktionsinformationen extrahiert. Der Workflow optimiert die Verarbeitungskosten durch die Umwandlung von HTML in Markdown und bietet eine benutzerfreundliche Lösung für E-Commerce-Datenanalysen.

4.7.2025
29 Knoten
Komplex
manuellkomplexlangchainsplitoutgooglesheetshaftnotizexecuteworkflowtriggermarkdownfortgeschrittenapiintegration
Kategorien:
Data Processing & AnalysisBusiness Process AutomationManual TriggeredComplex Workflow
Integrationen:
LangChainSplitOutGoogleSheetsSticky NoteExecuteWorkflowTriggerMarkdown

Zielgruppe

Diese Workflow ist ideal für:
- E-Commerce-Unternehmen: Die automatisierte Datenerfassung von Produktinformationen kann den Verkaufsprozess erheblich optimieren.
- Marktforscher: Die Analyse von Wettbewerbsprodukten und Preisen wird durch die strukturierte Datenausgabe erleichtert.
- Datenanalysten: Die Integration mit Google Sheets ermöglicht eine einfache Datenanalyse und -visualisierung.
- Entwickler: Die Anpassbarkeit des Workflows bietet Entwicklern die Möglichkeit, spezifische Anforderungen zu erfüllen.

Gelöstes Problem

Dieser Workflow löst das Problem der manuellen Datenerfassung von Webseiten, indem er eine automatisierte Lösung bietet, die sowohl Screenshots als auch HTML-Daten nutzt, um strukturierte Informationen zu extrahieren. Dies spart Zeit und minimiert menschliche Fehler, während gleichzeitig die Genauigkeit und Effizienz der Datensammlung erhöht wird.

Workflow-Schritte

  • Workflow-Auslösung: Der Workflow wird manuell durch Klicken auf 'Test workflow' gestartet.
    2. URLs abrufen: Eine Liste von URLs wird aus einem Google Sheet abgerufen, die die Webseiten enthält, die gescraped werden sollen.
    3. Felder festlegen: Die relevanten Felder, insbesondere die URL, werden für die Verwendung in nachfolgenden Schritten festgelegt.
    4. Screenshot erstellen: Ein Screenshot der Webseite wird mit ScrapingBee erstellt, wobei die Option für einen vollständigen Screenshot aktiviert ist.
    5. Vision-basiertes Scraping: Der AI-Agent analysiert den Screenshot, um Produktinformationen wie Titel, Preise und Marken zu extrahieren. Bei Bedarf wird auf HTML-Daten zurückgegriffen.
    6. Datenstrukturierung: Die extrahierten Daten werden in einem strukturierten JSON-Format organisiert.
    7. Daten in Google Sheets speichern: Die strukturierten Daten werden in das Google Sheet eingefügt, um die Ergebnisse zu speichern und eine einfache Analyse zu ermöglichen.

    • Anpassungsleitfaden

    Benutzer können diesen Workflow anpassen, indem sie:
    - Felder hinzufügen: Zusätzliche Felder für spezifische Informationen definieren, die von der Webseite extrahiert werden sollen.
    - Prompts anpassen: Die Anweisungen für den AI-Agenten ändern, um die Datenerfassung an spezifische Bedürfnisse oder Webseiten anzupassen.
    - Google Sheets anpassen: Die Struktur des Google Sheets ändern, um sicherzustellen, dass sie mit den extrahierten Daten übereinstimmt.
    - API-Keys aktualisieren: Die API-Keys für ScrapingBee und Google Sheets einfügen, um die Integration zu aktivieren.