Скрепер AI-агента на основе зрения - с Google Sheets, ScrapingBee и Gemini

Для платформы Vision-Based AI Agent Scraper автоматизируйте процесс извлечения структурированных данных с веб-страниц, используя интеграцию с Google Sheets и ScrapingBee. Этот рабочий процесс позволяет эффективно собирать информацию о товарах, включая названия, цены и бренды, с помощью скриншотов и HTML. Результаты сохраняются в Google Sheets, что упрощает управление данными и анализ. Оптимизация затрат достигается за счет конвертации HTML в Markdown.

04.07.2025
29 nodes
Complex
ручнойсложныйlangchainsplitoutgooglesheetsлипкая заметкаexecuteworkflowtriggermarkdownрасширенныйapiинтеграция
Categories:
Complex WorkflowManual TriggeredData Processing & AnalysisBusiness Process Automation
Integrations:
LangChainSplitOutGoogleSheetsSticky NoteExecuteWorkflowTriggerMarkdown

Target Audience

Этот рабочий процесс предназначен для:
- Маркетологов: которые хотят собирать данные о продуктах с веб-сайтов для анализа и отчетности.
- Разработчиков: желающих интегрировать возможности сканирования и извлечения данных в свои приложения.
- Предпринимателей: которые нуждаются в автоматизации сбора информации о конкурентах или ценах на продукты.
- Исследователей: которые анализируют данные с веб-сайтов для статистических исследований или отчетов.
- Студентов: изучающих методы веб-скрапинга и работы с API.

Problem Solved

Этот рабочий процесс решает проблему автоматизированного извлечения данных с веб-сайтов, используя AI-агента, который может:
- Извлекать данные из скриншотов и HTML-страниц, что обеспечивает высокую точность.
- Обрабатывать разные форматы данных и представлять их в структурированном виде.
- Сохранять результаты в Google Sheets для удобного доступа и анализа.

Workflow Steps

  • Запуск рабочего процесса: Рабочий процесс начинается с ручного триггера, когда пользователь нажимает кнопку ‘Тестировать рабочий процесс’.
    2. Получение списка URL: Рабочий процесс извлекает список URL-адресов из Google Sheets.
    3. Установка полей: Устанавливаются необходимые параметры, такие как URL, для дальнейшей обработки.
    4. Скриншот страницы: Используя ScrapingBee, рабочий процесс делает скриншот страницы по указанному URL.
    5. AI-агент: AI-агент анализирует скриншот и пытается извлечь данные о продуктах, такие как названия, цены и бренды.
    6. Проверка и извлечение HTML: Если AI-агент не может извлечь данные из скриншота, он вызывает дополнительный инструмент для получения HTML-контента страницы.
    7. Парсинг данных: Извлеченные данные структурируются с помощью парсера и подготавливаются для сохранения.
    8. Сохранение результатов: Наконец, рабочий процесс создает новые строки в Google Sheets с извлеченными данными.

    • Customization Guide

    Пользователи могут настроить этот рабочий процесс следующим образом:
    - Изменение структуры данных: Настройте узел Structured Output Parser в соответствии с вашими требованиями к данным.
    - Добавление дополнительных полей: В узле Set fields добавьте любые дополнительные поля, которые необходимо передать в ScrapingBee.
    - Адаптация AI-агента: Измените системные сообщения и пользовательские сообщения в узле Vision-based Scraping Agent, чтобы лучше соответствовать вашим требованиям к извлечению данных.
    - Настройка Google Sheets: Измените названия листов и структуру столбцов в Google Sheets для соответствия вашим данным и отчетам.