🌟 Firecrawl

Это open-source краулер для вытягивания всей информации с сайтов в markdown-формате, пригодном для обучения LLM

Пройтись по конкретному URL и его подстраницам можно так:

Firecrawl обрабатывает сложные случаи, включая динамический контент, JavaScript-рендеринг, PDF, изображения и защищённые страницы.

Поддерживает интеграцию с Langchain, LlamaIndex, Dify и другими инструментами, поддерживает Python, Node.js, Go и Rust.

Пройтись по конкретному URL и его подстраницам можно так:

curl -X POST https://api.firecrawl.dev/v0/crawl \
    -H 'Content-Type: application/json' \
    -H 'Authorization: Bearer YOUR_API_KEY' \
    -d '{
      "url": "https://mendable.ai"
    }'

# { "jobId": "1234-5678-9101" }    

Лиценизровавние: AGPL-3.0 license

▪GitHub
▪ Инструкция по запуску локально

@ai_machinelearning_big_data

#llm #crawler