#%E6%95%B8%E6%93%9A%E6%8A%93%E5%8F%96

王永帥🍥yongshuai1013
2024-11-11

快速智慧網路數據抓取工具:Scrapling ,它能自動適應網站變化,比如網站結構發生了變化,仍然能找到目標元素,比BeautifulSoup快237倍

1、智慧元素跟蹤,網站結構變化後,它使用相似度系統和集成儲存定位先前識別的元素; 支持CSS、XPath、文本搜尋等; 可以自動找到頁面上相似的元素; 無需特定選擇器即可從多個網站提取數據

2、速度快,占用記憶體少,JSON序列化比標準庫快10倍

專案地址: github.com/D4Vinci/Scrapling

王永帥🍥yongshuai1013
2024-11-09

一款自託管的網頁數據抓取工具:Scraperr,可以通過指定XPath抓取特定元素,可以將抓取結果與AI對話結合

提供可視化界面,可以批次提交網址,支持導出Excel

可以將抓取結果與AI對話結合,支持Ollama和OpenAI API

支持自訂請求頭,可以抓取同一網站下的所有相關頁面
支持任務重跑,能查看運行日誌

專案地址: github.com/jaypyles/Scraperr

Client Info

Server: https://mastodon.social
Version: 2025.04
Repository: https://github.com/cyevgeniy/lmst