高速でインテリジェントなウェブデータ収集ツール「Scrapling」

高速でインテリジェントなウェブデータ収集ツール「Scrapling」。サイトの構造が変化しても目標要素を見つけることができ、BeautifulSoupの237倍の速さを誇ります。

  1. インテリジェントな要素追跡:サイト構造が変わっても、類似度システムと統合ストレージにより、以前に識別された要素を追跡。CSS、XPath、テキスト検索などをサポートし、ページ内の類似要素も自動的に見つけることが可能。特定のセレクターなしで複数のサイトからデータを抽出可能。
  2. 高速・軽量:メモリ使用量が少なく、JSONシリアライゼーションが標準ライブラリの10倍速い。

GitHub: https://github.com/D4Vinci/Scrapling

コメントを残す