自主研发的一个java版本的分布式的通用爬虫

自主研发的一个java版本的分布式的通用爬虫,可以热插拔各个组件(提供默认的),自动切换代理,自动结构化数据与存储。使用redis,分布式调度等技术。

相关的项目 - 更多比较

822 9.1k 3.8k

WebMagic是一个简单灵活的Java爬虫框架
 
10.0 5.3
  20天前
124 919 484

G Gather Platform 数据抓取平台是一套基于Webmagic内核的,具有Web任务配置和任务管理界面的数据采集与搜索平台.
 
3.1 0.0
  3年前