wusuopubupt / Go_spider
A golang spider
Stars: ✭ 25
Projects that are alternatives of or similar to Go spider
Zhihu Crawler
zhihu-crawler是一个基于Java的高性能、支持免费http代理池、支持横向扩展、分布式爬虫项目
Stars: ✭ 890 (+3460%)
Mutual labels: spider
Icrawler
A multi-thread crawler framework with many builtin image crawlers provided.
Stars: ✭ 629 (+2416%)
Mutual labels: spider
Spidr
A versatile Ruby web spidering library that can spider a site, multiple domains, certain links or infinitely. Spidr is designed to be fast and easy to use.
Stars: ✭ 656 (+2524%)
Mutual labels: spider
Mailinglistscraper
A python web scraper for public email lists.
Stars: ✭ 19 (-24%)
Mutual labels: spider
Creeper
🐾 Creeper - The Next Generation Crawler Framework (Go)
Stars: ✭ 762 (+2948%)
Mutual labels: spider
Istock
👉一个基于spring boot 实现的java股票爬虫(仅支持A股)，如果你❤️请⭐️ . V2升级版正在开发中！
Stars: ✭ 622 (+2388%)
Mutual labels: spider
Querido Diario
📰 Brazilian government gazettes, accessible to everyone.
Stars: ✭ 681 (+2624%)
Mutual labels: spider
Funpyspidersearchengine
Word2vec 千人千面 个性化搜索 + Scrapy2.3.0(爬取数据) + ElasticSearch7.9.1(存储数据并提供对外Restful API) + Django3.1.1 搜索
Stars: ✭ 782 (+3028%)
Mutual labels: spider
go_spider
A golang spider created by Dash Wang, 2015-11-25
目录说明(cd $GOPATH/src/github.com/wusuopubupt/go_spider && tree)：
├── conf(配置文件目录)
│ ├── example.xml
│ ├── logconf.xml
│ └── spider.conf
├── data(数据目录)
│ └── url.data
├── log(日志目录)
│ ├── mini_spider.log
│ └── mini_spider.wf.log
├── output(输出文件目录)
├── readme.txt
└── src(核心代码目录)
├── conf
│ ├── config.go
│ └── config_test.go
├── downloader
│ ├── downloader.go
│ └── downloader_test.go
├── main
│ ├── main
│ └── main.go
├── spider
│ ├── spider.go
│ └── spider_test.go
├── utils
│ └── utils.go
└── vendor(第三方包目录)
├── github.com
│ └── alecthomas
│ └── log4go
│ ├── LICENSE
│ ├── README
│ ├── config.go
│ ├── filelog.go
│ ├── log4go.go
│ ├── pattlog.go
│ ├── socklog.go
│ ├── termlog.go
│ └── wrapper.go
├── golang.org
│ └── x
│ └── net
│ ├── LICENSE
│ ├── PATENTS
│ └── html
│ ├── atom
│ │ ├── atom.go
│ │ ├── gen.go
│ │ └── table.go
│ ├── const.go
│ ├── doc.go
│ ├── doctype.go
│ ├── entity.go
│ ├── escape.go
│ ├── foreign.go
│ ├── node.go
│ ├── parse.go
│ ├── render.go
│ └── token.go
├── gopkg.in
│ ├── gcfg.v1
│ │ ├── LICENSE
│ │ ├── README
│ │ ├── doc.go
│ │ ├── errors.go
│ │ ├── go1_0.go
│ │ ├── go1_2.go
│ │ ├── read.go
│ │ ├── scanner
│ │ │ ├── errors.go
│ │ │ └── scanner.go
│ │ ├── set.go
│ │ ├── token
│ │ │ ├── position.go
│ │ │ ├── serialize.go
│ │ │ └── token.go
│ │ └── types
│ │ ├── bool.go
│ │ ├── doc.go
│ │ ├── enum.go
│ │ ├── int.go
│ │ └── scan.go
│ └── warnings.v0
│ ├── LICENSE
│ ├── README
│ └── warnings.go
└── vendor.json
运行：
cd $GOPATH/src/github.com/wusuopubupt/go_spider/src/main && go run main.go
Note that the project description data, including the texts, logos, images, and/or trademarks,
for each open source project belongs to its rightful owner.
If you wish to add or remove any projects, please contact us at [email protected].