682 Open source projects that are alternatives of or similar to ZhengFang_System_Spider

零基础学习python爬虫

Java 網路資料爬蟲包

talospider - A simple,lightweight scraping micro-framework

百度贴吧生日爬虫，可抓取贴吧内吧友生日，并且在对应日期自动发送祝福

抖音接口、抖音API、抖音数据爬虫、抖音直播数据、抖音直播Api、抖音视频Api、抖音爬虫、抖音去水印、抖音视频下载、抖音视频解析、抖音直播监控、抖音数据采集

A bash script to spider a site, follow links, and fetch urls (with built-in filtering) into a generated text file.

Crawler for LinkedIn full profiles 2019

下载搜狗、百度、QQ输入法的词库文件的 python 爬虫，可用于构建不同行业的词汇库

免费 IP 代理池。Scrapy 爬虫框架插件

A simple but powerful web crawler library for .NET

Crawl a website and run it through Google lighthouse

TumblTwo, an Improved Fork of TumblOne, a Tumblr Downloader.

Scrapoxy hides your scraper behind a cloud. It starts a pool of proxies to send your requests. Now, you can crawl without thinking about blacklisting!

Automatically constructing corpus for automatic speech recognition from YouTube videos

🌟 powered by python3( simple learning of spider) 百度文库；网易云歌曲； 豆瓣电影； GitHub； 京东； QQ空间； 天气； vip解析助手； TED文本内容； wifi破解脚本； 必应图片设置为桌面等爬取

PTT 表特版爬蟲圖片下載器

🕷️ A node crawler for github trending.

tumblr解析网站

网易云音乐 api(第三方)

An online tool (crawler) to analyze users performance in online judges (coding competition websites). Supported OJ: POJ, HDU, ZOJ, HYSBZ, CodeForces, UVA, ICPC Live Archive, FZU, SPOJ, Timus (URAL), LeetCode_CN, CSU, LibreOJ, 洛谷, 牛客OJ, Lutece (UESTC), AtCoder, AIZU, CodeChef, El Judge, BNUOJ, Codewars, UOJ, NBUT, 51Nod, DMOJ, VJudge

码云仓库链接:AJay13/ECommerceCrawlers Github 仓库链接:DropsDevopsOrg/ECommerceCrawlers 项目展示平台链接:http://wechat.doonsec.com

Download comics novels 小说漫画下载工具 小説漫画のダウンローダ 小說漫畫下載:腾讯漫画 大角虫漫画 有妖气 知音漫客 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 無限動漫 動漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 comico webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub.

163music spider by scrapy.

本仓库收集整理爬虫相关资源，开发语言以Java为主

一个基于Scrapy的数据采集爬虫代码库

No description or website provided.

POOPAK - TOR Hidden Service Crawler

A Python DNS crawler to find identical domain names under different TLDs.

Project thu thập điểm chuẩn đại học 2014 - 2018 và phân tích dữ liệu

妹子图全站采集10G套图资源

Python爬虫，京东自动登录，在线抢购商品

Crawl all unique internal links found on a given website, and extract SEO related information - supports javascript based sites

Script that generates a sitemap by crawling a given URL

利用墨墨背单词的分享功能拿每日20个的单词上限奖励（多线程

抖音爬虫，tiktok crawler，抖音数据采集接口，抖音视频去水印，百分百成功，不需要服务器，不需要代理 IP。

A crawler for automated functional testing of a web application

crawler framework, distributed crawler extractor

银行、支行名称。中国各地区各银行支行名称数据爬虫，数据来源微信商户平台，已经整理可直接导入的sql文件

Parser and database to index the terpene profile of different strains of Cannabis from online databases

Python Lambda Chrome Automation (naming pending)

hproxy - Asynchronous IP proxy pool, aims to make getting proxy as convenient as possible.(异步爬虫代理池)

基于Scrapy框架的豆瓣电影爬虫

今日头条科技新闻接口爬虫

Crawling CV conference papers with Python.

SSE 50 index options crawler 上证50期权数据爬虫

拟物校园，一个开源的高校教务移动化解决方案。

客户端爬虫安卓端demo

Bitextor generates translation memories from multilingual websites.

新浪爬虫，基于Python+Selenium。模拟登陆后保存cookie，实现登录状态的保存。可以通过输入关键词来爬取到关键词相关的热门微博。

哔咔漫画收藏夹下载程序

Collection of scrapy spiders which can scrape posts, images, and so on from public Facebook Pages.

Polite, slim and concurrent web crawler.

some small project and some articles

Alternative for VK Audio API

虎扑网相册下载工具

爬虫管理系统，支持集群，弹性伸缩。支持运行feapder、scrapy、selenium、playwright等各种框架及脚本

🚀「Douyin_TikTok_Download_API」是一个开箱即用的高性能异步抖音|TikTok数据爬取工具，支持API调用，在线批量解析及下载。

DownZemAll! is a download manager for Windows, MacOS and Linux

scrapes medias, likes, followers, tags and all metadata. Inspired by instagram-php-scraper,bot