533 Open source projects that are alternatives of or similar to Crawler_illegal_cases_in_china

Geziyor, a fast web crawling & scraping framework for Go. Supports JS rendering.

LinkedIn Scraper (currently working 2020)

Dynamic meta tags in your AngularJS single page application

Crawl BookCorpus

Scrapy-based Crawlers for news of Taiwan

Html网页正文提取

Digger is a powerful and flexible web crawler implemented by pure golang

LexNLP by LexPredict

Verify that a request is from Google crawlers using Google's DNS verification steps

爬取菜鸟教程网站并转PDF__python_crawer_by_chrome

네이버 뉴스 수집을 위한 도구

Script that crawls meta data from ICLR OpenReview webpage. Tutorials on installing and using Selenium and ChromeDriver on Ubuntu.

Download comics novels 小说漫画下载工具 小説漫画のダウンローダ 小說漫畫下載:腾讯漫画 大角虫漫画 有妖气 知音漫客 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 無限動漫 動漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 comico webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub.

Geoip MaxMind Database for china ip list! This is also an example of generating MaxMind Database!

微博超级话题爬虫，微博词频统计+情感分析+简单分类，新增肺炎超话爬取数据

Open-source Enterprise Grade Search Engine Software

It makes a preview from an URL, grabbing all the information such as title, relevant texts and images.

OSINT Swiss Army Knife

📢 Ptt 文章通知機器人！Notify Ptt Article in Realtime

🍻 bilibili video (including bangumi) and danmaku downloader | B站视频（含番剧）、弹幕下载器

POOPAK - TOR Hidden Service Crawler

Script that crawls meta data from ICLR OpenReview webpage. Tutorials on installing and using Selenium and ChromeDriver on Ubuntu.

⚠️ [Deprecated] No longer maintained. A simple jQuery plugin for picking provinces, cities and districts of China. (中国 / 省市区 / 三级联动 / 地址选择器)

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

It covers the blockade principle of most anti-climbing strategies and corresponding solutions.👽👽👽👽（涵盖了大部分的反爬策略的封锁原理以及对应的解决方案。）

a reliable high-level web crawling & scraping framework for Node.js.

抖音爬虫，tiktok crawler，抖音数据采集接口，抖音视频去水印，百分百成功，不需要服务器，不需要代理 IP。

台灣股票即時爬蟲。Taiwan Stock Exchange Real Time Crawler

这里，真的介绍的是正规、优质按摩店（误：性感荷官，在线发牌）

Fresh Onions is an open source TOR spider / hidden service onion crawler hosted at zlal32teyptf4tvi.onion

Squidwarc is a high fidelity, user scriptable, archival crawler that uses Chrome or Chromium with or without a head

swiss army knife for hackers

Golang pkg to quickly return a preview of a webpage (title/description/images)

快速、简洁且强大的PHP爬虫框架

CoCrawler is a versatile web crawler built using modern tools and concurrency.

今日头条机器人，支持用户登陆、关注、取消关注、获取关注粉丝、发文、发悟空问答、点赞、评论、采集各种类型新闻讯息等，使用今日头条网页版API实现

Some scrapy and web.py exmaples

知乎模拟登录，支持提取验证码和保存 Cookies

GUI based offensive penetration testing tool (Open Source)

Mirrors in China about node.js

Powerful web scraping framework for Crystal

🌭💦 91porn爬虫在线API接口（永久有效） 及 在线web预览

轻量高效的 Trojan 代理，使用 Rust 实现

The one and only one gfwlist here

优雅地玩知乎

Data related to investigation of chat client censorship

Lite version of Crawlab. 轻量版 Crawlab 爬虫管理平台

Intelligent proxy pool for Humans™ (Maintainer needed)

爬虫案例合集。包括但不限于《淘宝、京东、天猫、豆瓣、抖音、快手、微博、微信、阿里、头条、pdd、优酷、爱奇艺、携程、12306、58、搜狐、百度指数、维普万方、Zlibraty、Oalib、小说、招标网、采购网、小红书》

TextMate themes for PyCharm

一些爬虫的代码

蓝天采集器是一款免费的数据采集发布爬虫软件，采用php+mysql开发，可部署在云服务器，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统

Elasticsearch File System Crawler (FS Crawler)

c++11 thread pool

Parser and database to index the terpene profile of different strains of Cannabis from online databases

最新中国地图json文件，可用d3开发中国地图

Crawl instagram photos, posts and videos for download.

leaflet 加载百度瓦片地图图层 以及高德 、天地图等国内常用地图

Python爬虫代理IP池(proxy pool)

📅🇨🇳 中国法定节假日数据 自动每日抓取国务院公告