All Projects → LEXUGE → L-Spider

LEXUGE / L-Spider

Licence: AGPL-3.0 license
A DHT Spider allows you to sniff the torrents and magnets.You can download them directly.

Programming Languages

python
139335 projects - #7 most used programming language

Projects that are alternatives of or similar to L-Spider

QQSpider
爬取QQ用户信息(qq号、昵称、生日、地址等基本信息)并做简要analysis。
Stars: ✭ 21 (-67.19%)
Mutual labels:  spider
zucc xk ZhengFang
ZUCC正方教务系统抢课助手。针对ZUCC正方教务系统模拟登录,爬取课程信息,自动抓包发包抢课。具体实现流程可参考README中的实现原理链接
Stars: ✭ 40 (-37.5%)
Mutual labels:  spider
Z-Spider
一些爬虫开发的技巧和案例
Stars: ✭ 33 (-48.44%)
Mutual labels:  spider
benchmark-http
No description or website provided.
Stars: ✭ 15 (-76.56%)
Mutual labels:  spider
MusicSpider
Music Spider. Go 👾 Music Spider 是使用Golang写的音乐聚合爬虫,目前支持的站点包括 网易、QQ、虾米、酷狗、百度。
Stars: ✭ 24 (-62.5%)
Mutual labels:  spider
hupu Album Downloader
虎扑网相册下载工具
Stars: ✭ 17 (-73.44%)
Mutual labels:  spider
landchina-spider
项目已经过时!无法应用在改版后的网站上。
Stars: ✭ 13 (-79.69%)
Mutual labels:  spider
zhihu
搜索你的知乎收藏:可以直观地浏览你的所有收藏夹的内容,并进行全文搜索
Stars: ✭ 39 (-39.06%)
Mutual labels:  spider
python-fxxk-spider
收集各种免费的 Python 爬虫项目
Stars: ✭ 184 (+187.5%)
Mutual labels:  spider
douyin-api
抖音接口、抖音API、抖音数据爬虫、抖音直播数据、抖音直播Api、抖音视频Api、抖音爬虫、抖音去水印、抖音视频下载、抖音视频解析、抖音直播监控、抖音数据采集
Stars: ✭ 41 (-35.94%)
Mutual labels:  spider
python-spider
python爬虫小项目【持续更新】【笔趣阁小说下载、Tweet数据抓取、天气查询、网易云音乐逆向、天天基金网查询、微博数据抓取(生成cookie)、有道翻译逆向、企查查免登陆爬虫、大众点评svg加密破解、B站用户爬虫、拉钩免登录爬虫、自如租房字体加密、知乎问答
Stars: ✭ 45 (-29.69%)
Mutual labels:  spider
jobSpider
jobSpider是一只scrapy爬虫,用于爬取职位信息
Stars: ✭ 28 (-56.25%)
Mutual labels:  spider
nivinEdu
拟物校园,一个开源的高校教务移动化解决方案。
Stars: ✭ 24 (-62.5%)
Mutual labels:  spider
learning spider
这其实是一份学习笔记。包括学习记录、爬虫练习平台(网站)、自制工具脚本
Stars: ✭ 54 (-15.62%)
Mutual labels:  spider
SpiderDemo
爬虫Demo,基于Python实现
Stars: ✭ 56 (-12.5%)
Mutual labels:  spider
Spydan
A web spider for shodan.io without using the Developer API.
Stars: ✭ 30 (-53.12%)
Mutual labels:  spider
rb-spider
基于 RabbitMQ 中间件的爬虫的 Ruby 实现 [Developing]
Stars: ✭ 13 (-79.69%)
Mutual labels:  spider
V2EX Spider
V2EX爬虫
Stars: ✭ 21 (-67.19%)
Mutual labels:  spider
araneid
一个基于Glang语言开发的站群系统(蜘蛛池系统)
Stars: ✭ 25 (-60.94%)
Mutual labels:  spider
Scrapy-Spiders
一个基于Scrapy的数据采集爬虫代码库
Stars: ✭ 34 (-46.87%)
Mutual labels:  spider

L-Spider

A DHT Spider allows you to sniff the torrents and magnets.You can download what the script sniffed via magnets or torrents directly.

一个DHT爬虫,允许你嗅探种子和磁力链接。你可以通过磁力链接或种子文件直接下载资源。

Usage

./dht_spider.py [option]
[-s]: This option will not storage any file on your computer.Just print the informations on terminal.
[-s]: 此选项将不会在您的计算机上存储任何文件。只会在终端上输出信息。

[-p:filename]: Where you want to storage magnets.
[-p:filename]: 你想存储磁力链接的位置。

[-h]: Print this help and exit.
[-h]: 输出此帮助并退出。

[-t:thread num]: How many thread to get the torrents metadata.
[-t:thread num]: 解析种子元数据的线程数。

[-b:(0|1)]: 0-Do not save the torrent file. 1-Save the torrent file.
[-b:(0|1)]: 0-不要存储种子文件。 1-存储种子文件。

When you get the magnet or torrent file.You should add the one of them into the Bittorrent Client.If few time later,there still haven't got any node.You should add the sender's IP and port to be a peer(Normally,you can find sender's information in magnets file or terminal logs).Then,the file will begin to download.

当你获得了磁力链接或者种子文件。你必须添加两者之一到BT客户端中。如果几分钟后,仍然没有任何节点。你需要将发送者的IP和端口添加为对等连接(通常情况下,你可以在magnets文件或终端日志中找到发送者的信息)。然后,文件就会开始下载。

Tips

  1. If you use the same filename when you run the script again,the script will not storage or display the storaged magnet and torrent.
    如果你在第二次运行脚本时使用了相同的filename,脚本将不会再次显示或存储已存储的磁力链接和种子文件。

  2. The script will check the info's infohash and announce's token automatically.
    脚本会自动验证info字段的infohash以及announce的令牌。

  3. The default option is ./dht_spider -p:hash.log -t:100 -b:1.
    默认的选项是./dht_spider -p:hash.log -t:100 -b:1

Principle

DHT Network theory and how to make a DHT Spider
DHT网络详解与DHT爬虫编写指南

Thanks

This project are using following articles and projects:
本项目的诞生离不开下面的文章/项目:

Kademlia、DHT、KRPC、BitTorrent 协议、DHT Sniffer(引用了BEP_0009协议的实现并对其进行错误的改正与改进)
simDHT(引用了get_peer,find_node,announce_peer的实现,并进行重新封装,实现多线程)

License

This project is using AGPL-3.0+
本项目使用AGPL 3.0或更新版本的协议。

Note that the project description data, including the texts, logos, images, and/or trademarks, for each open source project belongs to its rightful owner. If you wish to add or remove any projects, please contact us at [email protected].