GitPlanet

Cheap and reliable Node.js hosting starts at $3/month, and $1/month static HTML hosting

Created with love in Canada, visit hostnodejs.com today

Feel like to post an Ad? Learn Details
All Projects → h-j-13 → Malicious_Domain_Whois

h-j-13 / Malicious_Domain_Whois

Licence: GPL-3.0 license
🔰 非法域名挖掘与画像系统

Programming Languages

python
139335 projects - #7 most used programming language
OpenEdge ABL
179 projects
Vue
7211 projects
c
50402 projects - #5 most used programming language
java
68154 projects - #9 most used programming language
javascript
184084 projects - #8 most used programming language

Labels

whoisdomainmalicious-domainsdecision-treed

Projects that are alternatives of or similar to Malicious Domain Whois

Urlextractor
Information gathering & website reconnaissance | https://phishstats.info/
Stars: ✭ 341 (+394.2%)
Mutual labels:  whois, domain
domnibus
Access domain information via python and command line.
Stars: ✭ 16 (-76.81%)
Mutual labels:  whois, domain
Domain Tool
微信域名拦截检测、QQ域名拦截检测：http://eson.vip ，查询有缓存，如需实时查询请自行部署。
Stars: ✭ 270 (+291.3%)
Mutual labels:  whois, domain
icinga-domain-expiration-plugin
Icinga2/Nagios plugin for checking domain expiration
Stars: ✭ 24 (-65.22%)
Mutual labels:  whois, domain
Pyfunceble
The tool to check the availability or syntax of domain, IP or URL.
Stars: ✭ 143 (+107.25%)
Mutual labels:  whois, domain
Whois Parser
Go(Golang) module for domain whois information parsing.
Stars: ✭ 123 (+78.26%)
Mutual labels:  whois, domain
Funceble
[ARCHIVED] Please report to https://github.com/funilrys/PyFunceble.
Stars: ✭ 25 (-63.77%)
Mutual labels:  whois, domain
Php Whois
PHP WHOIS provides parsed and raw whois lookup of domains and ASN routes. PHP 5.4+ and 7+ compatible
Stars: ✭ 179 (+159.42%)
Mutual labels:  whois, domain
available
Domain availability checking for Golang
Stars: ✭ 30 (-56.52%)
Mutual labels:  whois, domain
Python Whois
Python module/library for retrieving WHOIS information of domains 💻❤
Stars: ✭ 128 (+85.51%)
Mutual labels:  whois, domain
Whois
Go(Golang) module for domain and ip whois information query.
Stars: ✭ 153 (+121.74%)
Mutual labels:  whois, domain
domain-monitor
Self-hosted server to monitor WHOIS records for specified domains.
Stars: ✭ 36 (-47.83%)
Mutual labels:  whois, domain
findcdn
findCDN is a tool created to help accurately identify what CDN a domain is using.
Stars: ✭ 64 (-7.25%)
Mutual labels:  domain
Android-Clean-Architecture
This is a sample movie list Android application built to demonstrate use of Clean Architecture tools. Dedicated to all Android Developers - (Kotlin, MVVM, Clean Architecture, Rx-Java, Dagger, OkHttp, Unit Testing, SOLID principles, Code Coverage)
Stars: ✭ 268 (+288.41%)
Mutual labels:  domain
cli-domain-hunt
🖥 🕵️‍♂️ A command line interface for domain-hunt
Stars: ✭ 29 (-57.97%)
Mutual labels:  whois
domainos
A laravel package for blacklisting or whitelisting specific email providers or domains
Stars: ✭ 22 (-68.12%)
Mutual labels:  domain
extract-domain
Extract domain name from an URL
Stars: ✭ 22 (-68.12%)
Mutual labels:  domain
strongs-dictionary-xml
Strong's Greek Dictionary in XML with real Greek
Stars: ✭ 65 (-5.8%)
Mutual labels:  domain
osint
Docker image for osint
Stars: ✭ 92 (+33.33%)
Mutual labels:  whois
wx-domain-test
微信域名防封系统 实时检测 自动切换域名 消息提醒
Stars: ✭ 71 (+2.9%)
Mutual labels:  domain
View All Similar Projects ➔

非法域名挖掘与画像系统


2017年第十届全国大学生信息安全大赛 参赛项目 决赛-三等奖

基于页面关联关系的非法域名分析与挖掘系统。旨在通过域名多元信息对域名进行精准画像，进而分析抽象获取非法域名相关特征，使用基于决策树的机器学习模型进行域名性质判定。通过多过程多方式进行恶意域名挖掘

Summary

系统核心功能

  • 域名评估
    • 域名性质评估
    • 非法域名可疑值量化
  • 域名画像
    • 针对单一域名多元信息画像
    • 非法域名整体态势数据分析
  • 非法域名挖掘
    • 基于WHOIS反查
    • 基于页面链接关系
    • 基于搜索引擎发现

系统实现难点

  • 海量域名及相关数据的高效与统一的存取模型
  • 域名多元关键信息的高效获取与标准化处理
  • 多维特征间静态与动态关联关系的构建
  • 非法域名关键信息提取及知识图谱构建

系统架构

数据库架构

目录说明

DataAnalysis - 数据分析,特征项抽取
DataAquire - 系统数据获取
Database - 数据库设计与架构,操作脚本
EvaluationModel - 系统域名性质判别模型
Website - 系统内容展示网站

Features

  • 基于AMPQ协议的RabbitMQ实现的高效分布式WHOIS数据获取引擎
  • 基于决策树的域名性质评估算法
  • 基尼指数融合的域名可疑性量化模型
  • 基于多维度特征关联的域名画像
  • 基于多因素融合与多过程循环的非法域名挖掘算法

Periodical achievment

  • 截至2017.7
    域名 : 1.3亿条以上
    域名WHOIS数据 : 1.1 亿条以上
    域名WHOIS服务器 : 获取全部1500余顶级域, 382个WHOIS一级服务器, 1000余个WHOIS二级服务器
    域名评估模型准确率 :89.7% （总数据3万,以8：2划分训练集与测试集）
    非法域名数量 : 135,391条记录 （系统起始5000条数据）
    域名画像 :对226,863条域名实现包括域名WHOIS信息、ip记录、多源地理位置信息、网页内容、热度趋势等方面的画像

Installation

各子模块下通过 main.py 文件运行

Contribute

哈尔滨工业大学(威海) 信息与网络安全技术研究实验室
@day-dream @carrie0307

License

GNU GENERAL PUBLIC LICENSE 3.0

Contact

Note that the project description data, including the texts, logos, images, and/or trademarks, for each open source project belongs to its rightful owner. If you wish to add or remove any projects, please contact us at [email protected].