All Projects → BlankerL → Dxy Covid 19 Crawler

BlankerL / Dxy Covid 19 Crawler

Licence: mit
2019新型冠状病毒疫情实时爬虫及API | COVID-19/2019-nCoV Realtime Infection Crawler and API

Programming Languages

python
139335 projects - #7 most used programming language

Projects that are alternatives of or similar to Dxy Covid 19 Crawler

Go spider
[爬虫框架 (golang)] An awesome Go concurrent Crawler(spider) framework. The crawler is flexible and modular. It can be expanded to an Individualized crawler easily or you can use the default crawl components only.
Stars: ✭ 1,745 (-6.43%)
Mutual labels:  crawler
Youtube Projects
This repository contains all the code I use in my YouTube tutorials.
Stars: ✭ 144 (-92.28%)
Mutual labels:  crawler
Th Music Video Generator
Touhou Project random music video generator/player, crawling image and video from websites to generate MV.
Stars: ✭ 146 (-92.17%)
Mutual labels:  crawler
Instagram Bot
An Instagram bot developed using the Selenium Framework
Stars: ✭ 138 (-92.6%)
Mutual labels:  crawler
Google Play Scraper
Google play scraper for Python inspired by <facundoolano/google-play-scraper>
Stars: ✭ 143 (-92.33%)
Mutual labels:  crawler
Indonesian Nlp Resources
data resource untuk NLP bahasa indonesia
Stars: ✭ 143 (-92.33%)
Mutual labels:  crawler
Zhihu Spider
一个获取知乎用户主页信息的多线程Python爬虫程序。
Stars: ✭ 137 (-92.65%)
Mutual labels:  crawler
Rendora
dynamic server-side rendering using headless Chrome to effortlessly solve the SEO problem for modern javascript websites
Stars: ✭ 1,853 (-0.64%)
Mutual labels:  crawler
Crawler China Mainland Universities
中国大陆大学列表爬虫
Stars: ✭ 143 (-92.33%)
Mutual labels:  crawler
Javpy
Enjoy driving on a Javascriptive (originally Pythonic) way to Japanese AV!
Stars: ✭ 147 (-92.12%)
Mutual labels:  crawler
Amazonbigspider
😱Full Automatic Amazon Distributed Spider | 亚马逊分布式四国际站采集选款产品|账号admin,密码adminadmin
Stars: ✭ 140 (-92.49%)
Mutual labels:  crawler
Robots Txt
Determine if a page may be crawled from robots.txt, robots meta tags and robot headers
Stars: ✭ 142 (-92.39%)
Mutual labels:  crawler
Python Dcdownloader
由Python编写的全异步实现的动漫之家(dmzj)漫画批量下载器(爬虫)
Stars: ✭ 146 (-92.17%)
Mutual labels:  crawler
Search
An Open Source Search Engine
Stars: ✭ 139 (-92.55%)
Mutual labels:  crawler
Httpcode.core
简单、易用、高效 一个有态度的开源.Net Http请求框架!可以用制作爬虫,api请求等等。
Stars: ✭ 146 (-92.17%)
Mutual labels:  crawler
Koreanewscrawler
대량의 뉴스 데이터를 수집하기 위해 만들어진 뉴스 크롤러입니다.
Stars: ✭ 138 (-92.6%)
Mutual labels:  crawler
Soksaccounts
🔥 Shadowsocks 账号爬虫
Stars: ✭ 145 (-92.23%)
Mutual labels:  crawler
Cocrawler
CoCrawler is a versatile web crawler built using modern tools and concurrency.
Stars: ✭ 148 (-92.06%)
Mutual labels:  crawler
Pachong
一些爬虫的代码
Stars: ✭ 147 (-92.12%)
Mutual labels:  crawler
Crawler
Go process used to crawl websites
Stars: ✭ 147 (-92.12%)
Mutual labels:  crawler

2019新型冠状病毒疫情实时爬虫

API Status API Call license

简体中文 | English

本项目为2019新型冠状病毒(COVID-19/2019-nCoV)疫情状况的实时爬虫,数据来源为丁香园

感谢大家对本项目的支持,为了不让爬虫泛滥占用过多流量,导致其他更有需要的用户无法及时获取到丁香园的数据,请大家减少对爬虫的部署。

我已经开放了一个API接口,其他人如果需要这份数据做其他的可视化,可以直接查看并调用API来获取数据,把丁香园的流量让给更有需要的人。

API:https://lab.isaaclin.cn/nCoV
注:

  1. API返回中英文城市名称。 更多信息可以关注Issue #61
  2. 受限于服务器带宽压力,自2020年3月19日起,API接口/nCoV/api/overall/nCoV/api/area不再返回时间序列数据,时间序列数据可以在数据仓库的json文件夹下获取。如果您调用接口时使用了latest=0参数,则需要修改请求,否则无需修改。

本项目遵循MIT开源许可,同时,若引用本API,烦请在您的项目中声明引用。

科研人员

近期多位高校师生与我联系,希望用这些数据做科研之用。然而,并非所有人都熟悉API的使用和JSON数据的处理,因此我部署了一个数据仓库,直接推送大部分统计/数据分析软件可以直接打开的csv文件,希望能够减轻各位的负担。

初衷

衷心感谢各位医疗工作者的付出和努力,苦于没有医学背景,只能通过自己的方式,让大家增强对疫情的关注,让未感染者做好更全面的防护。

项目介绍

本项目每分钟访问并爬取一次数据,储存在MongoDB中,并且保存所有历史数据的更新,希望能够在未来回溯病情时能有所帮助。

爬虫本身并不复杂,可以移步上方API,查看本爬虫能够获取到的所有信息条目

数据异常

目前发现浙江省/湖北省部分时间序列数据存在数据异常,可能的原因是丁香园数据为人工录入,某些数据可能录入错误,比如某一次爬虫获取的浙江省治愈人数为537人,数分钟后被修改回正常人数。

本项目爬虫仅从丁香园公开的数据中获取并储存数据,并不会对异常值进行判断和处理,因此如果将本数据用作科研目的,请自己对数据进行清洗。同时,我已经在Issue中开放了异常数据反馈通道,可以直接在此问题中反馈潜在的异常数据,我会定期检查并处理。

Reference

  1. 如果您仅希望通过本API在网页端实现实时数据可视化,可以参考shfshanyue/2019-ncov项目。该项目能够在网页后端每隔30分钟自动运行爬虫,获取最新数据,并渲染在前端直接返回,不会受到API数据返回速度的影响。
  2. 如果您希望使用R语言对数据进行分析,可以参考pzhaonet/ncovr项目,该项目整合通过GitHub数据仓库/API数据提取两种模式。

Research

所有研究结果均仅作为参考。

  1. yijunwang0805/YijunWang

Demo

  1. 网站:https://ncov.deepeye.tech/
    时间序列疫情地图、疫情小区及分析报告。
  2. pzhaonet/ncov
    网站:https://ncov2020.org
  3. cuihuan/2020_wuhan
    可视化效果:http://cuihuan.net/wuhan/news.html
  4. hack-fang/nCov
    可视化效果:http://yiqing.ahusmart.com/
  5. ohdarling/2019-nCoV-Charts
    可视化效果:https://2019-ncov-trends.tk/
  6. quadpixels/quadpixels.github.io
    可视化效果:https://quadpixels.github.io/
  7. lzxue/yiqingditu
    可视化效果:https://lzxue.github.io/yiqingditu/
  8. covid19viz/covid19viz.github.io
    可视化效果:https://covid19viz.github.io/
  9. biluochun/data-ncov
    可视化效果:https://biluochun.github.io/data-ncov/index.html
  10. Moyck/2019NCOV
  11. Mistletoer/NCP-historical-data-visualization-2019-nCoV-

捐赠

本项目不需要任何捐赠。

全国各地的医疗资源都处于短缺的状态。如果希望捐赠的人,请移步各个红十字会或者官方认可的捐赠平台,他们能够更加妥善地运用这笔资金,帮助更有需要的人。

祝大家一切都好。

Note that the project description data, including the texts, logos, images, and/or trademarks, for each open source project belongs to its rightful owner. If you wish to add or remove any projects, please contact us at [email protected].