Crawler4Caida
Repository:Crawler4Caida
Author:Wayne Yu
Date: 19 Oct 2018
Description:一个致力于用Python提高部门工作自动化水平的程序库！（包括数据采集、办公自动化、辅助研究、图网络、复杂系统、3D可视化等）
一个关于CAIDA网络研究数据爬取的爬虫程序库，包括全球AS、DNS、IPV4/IPV6等。--2018.10.19 By Wayne Yu
始于CAIDA，而不止于CAIDA！未来此库就会有更多的可能性Using Python3.X！---2019.04.05 By Wayne Yu
懒得再去建库了，入职后所有的Python程序都扔这里面了。--2019.05.08 By Wayne Yu
修改仓库的Description为：一个致力于用Python提高部门工作自动化水平的程序库！（包括网络数据爬取、办公自动化、辅助研究等）--- 2019.05.09 By Wayne Yu
尝试着坚持每天Github，坚持每天写点程序，老本行不能丢！今天是Github连击第4天，加油！---2019..05.11 By Wayne Yu
每天总得写点代码，找一些有意思的事情做！---2019.05.24 By Wayne Yu
今天要完成两个程序，并进一步梳理接下来的Coding计划。---2019.06.17 By Wayne Yu
博学之，审问之，慎思之，明辨之，笃行之！---2019.06.20 By Wayne Yu
最近一段时间一直在忙全球互联网网络地图构建与生成方法的课题，已取得阶段性进展!---2019.12.24 By Wayne Yu
经过一段时间的思考，昨天确定了以互联网网络（专业领域/Graph）+复杂系统（普适规律/Complex System）为研究方向的总体思路！---2020.01.14 By Wayne YU
修改仓库的Description为：一个致力于用Python提高部门工作自动化水平的程序库！（包括数据采集、办公自动化、辅助研究、图网络、复杂系统等)---2020.01.14 By Wayne YU
庚子鼠年，开工大吉，愿武汉新型肺炎疫情早日消失！---20200203 By Wayne YU
初步适应武汉新冠疫情期间的"闭关"工作！---20200210 By Wayne YU
把握好心态，稳步向前！--20200220 By Wayne YU
经过一段时间酝酿，最终确定了大规模网络3D可视化新思路，以辅助复杂网络理论的实践。---20200315 By Wayne YU
最近开始折腾OPNET的网络仿真，Github的频率可能会低一些。---20200319 By Wayne YU
明天开始要搞个大事情，有意思的事情，先做计划书。---20200324 By Wayne YU
静静写代码，倒也能平复我浮躁的情绪！ ---20200331 By Wayne YU
人生不可太着急，要循序渐进。做好可控的事，适应不可控的事，方可活的洒脱。---20200422 By Wayne YU
五一假期余额不足，且行且珍惜！---20200504 By Wayne YU
集中处理下地图基础课题第二篇论文的算法调优工作！--20200610 By Wayne YU
地图基础课题第一篇论文已于20200616被录用（SCI），近期开始处理地图基础课题第二篇论文输出任务。---20200619 By Wayne YU
前两天小A的Win10彻底崩了，索性重装，所有环境重配。这是重装后的第一次Git！---20200713 By Wenyan YU
在云端的人工智能可以有无限可能！---20200716 By Wenyan YU
科学研究和实际应用总会有一定差距，要学会如何去平衡二者。---20200727 By Wenyan YU
生活之事不如意十之八九，明白自己想要的是什么，莫要成为情绪的奴隶。---20200823 By Wenyan YU
如汪滔之于大疆一般，用心去打磨一款极致的技术产品。---20200824 By Wenyan YU
当用力之时，就尽管去用力，莫要以为轻松的就能过好这一生。---20200913 By Wenyan YU
尽快完成地图基础课题第二篇论文输出任务吧。---20200923 By Wenyan YU
没有所谓最好的状态，人生的每一天都需珍惜，努力前行，不负韶华。---20201105 By Wenyan YU
临近年关，2020即将结束，发生了太多太多事，有点想哭。---20201204 By Wenyan YU
再苦再累，静下来心来，好好面对，追寻内心的选择。---20201206 By Wenyan YU
静下来，慢下来，立即行动。---20201208 By Wenyan YU
技术的精进一定是在解决实际问题中体现价值。---20201210 By Wenyan YU
2020年最后一天了，要加油呀，既不可妄自尊大，也不可妄自菲薄。---20201231 By Wenyan YU
逐步适应VSCODE的编程环境，2021年要试着和自己和解。---20210112 By Wenyan YU
重回Pycharm怀抱，写Python感觉还是PyCharm来的舒服，VSCODE用着还是不习惯。---20210222 By Wenyan YU
知海拾荒，始于网络而不止于网络。---20210402 By Wenyan YU
拖延是焦虑的根源，而行动是治疗焦虑的良药，兴趣是人生持续向前的原动力。---20210618 By Wenyan YU
天下难事，必作于易；天下大事，必作于细。莫要好高骛远，踏实前行为好！---20210718 By Wenyan YU
起承转合，锻炼结构性思维，写作其实并不难。---20210720 By Wenyan YU
坚持真理、坚守理想，践行初心、担当使命，不怕牺牲、英勇斗争，对党忠诚、不负人民。---20210903 By Wenyan YU
人生意义在于不断的选择，拒绝完美，拒绝拖延，崇尚科学。 ---20210913 By Wenyan YU
但愿人长久，千里共婵娟，中秋佳节快乐呀！ ---20210921 By Wenyan YU
只要思想不滑坡，办法总比问题多。 ---20211013 By Wenyan YU
积极主动，轻装上阵，把手头的事情做好做漂亮，做个靠谱的人。 ---20211021 By Wenyan YU
昨日开启”正念禅修“，尝试着体验”存在模式“，为自己的人生打开一扇新的窗户。 ---20211123 By Wenyan YU
2022年，注定是深刻变革的一年，我应携”正念禅修“之精髓，努力完成人生的漂亮转折。---20220104 By Wenyan YU
隔几日不编程，生活便少了很多的乐趣，目前的编程还比较零散，2022应当围绕一个网络产品不断的迭代更新。---20220111 By Wenyan YU
编程有趣，但目前尚缺乏系统性的工具开发和维护。---20220113 By Wenyan YU
破局之年也勿忘诗意的栖居。---20220310 By Wenyan YU
再读保罗.格雷厄姆的《黑客与画家》，去体会”什么是黑客精神？“---20220418 By Wenyan YU
克服演讲障碍的不二法则，大声练习，完整实践！---20220505 By Wenyan YU
开启微信读书新阶段。---20220630 By Wenyan YU
纳瓦尔：“幸福=健康+财富+良好的人际关系”，简单明了，很好。---20220714 By Wenyan YU
纳瓦尔：”健康=锻炼+饮食+睡眠“，要重点关注。---20220715 By Wenyan YU
系统梳理个人原则，以原则处世，人生之路才能走的更加从容不迫。---20220718 By Wenyan YU
技术以立身，读书以修身。---20220725 By Wenyan YU
从眷15到眷7，站在这个新的起点，去寻找更广阔的世界。---20220829 By Wenyan YU
人的思维是集体的。---20220830 By Wenyan YU
回首向来萧瑟处，归去，也无风雨也无晴。---20220918 By Wenyan YU
付出不亚于任何人的努力，把人生中少数那么几件事情做到极致。---20220929 By Wenyan YU
无善无恶心之本，有善有恶意之动；知善知恶是良知，为善去恶是格物。---20221013 By Wenyan YU
行胜于言。---20221116 By Wenyan YU
走一步，再走一步。---20221126 By Wenyan YU
遇事不妄下结论，让子弹飞一会儿。---20221127 By Wenyan YU
关于CAIDA
Founded in 1997, the Center for Applied Internet Data Analysis (CAIDA) conducts network research and builds research infrastructure to support large-scale data collection, curation, and data distribution to the scientific research community.
CAIDA（the Center for Applied Internet Data Analysis），中文全称为互联网应用数据分析中心，引导网络研究并构建网络研究基础设施，为大规模的数据采集、管理，并将数据分发至科学研究社区提供支撑。
详细信息可以通过这个2页的PDF获取：下载
CAIDA的使命
1）为全球互联网基础设施、行为、使用和演化提供宏观视角，
2）建立一个可以获取、分析以及共享数据的写作平台，
3）提高互联网科学的整体性，
4）为科学、技术以及通信公共政策提供信息。
About CAIDA还有:
Annual Report、
Program Plan、
Institutional Review Board（IRB）Approval Process 、
About CAIDA Staff。
为什么要建Crawler4Caida开源库
因部门工作内容需要，在研究的过程中会用到CAIDA数据中心中的网络数据，并对其进行一定处理分析，按需求提取结果。在编写爬虫的过程中发现，虽然每次具体的需求不一，但是抓取数据的思路大同小异。
为提供高工作效率，减少不必要开发成本，特建此库，把以往编写Caida网络数据爬虫记录下来，并通过后期的程序重构和新需求的加入，以不断充实此开源库。
Crawler4Caida库结构
automation --- 按照任务以文件夹的形式进行管理源程序
crawler --- 放置按需求编写的爬虫程序，一般是以单个文件的形式存档
crawler4caida --- 不定期更新系统化的CAIDA数据的分析程序，不限于AS号、DNS、IPv4/IPv6、网间互联互通等内容
refactoring --- 放置重构之后的爬虫程序，一般完成时间较晚
requirements.md ---需求记录文档
README.md ---库介绍文档
MORE
更多的信息可以访问，云中布衣搜索Crawler4Caida进行留言讨论。