基于Scrapy框架的金融问答文本数据库建设
开发语言
Python
开发平台
Eclipse+Pydev
数据来源
-
上交所官方平台的问答系统
http://sns.sseinfo.com/qa.do -
深交所官方平台的问答系统
http://irm.cninfo.com.cn/szse/index.html -
全景网投资者关系互动平台
http://rs.p5w.net/index/company/showQuestionPage.shtml
数据库表shse_qa
mysql> CREATE TABLE IF NOT EXISTS `shse_qa`(
-> `current_time` TIMESTAMP NOT NULL,
-> `user_name` VARCHAR(100) NOT NULL,
-> `company_name` VARCHAR(100) NOT NULL,
-> `company_id` int(20) NOT NULL,
-> `question_time` VARCHAR(100) NOT NULL,
-> `question_content` text NOT NULL,
-> `answer_time` VARCHAR(100),
-> `answer_content` text
-> )ENGINE=InnoDB DEFAULT CHARSET=utf8;