[01135925]河南省外贸大数据分析平台

1、针对本平台中集海关数据、商务部数据、省商务厅业务数据、互联网采集数据等多方面大量异构数据处理问题以及外贸数据的日益剧增,主要采用目前流行的分布式Hadoop框架中的HDFS结合Hive数据仓库技术对数据进行存储。主要包含几个过程： 第一步：将各种数据源数据进行整理存储; 第二步：采用ETL技术对数据进行数据提取、数据清洗,创建数据仓库模型; 第三步：将各种异构数据存储到Hadoop框架中的分布式文件系统HDFS中,并使用Hive工具进行管理; 第四步：将Hive数据仓库中提供的查询功能封装成MR JOB,在Hadoop的Map/Reduce计算模型上执行,为上层应用提供数据基础。 2、针对本平台中的分析预测部分,主要采用神经网络与时间序列分析法相结合的BPNN- ARMA预测技术对平台中的进出口数据进行预测分析,为政府决策提供了更多更好的依据。主要包含两个步骤： （1）对数据变化中的线性部分选取合适的时间序列模型进行建模; （2）对剩余的非线性部分选取合适的神经网络模型进行建模。 3、作为衡量一定时期内我省进出口贸易行业发展状况的重要指标的景气度指数。本平台选用跨境贸易规模（交易额、交易量、交易企业数量、交易品种数量）和跨境贸易结构与质量（交易额相对发展指数、高新技术类产品相对发展指数、发达经济体份额）双层基础指标,并采用变异系数法（CV）与模糊层次分析法（FAHP）的主客观信息的集成方法（CV-AHP）来确定景气指数各项指标的计算权重。最终获得河南省的外贸景气度指数。 4、针对本平台中的智能分析报告自动生成部分,本平台主要采用基于构建知识库和推理机制的报告生成技术,该技术首先从政府官方网站发布的互联网统计分析报告语料库中提取重要指标,建立相应规则,并构建推理机制的知识库,然后通过知识库和跟踪推理法确定推理路线解释机制的推理机制产生推理结果,生成报告结果的各个句子,将子句组成报告的段落,最后通过语句的排版与重建以及使用JFreeChart技术插入相应的动态图表,最终构成了智能化分析报告。