专利名称：一种基于云计算的大数据ETL工具系统及应用方法专利类型：发明专利发明人：袁进波
申请号：CN201810204424.8申请日：20180313公开号：CN108595480A公开日：20180928
摘要：本发明公开了一种基于云计算的大数据ETL工具系统及应用方法，包括有数据源层、作业层和目标数据库层，作业层包括有数据传输单元，目标数据库层数据传输单元包括有数据集成模块，数据源层包括有结构化数据和非结构化数据，对于非结构化数据，数据集成模块通过MapReduce任务实现数据传输，利用MapReduce分布式批处理，能够分割数据集并创建Hadoop任务来处理每个区块，加快了数据传输速度，保证容错性；对于非结构化数据，数据集成模块，基于生产者‑消费者模式的消息队列，以流处理的方式实现数据传输。
申请人：广州市优普科技有限公司
地址：510000 广东省广州市天河区五山路246、248、250号1901自编11房
国籍：CN
代理机构：广州市越秀区哲力专利商标事务所(普通合伙)
更多信息请下载全文后查看
因篇幅问题不能全部显示，请点此查看更多更全内容