专利名称：一种基于Web的通用Spark任务提交系统及方法专利类型：发明专利
发明人：贺群雄,匡岳锋,胡鹏,傅苗,曹林,刘湘申请号：CN202010408018.0申请日：20200514公开号：CN111625269A公开日：20200904
摘要：本发明公开一种基于Web的通用Spark任务提交系统及方法，该系统包括Web界面模块、提交服务模块、Spark任务上传模块、数据库；Web界面模块用于页面展示以及与数据库数据交互，将用户配置的Spark任务提交信息保存至数据库，以及数据库中的任务处理监控信息进行展示；提交服务模块与数据库数据交互，读取存储在数据库中的Spark任务提交信息并生成提交命令；Spark任务上传模块与提交服务模块、数据库数据交互，在获取提交命令命令后，读取Spark任务提交信息并生成对应的Spark任务的jar包上传至Spark集群，同时将任务处理监控信息保存至数据库。开发者可以不用编写代码和提交任务，只需要在Web上配置好对应的数据处理流程和任务运行参数，便可以自动在spark集群上提交改任务。
申请人：中电工业互联网有限公司
地址：410000 湖南省长沙市长沙高新开发区尖山路39号长沙中电软件园一期9栋201室
国籍：CN
代理机构：长沙国科天河知识产权代理有限公司
代理人：邱轶
更多信息请下载全文后查看
因篇幅问题不能全部显示，请点此查看更多更全内容