数据挖掘技术及其在电力系统中的应用_廖志伟

第年卷月第日期电力系统自动化00i50i2001tttt数据挖掘技术及其在电力系统中的应用廖志伟孙雅明(天津大学电气自动化与能源工程学院天津30。。7)2摘要介绍了数据挖掘技术的发展概况实现方法及其在各领域中的主要应用情况全面综述了国内外数据挖掘技术在电力系统中的应用动态展望了其今后的发展趋势:关键词:电力系统:;数据挖掘;;知识发现;人工智能中图分类号TM76;TP18TP311130引言随着20世纪计算机的迅猛发展人类正在步人信息社会信息技术的浪潮使我们能够获取存储处理和显示的信息量剧增对电力行业来说随着数其在各行业中的成功应用和开发工具全面综述和分析了国内外数据挖掘技术在电力系统中的应用并提出了存在的问题和今后的发展趋势,数据挖掘的基本知识l[.,]卜s字化技术在电力系统中的广泛应用如开关设备继电保护和实时控制的数字化各类相互独立的监控系统地理信息系统和管理信息系统等为数众多规模庞大而类型不一的数据库的投运电力系统中产生了正在以指数速度增长的数据展现在运行人员数据挖掘(DM)就是指从数据中提取隐含在其中人们事先未知的但又是潜在有用的信息和知识并将其表示成最终能被人理解的模式的高级过程和决策者面前的已不是局限于本部门本单位和本行业的庞大数据库而是浩瀚无垠的信息海洋不但能够从大量不完全有噪声模糊随机的数据中学习已有的知识而且能够发现未知的新知DM针对上述情况如何对数据与信息快速有效地进行分析加工提炼以获取所需系统的有用知识并发挥其作用从而进一步把各个信息孤岛相互汇集成为决策辅助信息系统更好地保证所需系统的经济安全运行已成为电力行业面临的关键间题之一oeediseoveryin数据库知识发现(knwldg2database缩写为KDD)[〕的核心技术数据挖识得到的知识是显式的既能为人所理解又便于存储和应用因此从一开始就得到广泛的重视也有学者称之为数据库知识发现(KDD)它是指从数据库中发现有用知识的过程它更强调DM是与数据库密切相关“”的出发点是代替专家从大量的数据中挖掘出隐含于其中的知识它使数据存储技术进人了一DM,(taamining缩写为DM)是近年来国际上较为掘d活跃的研究领域是人工智能与数据库技术相结合—个更高级的阶段它不仅利用了数据库的存储功能“”;对历史数据进行查询和遍历能回答什么并且能够找出历史数据之间的潜在联系挖掘出其背后隐藏着的许多重要信息(这些信息是关于数据的整体特征的描述及对发展趋势的预测在决策生成过程中具有重要的参考价值)从而可很好地支持人们的“”决策能回答为什么DM所能发现的知识可以划分为如下几种知识模型aeassifymodel)通过对已知类别分类模型(l的个体进行归纳提取出能代表群体共同的特征属性即分类模式的产物它应用一些专门的算法从数据中抽取出有效的模式能从大量数据中发现潜在规律以提取有用知识以数据库人工智能以及统计等学科为理论noeescovery基础的数据挖掘和知识发现(kwldgdi:缩写为工业领域中已得到了广泛的应用显示出强大的生命力面对电力系统中迅速膨胀的数据信息量根据电力系统安全性经济性的要求有关研究人员已开KD)在商业:,b回归模型(regressionmodel):能用所分析始研究将数据挖掘技术引人电力系统数据库中的数[一5〕据分析a并取得了一些成功的经验本文简述了数据挖掘技术发展概况及其所采用的算法介绍了收稿日期20010221对象属性的历史数据预测未来趋势:ceseresimodel)能用已时间序列模型(tim有的数据序列预测未来与回归模型相比时间序列模型更强调考虑时间特性尤其要考虑时间周期的层次如日星期月等有时还要考虑日历的影响国家自然科学基金资助项目(59877016)如节假日等综述廖志伟等数据挖掘技术及其在电力系统中的应用是将一个群体分成多个类使同类个体尽可能相似而不同类个体差异尽可能大与分类模型不同的是聚类模型属于聚类模型无导师学习过程ea关联模型(是模仿生物进化的一类计算方法的统称包括遗传算法(GA)遗传编程(GP)进化策略(ES)进化规划(EP)它们大多具有以下特点进化计算是在适应度函数约束下的智能化搜索在目标函数为EC)::反映事物之间依赖或关联的知识称为关联规则关联规则的一:。。般形式是如果A发生则B有%的可能发生nssoeiatiomodel):通过多次迭代逐步逼近目标由于进化计算一般都采用了杂交变(适应度函数)驱动下优胜劣汰”“称为关联规则的可信度seueeefmodel)与关联模型很序列模型(qn相似不同的是序列模型的对象是在时域分布的发现的规则也与先后顺序有关所有以上的知识都可在不同的概念层次上被发现随着概念树的提升从微观到中观再到宏观以满足不同用户不同层次决策的需要DM的对象是某一专业领域中积累的数据其过程是一个人机交互多次反复的过程挖掘的结果要用于该专业因此DM的整个过程都离不开应用领域的专业知识属应用需求推动下跨学科发展的产物异等操作扩大了搜索范围因此其能逼近全局最优解且其具有框架式的算法结构一般只要完成编码:和适应度函数选择其余的遗传杂交变异等操作都可以自动完成bdig基于事例的推理方法(:缩写为CBR)该方法的思路非常简单当预测未来情况或进行正确决策时系统寻找与现有情况相类eeaseasereasonn似的事例并选择最佳的相同的解决方案这种方法能用于很多问题求解并获得好的结果其缺点是系统不能生成汇总过去经验的模块或规则即无继承性tthghy)该理论是一粗糙集理论(种研究不精确不确定性知识的数学工具为DMfrouseeor:2数据挖掘的几种主要算法〔26幻提供了一种新的方法和工具这是因为①由于DM研究的实施对象多为关系型数据库关系表可被看:DM是人工智能与数据库技术相结合的产物做为粗糙集理论中的决策表它为粗糙集的应用提供了方便②在客观事物中的规则有确定性的和不确定性的从数据库中发现不确定性的知识为粗糙它的许多方法来源于机器学习因此机器学习模式识别人工智能领域的常规技术如聚类;(elustering)决策树(deeisiontree)统计等方法经过改进后均可用于DM对于不同的系统DM需要采用不同的技术方法和手段大致可归纳为下列几种类型;集方法提供了用武之地③从数据中发现异常排除KDD过程中的噪声干扰也是粗糙集的优势;④运用基于传统数理统计等数学工具的方法应用数学工具或专业知识进行相关分析回归分析及因a:粗糙集方法实现KDD的算法它有利于并行执行能极大地提高发现效率对于从大规模数据库中的KDD的研究是极为重要的;⑤在DM中前述的其他子分析等b如在应用系统中对模型的分析从简单的趋向分析发展为基于高深数学的分形理论等算法如神经网络方法不能自动选择合适的属性集而粗糙集方法能进行预处理滤去多余属性以;提高发现效率⑥粗糙集方法要比模糊集或神经网人工神经网络(ANN)技术神经元网络(NN)技术是属于软计算(softcomputing)领域内的一种重要方法在DM(KDD)的应用方面当需要从复杂或不精确数据中导出概念和确定趋向比较困难:络方法在获得决策规则和推理过程方面更易于证实和检测J`时利用NN技术特别有效经过训练后的NN可以“”被想像成具有某种专门知识的专家因此可以像合人一样从经验中学习其缺点是NN的知识殊取过”程是一个黑箱系统受训后的NN所代表的预测模型不具有透明性:c决策树在知识工程领域决策树是一种简单的知识表示方法它将事例逐步分类成代表不同的类别由于分类规则比较直观因而较易于理解在机器获取领域内已研制出许多实施决策树的有效算法如ID3及其改进算法等但该方法仅限于分“经授权代理ONX实时操作系统提供实时与嵌入式系统软件解决方案详情请与我公司联系T66T:1(010)望阳7951:。E一mial:Hxhliu@ledaint6gkkC侧rnnc「以103(0)6匹旧铝1Pt:/~leadinteg~一nc0地址:北京市海淀区上地七街国际科技创业园12035类任务d邮编:10085evoul进化计算(tionaryeomputation缩写电上述系玩4自动化bDM技术由于篇幅所限不能一一详述如长期以来在数理统计分析人工智能和知识工程数据挖掘技术在电力系统中的应用概述方面的研究提供了种类繁多特性各异的手段和方法在DM开发研究中可根据不同任务来选择使用同时近年来软计算和处理不确定信息方法的研究也促进了DM(KDD)技术向更深层次发展随着电力系统中数字化技术的广泛应用为了保证在市场经济环境下系统能安全可靠运行各种管理信息系统(MIS)地理信息系统(GIS)电力市I)S以及电网场所需的开放访间同时信息系统(OAS运行的实时信息系统等在电力系统中的广泛应用3数据挖掘的发展及开发工具概述〔l0,“〕自从1989年8月第1次DM(KDD)专题讨论会在美国底特律举行国际DM年会(1993年改为年会)参加会议人数从1989年研讨会的30人增加1993年IEEE的Knowledge到1999年的600人anneerngtandi率先出版了KDD专刊随玩Egi后各类KDD会议研讨会纷纷涌现许多领域的国际会议也将KDD列为专题目前DM技术在货篮数据(basketdata)分析保险业务金融风险预测产品产量和质量分析分tere子生物学基因工程研究Innt站点访问模式发现以及信息搜索和分类等许多领域得到了成功的应用技术日益发展的同时许多DM的商业软件工具也逐渐问世特别是90年代中期以来许多软件开发商开发了名目繁多的DM和KDD工具和软件DM和KDD成为近年来软件开发市场的热点已不断出现成套软件和系统并开始朝智能化整体解决方案发展:DM工具主要分为2类特定领域的DM工具和通用型的DM工具特定领域的DM工具是针对某个特定领域的问题提供解决方案在设计算法时充分考虑到数据需求的特殊性并进行优化已开发的特定领域的DM工具例如IBM公司的AdvaneedSeout系统针对NBA的数据帮助教练优化战术组合;加州理工学院喷气推进实验室与天文科学家合作开发的;SKICAT系统帮助天文学家发现遥远的类星体芬兰赫尔辛基大学计算机科学系开发的TASA帮助预测网络通信中的警报特定领域的DM工具针对性比较强往往采用特殊的算法处理特殊的数据实现特殊的目的从而发现知识的可靠程度也较高通用型的DM工具不区分具体数据的含义采用通用的挖掘算法处理常见的数据类型例如IBM公司Almaden研究中心开发的QUEST系统SGI公司开发的Mineset系统加拿大SimonrFarser大学开发的DBMien系统通用的DM工具可以实现多种模式的挖掘挖掘什么用什么来挖掘在DM产生了大量数据用传统的统计分析手段已难以满足要求若需要发现更深层次的规律并保证系统运行的经济性安全性和可靠性还必须提供更快更有效的决策支持而专家系统靠人工获取知识这一“”瓶颈问题在与日俱增的数据洪流面前显得更加无能但恰恰是这些数据从各方面各层次和各环节详细和深入地描述了系统本身在各种条件和情况下的属性为DM的广泛应用创造了必要的条件在电力系统中用DM(KDD)技术来完成的决策任务可归纳为以下几方面`2a.DM技术用于设备运行状态的监视4[,〕系统运行人员借助基于状态监控和预诊断技术的综合智能系统对电力系统设备的使用情况进行扫描发现问题可及时地安排电力设备检修延长了电力设备使用寿命降低了检修成本并保证了系统的高可靠性如在发电厂中建立一个针对2个发电机组的运行信息系统通过关系数据库与神经网络等技术相结合DM技术可自动发现某些不正常的数据分布暴露运行中的异常变化和各种因素协助检修工程师迅速找出问题发生的范围并采用可视化界面查询机组运行情况及时检修和采取对策bDM技术用于决策支持和控制如在常规的电力系统运行模式下需要依赖经验丰富的专家一旦电力系统发生故障系统中保护装置的动作信息自动传递给调度中心调度员则需要根据经验从这些信息中判断出故障原因和故障发生的具体位置由此来实施具体的故障隔离和恢复处理为了减少损失要求在极短时间内完成对调度员的压力很n数据流组成的数据大因任何人面对200个/mi表都不可能进行有效处理这种故障处理模式已无法适应特别在信息流量庞大的今天基于粗糙集的’`〕DM方法具有强定性分析能力1[3能从给定问题:的数据分析通过不可分辨关系和不可分辨类确定给定问题的近似解从信息表中去除冗余属性获取该间题的内在规律即属性约简并能估计某一属性的重要程度得到分类规则的能力因此DM可将都由用户根据自己的应用需求来选择每一种状态的故障特征提取出来将其作为调度人员判断电力系统处于何种状态和如何快速做出故障处理和决策的有力工具c各国的电力部门都在进行结构改革引进竞争性的市场机制是发展的大方向和必然趋势电网互联和电力市场的发展导致电力系统的动态行为越综述廖志伟等数据挖掘技术及其在电力系统中的应用来越复杂在线安全评估不可能用单个指标来全面衡量系统的安全性而应该用各个专门模块来分析安全稳定的各个方面后再获得综合评价以提供全5结语面的安全评估s[力l一`7〕利用模糊决策树的自动推理能根据计算机仿真系统和随机采样所给出的本文简要介绍了数据挖掘(DM)技术的发展DM(KDD)正越来越引起电力系统研究人员的关注并用它解决现代大规模电力系统遇到的新难题各种情况下的相关数据推导出确切综合的相关信息将其转化为更明确更适合于决策分析的形式表达出来这样就可将基于计算机的系统安全评估仿真系统中的逐案搜索法转化为电力系统安全知识域这样通过使用这些知识(决策树基于规则的专随着电力市场运作的深入和完善经济运行形式分析安全性和可靠性分析的全方位的协调等要求将越来越显示出DM在电力系统应用中不可忽视的作用加强DM领域的研究工作是科学研究本身和时代发展的必然趋势家系统统计或神经网络逼近)将其用于实时系统分析或离线的仿真训练可使运行人员更深人地进行系统动态安全性分析并得到更准确的紧急控制和恢复策略dDM可用于负荷预测和电力用户的特征提取在DM中的特征提取指通过对已知类别的个体进行归纳提取能代表群体的特征属性使每个事例映射到某种离散类别之一即分类模式在激烈的电力市场竞争机制下任何电力公司必须制定出合理的经济模型及具有竞争力的实时电价表对电力用户准确分析是有极重要价值的只有将市场分成有意义的群组和分析出用户的特点并能预测出短期市场需要及长期价格预测方法才能协助市场经理和业务执行人员更好地制定出有益的决策和设计新的市场运作而电力用户的多样性及随机性用常规的算法很难划分用户群组和分析出用户特点的目标用时间序列模型使用已有的数据序列进行预测[叼用自适应决策树对存储在数据库中的s负荷l参考文献1JChenMwiSHanJWaYutaPaseSDaPerstaMiningAnOTvervierfomonaDnobePeetveiIEEEeerransaetonsKwledgandDataEngining19968(6):866~883a2西安交通大学诊断与控制研究所(DiResearegnosisandControlhInsttuiteofXianJiaotongUeaniversity)知识工wledge程的应用Engineeringdiagn3aaMdosisS—f—djx从数据到知识(AropplitionofKenomenDatatoKnowledg)http://nsstueu200008nSonWrKPowBoerllingSyserKsEInApplieatio:offdDataoMiningftemProceedingloan1997EIEECanadianConefreneeonEleetrieaComp403~4uterEngineering(CCECE97)gaaCanada1997406saOrdiereInfoorMtioner`JsorteFBenlloAPlaetalOperProsationalmSyteminPowerntInoneeessdingsftheIEEEInCyberunetrternationalCotfereneeSytemtMan工andiesaComPuoationalCyberneieand的用电记录季节气候和其他5个用户每0一些相关的属性进行聚类分析不仅划分了用户群00shSim5lationOlndta(USA)na19973285~3288reSteeleDisJAyneoMDldesJRDAyCinKhenowledgtreeovereringinDaeerbasAPPlieationstEleeietal组行为模式及其负荷要求情况制定出合适的收费表而且分析出用户与其他属性相关联的一些特点PowEingDoemainIEEColloquium(压ges)1997(340)6与之类似目标可运用具有自组织的khennNN和模糊逻辑相结合或用关联规则对客户的模式和用电需求进行划分这样可预测出客户使用的模式从而改进发电管理等并防止电价冲击对电力系统安全性造成冲击增加自身的竞争力显然随着电力系统朝着电网互联和电力市场方向发展在分析场景和约束条件的时候引人了许多新的不确定因素面对已拥有大量的充足的(即能够充分表征系统特性)相关数据DM技术突破了常规数据库的简单检索查询调用而是能对这些数ooJiawTeeaueinHeeMihlinKDaFtaMiningnCityoneeptsadnanhiqfrnayonuesSimonrsraserUiversMorgK7nnPublishen2000nMiinFugjiansDatagTasksTeehniqu:esandAPPlieatio8FeIEEEPotentialsan199716(4)18~20DiseoveryyadUMSesDataoutMoiningtadKnowledgxeyaMkingnsefDaIEEEEpert(IntelligentSy9stem)199611(5)20一25ogoi高毅龙(GaYfn)数据挖掘及其在工程诊断中的应aaso用〔博士学位论文〕(玩tMiningdnItApplieatintoEngineeringiDagnosisXiDoanetoralDissertation)西安西据进行微观中观乃至宏观的统计分析综合和推理以指导实际问题的求解发现事件间的相互关联对未来的活动进行预测这为决策者和运行人员安交通大学(Xi10anJiaotongUniversity)2000nMinire王Tteehnvee军(WiqueangJun)数据挖掘技术(Datage)http//www/daenuoareleom八eehtsn/d提供了一个保证系统运行经济性和安全性的有力工具hiw/Data/Houseetaewhouse14hmlant199911郑纬民黄刚(Zh嗯WiminesHuangGg)数据挖an掘工具及其选择(ThToolChoiee)计算机世界(ChinaofDataMininworgdTheirComputerld)19990566电奄l~)(C10n力系系玩tna自月16动WSe化n31CihetetekelLMyaehineLearnentingApproaehtestotePwoelligrideieglvSwTObainankEtMiningTOPtimizeehniquoeshePerformThermaHoggaBWerUonseorfDaaSysmSeemnsuritAsesessmIEEEExper(InentneeMitoingd17syeo)1997L12(3)60~72atonifslPowPlantIEEWPrChekelLbreveleenoCerTSysgrotignonMetalColloquium(DigeZhant)1998(434)babilistieDesigntrofPowteaemSpeeialStabilitytgQHgnanZXWenF5Syst仑oANewseApponroaehforontrolsColEnginenerniPriee19997(2)FaultTheor以yaosisinPowProeeeerBsamtdRoughtSeat183~19428Indingsneesfheer4thIntertenaionlPittBDTeeKirtoonseheoaoD5ApplieationofDadingtsanMiingConefreneeonanAdvainePowS”mControlhniquesLdProfilingerInyProoeeeofIEEEnsOpKeration:dMAleana罗mnt(APSCOM97)AlvesHongConefreneePwIdnFerustrCmp1999zuterApplieatioonrg1997noeres597~602xan(PICA99)Califorrnia(USA)nan131~136osaGeofeeonPowamefLTdrePaD5Classiifueatoni29RodriguezOtizeGldetEspinVTeeRamuesosSystemOPrspertionsPointoaUsingRoghSeionatNiembroClassGEtaUsingaDaMininghniqtooThniquInonoeeedingftheIEEEInterrnetnatlifyannergyDemsandInternational:JournalfCreneeSytemsMAanndaCybeiesBijingeoPowerdEnergySytems199919(2)168~17219961898~1903OBDeyeenXneeWhnkelLdtutomtienanIndutoetonifFuSyzzy拳志伟男博士研究生研究方向为电力系统智能撞制和故降诊断isioTreesanItsFuAPPlieatiozzPowteerstemSeeurity102(1)AssessmenySetsdSysms1999孙稚明女教授博士生导师长期从事电力系统智能3~19控制和故障识别变电站和配电网的综合自动化研究工作DATAMININGTECHNOLOGYANDITSAPPLICATIONONPOLiao(TianvjinUinenWERSYSTEMZ丙iersewiSunnaYtngm滋ityTiajinenta300072ionureChineta)aneA加trsucart:This5papaerinttrodueeserthesdevelopmystetaneheimplemdamdhoddntthe5aapplieationofdataminingadnmami吮sitsropplieaioninpowtemathmobroadItsfutevelopm01lsoofreeastedThiPs:joeet15supPteortedbyNatonailNknaturalSieneeFoundationofChitenaN(59877016)Keywordpwersysms:datamining:owledgediseovery:artifieialinlligenee单色广告索引湖南紫光测控有限公司上海友邦电气有限公司(文前1)(文后1)西南自动化研究所传感技术部2。。1(文后19)国际工业控制与自动化技术展览会(文后20)(文后21)(文后22)(文后23)(文后23)武汉波士电子公司杭州奥能电源设备有限公司北京天讯达电信技术有限公司北京纽曼伟业科技有限公司(文后2文后3)(文后4)新创数据通信技术有限公司(文后5)(文后6)珠海派诺电子有限公司杭州正远通信工程开发有限公司深圳市英微特电子技术有限公司杭州三安电源科技有限公司新民科技发展有限公司莱芜市科学技术开发中心深圳市科奥信电源技术有限公司武汉海通光电技术有限责任公司(文后7)(文后8)(文后24)(文后24)(文后25)(文后25)(文后26)(文后9)(文后1仇文后11)(文后12)(文后13)丹东华通测控有限公司合肥阳光电源有限公司北京三博中自科技有限公司深圳市丰创电子有限公司上海复华保护神信息技术有限公司深圳市普瑞康自动化系统有限公司北京新兴博思达科贸有限公司北京康吉森自动化设备技术有限责任公司(文后27)(文后28)(第63页)(第72页)(文后14)中日合资上海三基电子工业有限公司北京领先实时科技有限责任公司(文后15)武汉联兴电力电子有限公司1(文后6)深圳圣斯尔电子技术有限公司(文后17北京碧海岸科技发展有限公司)2001西部国际电力设备产品交流展示会暨电力技术研讨会(文后18)珠海万力达电气有限公司