一、多数据源数据仓库的一致性维护算法——Strobe算法的改进（论文文献综述）
马健健[1]（2019）在《基于多数据源的预测性维护系统的设计与实现》文中研究说明当今社会,随着制造业的升级以及车辆飞机等动力机械的不断发展和应用,很多企业面临持续的成本控制压力,如何有效提升机器的可用率,减少维护的成本和机器可能因为故障或者非故障造成的停机损失,成为了近年来研究的主要课题,同时有效分析根本原因也帮助生产企业从设计和制造环节上对产品做出可持续优化。产品的维护对于企业有着至关重要的作用这一点在业界已经达成了共识。广义上说维护分为修复性维护（Corrective Maintenance）,预防性维护（Preventive Maintenance）以及预测性维护（Predictive Maintenance,简称PdM）。修复性维护属于非计划性维护。预防性维护（Preventive Maintenance）也称为定期维护。这是基于时间的维护,通过定期停机检查、更换和拆卸零件,从而避免损坏和生产损失[1]。近年来随着物联网的兴起,使得机器状态信息的及时获取和分析变成了可能。新型的预测性维护（Predictive Maintenance）采用机器传感器收集的日志和产品的维护记录相结合,并使用时下流行的机器学习以及医药行业广泛使用的生存分析模型,对产品整机以及重要零部件的使用寿命进行预测,从而在故障发生前主动采取上门巡检或者更换相关零部件,以减少对应的宕机损失。预测性维护的优点:克服预防维护的盲目性,根据状态的不同采用不同的方法,减少事后维护造成的宕机时间长问题,提高设备的可用率,并且降低运行监测费用,减少维护工作量,提高经济效益。预测性维护属于前瞻性技术,然而针对数据的来源采集和解决方案的自动化各个行业有自己各自的标准,很难有统一的产品和技术用于适配不同的行业和生产线。本文通过对已有经验归纳总结基础上提出创新,设计并实现了一种有效的整合数据源,构建预测模型,进而对预测的结果进行可视化展示的端到端的解决方案。关于数据整合方面,借鉴了传统的数据仓库的搭建方式,对不同数据源进行清洗处理,通过选取特征变量构建预测模型,进而比较基于Cox Proportional Hazards和深度学习的预测方法,得出了Cox Proportional Hazards在实验条件下预测效果更好的结论。在此基础上,结合已有研究成果和相关作用机理,讨论未来改进和促进方案。本文首先从预测性维护技术概述入手,介绍了一种业内的预测性维护成熟度模型,接着介绍了预测性维护的一般流程。以故障预测模型为例,介绍了业内常见的统计学的模型比如基于Cox模型的预测,逻辑回归,支持向量机,深度学习以及基于决策树的预测模型。以关键问题分析为例,针对“预测机械设备的失败概率和可用时间”为主题提出了两种方案,本文结合了机器传感器日志和客户维保信息两种数据源进行数据整合提出对应的预测方案。（1）针对Cox PH搭建预测模型,并且将算法模型整合进Vertica数据仓库中通过R语言自定义函数进行调用分析,利用大数据的列式存储计算提升性能。（2）尝试了一种基于深度学习的生存分析框架,在基于模拟数据集的分析的基础上进行了分析和效果评估。同时结合测试用例以及基于实际项目数据进行模型准确率评估,结果表明,该预测方案比现有的基于单个数据源和传统的基于统计的预测方法更为有效。另一方面,本文引入了基于Tidal调度工具的定时任务触发,从而保证整个系统从数据加载到模型的构建再到预测结果展现保证任务连贯性和一致性。最后,在分析目前业内其他类似的预测解决方案的基础上,结合前文的预测结果分析的结论,提出了实时性流式数据接入以及模型参数动态更新等未来改进方案。
蒋国唯[2]（2016）在《数据仓库中物化视图选择和维护算法研究与改进》文中研究表明数据仓库作为一个数据集合,具有面向主题、集成、反映历史变化、相对稳定的特点,它的内容来自各种异构数据库的集成数据。数据仓库的本质是一个非常大的数据存储,但是面向主题的数据组织方式不同于普通数据库。作为决策支持数据模型的物理实现,运行之上的应用主要有联机分析处理和数据挖掘。数据仓库中的查询越发困难,是基于它庞大的数据量和复杂的结构,且即席查询耗用时间很长。物化视图技术就是为了提高查询分析效率,它的思想是把查询结果提前计算出来并以视图形式物理存储。在现实应用中,物化哪些视图需要考虑存储和查询代价以及视图维护代价等因素。本文使用多维数据格组织视图,并提出了查询维护代价模型,即满足给定存储空间限定条件下选取查询代价与维护代价之和最小的物化视图集。通过预处理算法得到候选视图集,然后根据代价模型计算出候选视图集合中视图的代价。改进了基于遗传算法的物化视图选择算法,采用一种混合策略的选择算子,并根据适应度集中程度自适应调整种群的交叉概率。和经典遗传算法比较,改进算法不仅降低了搜索视图的成本,而且还使得数据仓库的查询效率加快。物化视图虽然有效地提高了系统对用户查询响应速度,但也带来了物化视图的维护问题。物化视图中的内容是查询基础数据产生的,这些基础数据来自其他独立的异构数据源,如果数据仓库的数据源端发生变化,物化视图中的数据也应作相应改变,和原始数据保持同步。如何保证两者内容的同一性,成了数据仓库研究领域中非常关键和难以解决的技术问题。本文在分析现有常用物化视图维护算法的基础上,重点研究了基于更新频率分组的维护算法,并在此基础上改进了算法。针对每组中基础表增量的大小升序排序,并按此顺序进行物化视图的更新。该算法经实验验证提高了物化视图的维护效率。
邹先霞[3]（2012）在《事务数据流处理的若干关键技术问题研究》文中研究表明面对数据的激烈增长,传统的数据仓库技术已成为分析管道的瓶颈,传统的先存贮再查询的数据管理和结构难以解决数据仓库的实时响应要求。数据流持续查询和复杂事件处理在处理快速、大量数据时都采用了不保存数据直接在内存中对数据进行处理的方法,提高数据处理的实时性,同时也减少了对计算资源的占用。但数据流持续查询和复杂事件处理在处理关系型数据流时都是直接将其转化为流表,忽略了数据的事务特性；对多数据流的连接查询采用基于时间或者基于元组的连接查询语义,没有考虑关系型数据流各种复杂的窗口连接语义和多数据流的同步问题；在处理数据流与磁盘存贮表的连接查询时直接将磁盘存贮表转化为流表的形式,没有考虑两者之间连接语义和内存开销。关系型数据库作为一类重要数据来源,在数据流和复杂事件处理中增强对事务数据流的处理是很有必要的。本文主要针对数据流持续查询和复杂事件处理中的关系型数据流处理进行了扩展,使得数据能够实时快速处理的同时也保持其事务特性。主要的研究工作如下：（1）提出了事务数据流的单调性理论,该理论使得事务数据流的单调查询输出在处理相同时间戳的元组时与元组顺序无关,保证了事务数据流查询计算的ACID性质。为实现事务数据流的单调查询,本文提出了延迟计算策略和基于主存数据库的查询执行。实验说明基于主存数据库的查询执行有效地解决了窗口的分组驱动及事务数据流的共享计算,验证了事务数据流的单调性理论。（2）针对多事务数据流的连接计算问题,提出了滑动窗口标识匹配的连接语义模型。数据流的基本连接语义模型会导致内存溢出,而基于时间和基于元组的滑动窗口连接模型无法处理各种不同类型窗口之间的连接查询。本文通过滑动窗口标识屏蔽各种滑动窗口间的差异,在各种不同的滑动窗口之间进行连接查询。为实现滑动窗口标识匹配,本文提出了滑动窗口的子窗口存储结构及该存储结构下的窗口维护和连接计算算法,并通过优化子窗口存储结构来提高连接计算速率。实验验证了该语义模型可屏蔽各种滑动窗口间的差异,解决多事务数据流的同步和连接计算问题。（3）对数据流和磁盘存贮表的连接计算算法进行了改进。通过对经典算法MESHJOIN算法的分析,发现MESHJOIN算法每次连接计算后都替换存贮表放在内存中的整个数据块,因此产生大量的磁盘I/O。为减少磁盘I/O,本文提出将存贮表在内存中的数据块划分为若干逻辑分区,每次连接计算后仅替换其中的一个逻辑分区。实验证明改进算法降低了每个滑动窗口计算时的I/O代价,提高了每个滑动窗口的计算速率。（4）对事务数据流与多个存贮表的连接计算,提出将多个存贮表之间的查询定义为实化视图后再与事务数据流进行连接计算。本文对实化视图的增量维护算法进行了改进。对实化外连接视图的增量计算提出了基于连接析取范式的辅助增量计算算法,实验证明该算法保证了增量计算的正确性也克服了外连接视图定义的约束条件。对实化连接视图的增量计算提出了数据源上的延迟补偿算法,实验证明该算法避免了全局时间戳和系统静止时刻的补偿要求。数据流持续查询和复杂事件处理已广泛应用于物联网、云计算等环境。本文的研究旨在增强数据流持续查询和复杂事件处理对事务数据流的处理能力,具有一定的理论意义和实用价值。
贺晓旭[4]（2012）在《实视图技术在农业生产数据仓库中的应用研究》文中认为数据仓库是在数据库已经大量存在的情况下,为了进一步挖掘数据资源和满足决策支持的需要而产生的,它并不是所谓的“大型数据库”,而是为支持企业决策而特别设计和建立的数据集合。数据仓库技术是基于信息系统业务发展的需要,从数据库系统技术发展而来,最终逐步独立出来的一系列新的应用技术。其中的实视图技术是提高数据仓库性能的一项重要技术,它通过对常用的查询结果进行预先存储,从而大大加快了查询响应的时间。实视图包括两项重要的技术：实视图选择和实视图维护。实视图选择技术是利用选择算法从候选的视图集合中选择出合适的视图将之实体化。当数据源发生更新时,为了与底层数据源保持一致,系统就要调用维护算法进行实视图的维护。因此,本文的研究内容主要围绕实视图选择和实视图维护来展开。本文的研究内容主要包括以下几个方面：1.本课题的应用研究是依托“农产品数量安全智能分析与预警关键技术支撑系统及示范”项目来展开的,首先要构建一个农业生产数据仓库。第一步是数据库及数据仓库的框架设计,包括数据表结构的设计,维及度量的划分,中间表结构的设计等；第二步是数据清洗,从数据源中挑选出本课题需要的数据,并将这些数据以一种统一的格式有效地组织起来,存储到中间表里；第三步是ETL过程,运用自己开发的ETL工具,将存储在中间表中的数据装载进数据库,然后通过SQL Server提供的SSAS工具建立数据仓库。2.对传统的实视图选择算法进行了分析和总结,传统选择算法复杂度高、查询响应速度慢。为了克服上述缺点,本文提出了一种基于遗传算法的改进型实视图选择算法来解决查询代价约束下的实视图选择问题。该算法通过在遗传过程中动态改变交叉概率和变异概率,既保持了群体的多样性,又保证了遗传算法的收敛性,有效地提高了遗传算法的优化能力,从而避免了“进化停滞”问题的产生。同时该算法增加了对遗传过程中无效解的处理,避免无效循环产生的“进化停滞”问题,大大提高了实视图选择的效率。3.对传统的实视图维护算法进行了分析和总结,传统维护算法存在更新异常问题,为了克服上述缺点,本文提出了一种基于ECA算法的改进型实视图维护算法,实验证明该算法很好地解决了更新异常问题,保证了数据的一致性。4.将理论研究成果应用到农业生产数据仓库中,从而证明改进后的实视图选择算法和实视图维护算法的实用价值。
邹先霞,潘久辉,贾维嘉[5]（2011）在《视图增量计算的延迟部分补偿算法》文中研究表明为解决异步传播算法中视图增量计算时间过长、占用系统资源过多及某些错误补偿问题,提出了在数据源上进行延迟部分补偿的算法。该算法要求获取数据源的基表增量时记下增量的事务时间,在实化视图层记录已用于视图增量计算的基表增量的最大事务提交时间。当计算实化视图新的增量时,比较同一个数据源在实化视图层上的记录时间与增量子查询的执行时间,如果这段时间基表产生新的增量,则进行补偿查询。补偿过程采用单个数据源上的时间进行比较,避免了全局时间问题,也解决了现有部分补偿算法可能产生的错误。该算法利用基表之间的主外码约束来减少计算次数,提高计算效率。分析和实验表明,该算法在计算效率和正确性方面都有所提高。
葛珂,房元平[6]（2010）在《基于更新补偿的实化视图增量过滤研究》文中指出针对WHIPS实化视图维护模型不能检测无效增量问题,提出了增量过滤机制。该机制利用视图定义中的约束条件,并通过更新补偿机制,对基表增量进行有效性检测和过滤,减少了网络通信并避免了数据仓库端的无效的视图增量计算。文章最后通过实验对比,证明了这种机制的有效性。
许娇阳,任洪庆,房元平[7]（2010）在《数据仓库多源实化视图一致性维护的方法研究》文中提出研究了多源单视图下数据仓库实化视图联机维护与查询一致性问题,并对现有算法做了改进。改进后的算法在更改信息中增加时间戳控制数据源端查询的时序,并引入动作列表控制数据仓库端信息提交的顺序,采用补偿思想和应答机制来协调数据源与数据仓库间的数据更新,从而保证了实化视图维护和查询的一致性。
宋旭东[8]（2010）在《企业集团数据仓库系统关键技术研究》文中认为企业集团信息化运营过程中积累了大量的设计、生产、库存、销售、采购和财务等业务数据,如何将企业集团海量业务数据转化为决策信息已成为目前企业集团信息化难点和热点问题,数据仓库系统被认为是最好的解决方案。企业集团数据仓库系统是一个复杂的系统,涉及众多复杂的概念和技术。本文就企业集团数据仓库系统中的几个关键技术进行了研究,本文的研究成果为企业集团实施数据仓库系统提供了很好的借鉴作用,有着重要的理论和现实意义。本文的主要工作如下：（1）企业集团数据仓库系统的概念及体系结构的研究。给出了企业集团数据仓库系统的定义,提出了统一视图模型的基本概念,提出了一个基于统一视图模型的数据仓库系统体系结构。（2）数据仓库系统ETL技术的研究。给出了一种新的基于统一视图模型的数据仓库ETL体系结构,提出了一种基于统一视图模型的ETL过程建模和实现方法。同时,针对数据仓库ETL任务调度问题,以数据仓库总的ETL执行时间最短为调度目标,建立了ETL任务调度模型,提出基于同层划分的遗传算法进行模型求解的算法流程。（3）企业集团数据仓库技术的研究。给出了企业集团分布式数据仓库分层结构,提出了一种面向企业集团的分布式数据仓库模型,并总结了分布式数据仓库的实施策略及其关键技术,同时将模型驱动的方法应用到数据仓库模型开发中。（4）企业集团OLAP技术的研究。将模型驱动体系架构的软件开发方法应用到OLAP开发中,该方法在数据仓库系统统一建模框架下,将OLAP设计从逻辑层提升到概念层,在概念层实现OLAP的PIM建模,通过PIM模型到PSM模型及PSM模型到SQL代码转换实现OLAP开发。（5）企业集团数据挖掘技术的研究。提出了一种基于抽样的决策树分类改进算法,使得这种算法在大数据集的情况下也能挖掘出正确的分类规则。将该算法应用到企业生产成本关键工序挖掘上,挖掘出工艺路线中的关键工序和影响钢铁企业成本的分类规则。同时,针对大数据集下的关联规则挖掘,提出了有向项集图的三叉链表式存储结构和基于有向项集图的关联规则挖掘改进算法,通过东北特钢钢企业集团的客户数据关联规则挖掘应用,挖掘出的客户的购买行为和潜在需求规律。（6）企业集团决策支持技术的研究。给出了基于分布式数据仓库的企业集团决策支持系统整体框架,通过定义决策方案层和决策任务模型层,采用分层策略,降低了决策支持系统的复杂性,采用面向对象的软构件方法,将数据和决策算法有效集成,增强了系统的重用性和扩展性。
李贤昭[9]（2009）在《数据仓库中实体化视图的选择与维护问题的研究》文中认为数据仓库中的数据大多来源于多个分散、异构及自治的底层业务数据库,其信息以实体化视图的形式存储。通过物理上的预先存储,加快了查询响应时间,大大提高了数据仓库的性能。然而,底层数据库中的数据是不断变化的,为使数据仓库中实体化视图能够同步反映数据源的变化,必须对数据仓库中的相关数据进行及时维护。实体化视图技术是数据仓库中的关键技术,随数据源和数据量的不断增加,对数据仓库中实体化视图维护的效率提出了更高的要求,采用完全更新显然是不可行的,研究实体化视图的增量维护策略将具有重要的理论价值和实践意义。视图选择方面,在介绍数据仓库及实体化视图的概念基础上,根据已有的数据仓库的查询记录的历史数据,运用关联规则算法,对用户的查询偏好进行分析和挖掘,从而选出需要进行实体化的候选视图。在数据仓库的运行过程中,系统还能根据用户查询的变动对候选的实体化视图进行动态地选择,以达到在总代价最少的基础上,用户能够灵活而且智能地选择视图的效果。视图维护方面,在WHIPS维护技术的基础上,提出一种分布式的增量实体化视图维护技术,把过滤器分配到各个数据库中,降低了视图维护的通信量,因此解决了普通版本维护技术成本高、等待时间长的缺点。另外,由于采用了分布式技术,从而大大降低了数据库端的负荷,提高了数据仓库的运行速度。视图评价方面,为了检验改进后的实体化视图的维护技术的效率,建立一种实体化视图的代价模糊评价模型。通过代价模糊评价模型去评价实体化视图的代价问题。
瞿城[10]（2009）在《数据仓库中物化视图和ETL的研究与实现》文中指出数据仓库是一个面向主题的、集成的、相对稳定的、随时间不断变化的数据集合。数据仓库通过对历史数据的分析和综合处理,找到对企业发展至关重要的业务信息,从而帮助有关主管和业务部门做出更加合理的决策。随着企业信息产业的迅猛发展,数据仓库必将成为一个研究热点。数据仓库中的物化视图是对用户查询进行预计算并存储计算结果,是提高数据仓库查询效率的关键技术,而如何维护物化视图是数据仓库中的研究重点。数据仓库中的ETL（Extract、Transform、Load,抽取、转换、装载）的效率直接决定了数据仓库建设的成功与否。论文对数据仓库的关键技术进行了广泛而深入的研究和讨论。介绍了数据仓库的体系架构和各个组成部分,并对ETL技术和物化视图的维护进行了深入研究。论文主要内容包括如下:1.分析了国内外数据仓库技术和物化视图的研究现状,阐述了目前数据仓库研究中的热点和问题。对数据仓库的体系架构,ETL和物化视图等关键技术进行了详细介绍。2.在总结前人对物化视图研究的基础上,对单视图和多视图的情况分别进行了讨论,提出了一种改进的多视图辅助视图优化算法,并通过实验进行验证。3.设计了一种改进的元数据驱动的ETL系统,对传统ETL系统中存在的不足进行了改进。系统利用元数据分别从数据源和数据仓库的视角引导ETL过程。4.实现了元数据驱动的ETL的一个系统原型,按照ETL开发的流程对系统的各个功能模块进行展示。
二、多数据源数据仓库的一致性维护算法——Strobe算法的改进（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、多数据源数据仓库的一致性维护算法——Strobe算法的改进（论文提纲范文）
（1）基于多数据源的预测性维护系统的设计与实现（论文提纲范文）
| 摘要 |
| abstract |
| 1 绪论 |
| 1.1 国内外研究现状 |
| 1.2 研究内容以及意义 |
| 1.3 论文的组织结构 |
| 1.4 本章小结 |
| 2 预测性维护服务技术综述 |
| 2.1 预测性维护概述 |
| 2.2 预测性维护成熟度模型 |
| 2.3 预测性维护应用开发的一般流程 |
| 2.4 一种业界架构分析 |
| 2.5 故障预测模型概述 |
| 2.5.1 基于Cox模型的预测模型 |
| 2.5.2 基于逻辑回归的预测模型 |
| 2.5.3 基于支持向量机的预测模型 |
| 2.5.4 基于深度学习的预测模型 |
| 2.5.5 基于决策树的预测模型 |
| 2.6 本章小结 |
| 3 系统总体设计 |
| 3.1 系统模块结构设计 |
| 3.1.1 引言 |
| 3.1.2 源数据加载模块 |
| 3.1.3 数据模型的构建模块 |
| 3.1.4 数据可视化模块 |
| 3.2 系统工作流程 |
| 3.3 数据库设计 |
| 3.4 本章小结 |
| 4 系统详细设计和实现 |
| 4.1 关键问题分析 |
| 4.1.1 系统特征及问题分析 |
| 4.1.2 已有方法及不足 |
| 4.1.3 本文采用的方法 |
| 4.2 架构和方法的设计详述 |
| 4.3 源数据加载模块的实现 |
| 4.3.1 数据准备 |
| 4.3.2 数据清洗/预处理 |
| 4.3.3 数据仓库的架构 |
| 4.4 数据预测模块-基于Cox PH的预测模型 |
| 4.4.1 选取特征变量 |
| 4.4.2 输入输出 |
| 4.4.3 程序流程 |
| 4.5 数据预测模块-结合深度学习的预测模型 |
| 4.5.1 深度学习环境的介绍 |
| 4.5.2 输入输出 |
| 4.5.3 超参数的配置 |
| 4.5.4 模型的训练和构建 |
| 4.6 制定维护策略 |
| 4.7 本章小结 |
| 5 系统测试 |
| 5.1 系统测试环境的搭建 |
| 5.2 测试方案 |
| 5.3 测试用例和结果分析 |
| 5.3.1 任务/作业调度测试 |
| 5.3.2 预测模型验证 |
| 5.3.3 并发访问测试 |
| 5.4 预计的成本节省 |
| 5.5 本章小结 |
| 6 总结 |
| 6.1 其他类似的解决方案 |
| 6.2 改进以及促进方案 |
| 6.3 结论和展望 |
| 参考文献 |
| 致谢 |
| 攻读硕士学位期间发表的学术论文 |
（2）数据仓库中物化视图选择和维护算法研究与改进（论文提纲范文）
| 摘要 |
| Abstract |
| 1 绪论 |
| 1.1 研究背景 |
| 1.2 研究现状 |
| 1.3 主要研究内容 |
| 1.4 论文结构安排 |
| 2 数据仓库与物化视图理论概述 |
| 2.1 数据仓库概述 |
| 2.1.1 数据仓库概念 |
| 2.1.2 数据仓库体系结构 |
| 2.2 多维数据模型 |
| 2.2.1 星型模型 |
| 2.2.2 雪花型模型 |
| 2.2.3 两种数据模型比较 |
| 2.3 OLAP |
| 2.4 物化视图技术 |
| 2.5 数据仓库产品 |
| 2.6 本章小结 |
| 3 物化视图选择算法改进 |
| 3.1 物化视图选择 |
| 3.1.1 物化视图选择问题 |
| 3.1.2 多维数据格模型 |
| 3.2 几种常见算法及其比较 |
| 3.2.1 PBS算法 |
| 3.2.2 Greedy算法 |
| 3.2.3 遗传算法 |
| 3.3 算法改进 |
| 3.3.1 代价估算模型 |
| 3.3.2 构造初始解 |
| 3.3.3 编码 |
| 3.3.4 适应度函数 |
| 3.3.5 选择算子 |
| 3.3.6 交叉算子 |
| 3.3.7 变异算子 |
| 3.4 改进算法描述 |
| 3.5 性能分析及验证 |
| 3.6 本章小结 |
| 4 物化视图维护算法改进 |
| 4.1 物化视图维护 |
| 4.1.1 物化视图维护问题 |
| 4.1.2 一致性描述 |
| 4.2 算法改进 |
| 4.2.1 物化视图增量表达式的划分 |
| 4.2.2 算法分析 |
| 4.3 改进算法描述 |
| 4.4 性能分析及验证 |
| 4.5 本章小结 |
| 5 结论 |
| 参考文献 |
| 致谢 |
| 攻读学位期间取得的科研成果清单 |
（3）事务数据流处理的若干关键技术问题研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 图索引 |
| 表索引 |
| 第一章 绪论 |
| 1.1 研究背景 |
| 1.1.1 研究背景及意义 |
| 1.1.2 课题来源 |
| 1.2 实时主动式数据仓库研究概述 |
| 1.2.1 视图维护问题 |
| 1.2.2 视图维护方法的描述 |
| 1.3 数据流研究概述 |
| 1.3.1 数据流查询语言 |
| 1.3.2 数据流查询优化 |
| 1.3.3 数据流同步处理 |
| 1.3.4 窗口构造 |
| 1.3.5 数据流的查询计算 |
| 1.3.6 数据流管理系统 |
| 1.4 复杂事件处理的研究概述 |
| 1.4.1 复杂事件处理的概念 |
| 1.4.2 复杂事件处理的主要技术问题 |
| 1.5 研究内容 |
| 1.5.1 研究现状 |
| 1.5.2 主要研究内容 |
| 1.6 论文的结构 |
| 第二章 事务数据流的持续查询理论 |
| 2.1 概述 |
| 2.2 实时数据流的持续查询 |
| 2.2.1 非组块操作 |
| 2.2.2 关系查询函数的单调性 |
| 2.3 事务数据流的持续查询 |
| 2.3.1 事务数据流查询的单调性定义 |
| 2.3.2 延迟计算 |
| 2.4 关系SQL的扩展 |
| 2.5 小结 |
| 第三章 事务数据流持续查询的实现 |
| 3.1 概述 |
| 3.2 事务数据流持续查询语言 |
| 3.2.1 实时数据流的持续查询语言 |
| 3.2.2 事务数据流的持续查询语言 |
| 3.3 事务数据流窗口的形式框架 |
| 3.3.1 窗口范围(scope) |
| 3.3.2 窗口内容(content) |
| 3.3.3 窗口输出(Report) |
| 3.3.4 驱动计算(Tick) |
| 3.4 事务数据流持续查询的实现 |
| 3.4.1 主存数据库BDB |
| 3.4.2 查询引擎的设计 |
| 3.4.3 共享设计 |
| 3.4.4 应用实例 |
| 3.5 小结 |
| 第四章 事务数据流的S-S连接算法 |
| 4.1 概述 |
| 4.2 窗口连接的语义模型 |
| 4.2.1 数据流连接的基本模型 |
| 4.2.2 滑动窗口连接模型 |
| 4.2.3 多数据流同步问题 |
| 4.2.4 事务数据流窗口连接模型 |
| 4.3 事务流滑动窗口的存储 |
| 4.3.1 滑动窗口的数据结构 |
| 4.3.2 数据流窗口的维护 |
| 4.4 事务流的滑动窗口连接算法 |
| 4.4.1 改进滑动窗口的数据结构 |
| 4.4.2 滑动窗口的连接算法 |
| 4.5 性能分析 |
| 4.5.1 算法正确性证明 |
| 4.5.2 实验分析 |
| 4.6 小结 |
| 第五章 事务数据流的S-R连接算法 |
| 5.1 概述 |
| 5.2 S-MESHJOIN算法 |
| 5.2.1 MESHJOIN算法思想 |
| 5.2.2 MESHJOIN的改进算法 |
| 5.2.3 两种算法比较 |
| 5.3 代价模型 |
| 5.4 实验 |
| 5.5 小结 |
| 第六章 事务数据流的R-R的连接算法 |
| 6.1 实化外连接视图的增量计算 |
| 6.1.1 概述 |
| 6.1.2 基本概念 |
| 6.1.3 独立计算表达式 |
| 6.1.4 外连接视图的增量维护 |
| 6.1.5 实验分析 |
| 6.2 实化连接视图的增量计算 |
| 6.2.1 概述 |
| 6.2.2 补偿算法 |
| 6.2.3 延迟的部分补偿算法 |
| 6.2.4 优化DPCA算法 |
| 6.2.5 性能分析 |
| 6.3 小结 |
| 第七章 结论与展望 |
| 7.1 工作总结 |
| 7.2 研究展望 |
| 参考文献 |
| 附录：缩写词解释对照表 |
| 致谢 |
| 攻读博士学位期间参与的科研项目及主要的研究成果 |
（4）实视图技术在农业生产数据仓库中的应用研究（论文提纲范文）
| 摘要 |
| Abstract |
| 目录 |
| 图目录 |
| 表目录 |
| 第1章 绪论 |
| 1.1 课题研究的背景及意义 |
| 1.2 国内外研究现状 |
| 1.2.1 实视图选择的研究现状 |
| 1.2.2 实视图维护的研究现状 |
| 1.3 论文主要研究内容 |
| 1.4 论文组织结构 |
| 第2章 数据仓库及实视图概述 |
| 2.1 数据仓库的概念 |
| 2.2 数据仓库的体系结构 |
| 2.3 实视图的概念 |
| 2.3.1 实视图选择的概念 |
| 2.3.2 实视图维护的概念 |
| 2.4 实视图在数据仓库中的作用 |
| 2.5 本章小结 |
| 第3章 农业生产数据仓库的构建 |
| 3.1 数据库及数据仓库的框架设计 |
| 3.1.1 概念模型设计 |
| 3.1.2 逻辑模型设计 |
| 3.1.3 物理模型设计 |
| 3.2 数据清洗 |
| 3.3 数据导入 |
| 3.4 数据仓库的生成 |
| 3.5 本章小结 |
| 第4章 实视图选择算法及其改进算法 |
| 4.1 实视图选择代价模型 |
| 4.2 几种经典的实视图选择算法 |
| 4.2.1 Greedy算法 |
| 4.2.2 PBS算法 |
| 4.2.3 IMDVSA算法 |
| 4.3 一种基于遗传算法的改进型实视图选择算法 |
| 4.3.1 实视图选择模型 |
| 4.3.2 传统遗传算法的缺陷 |
| 4.3.3 改进型遗传算法的基本原理 |
| 4.3.4 改进型遗传算法描述 |
| 4.4 实验研究 |
| 4.5 本章小结 |
| 第5章 实视图维护算法及其改进算法 |
| 5.1 几种经典的实视图维护算法 |
| 5.1.1 ECA算法 |
| 5.1.2 Strobe算法 |
| 5.1.3 SWEEP算法 |
| 5.2 一种基于ECA算法的改进型实视图维护算法 |
| 5.2.1 单源单视图的相关概念 |
| 5.2.2 ECA算法的局限性 |
| 5.2.3 改进型ECA算法的基本原理 |
| 5.2.4 算法性能分析 |
| 5.3 本章小结 |
| 第6章 实视图技术在农业生产数据仓库中的应用 |
| 6.1 农业生产数据仓库的体系结构 |
| 6.2 利用改进型实视图选择算法进行实视图的选择 |
| 6.3 利用改进型实视图维护算法进行实视图的维护 |
| 6.4 本章小结 |
| 第7章 总结与展望 |
| 7.1 本文总结 |
| 7.2 下一步的研究工作 |
| 参考文献 |
| 致谢 |
| 攻读硕士学位期间论文与科研情况 |
（7）数据仓库多源实化视图一致性维护的方法研究（论文提纲范文）
| 1 相关定义 |
| 2 多源视图维护算法M-IQA |
| 2.1 在每个数据源端: |
| 2.2 在数据仓库端: |
| 3 结束语 |
（8）企业集团数据仓库系统关键技术研究（论文提纲范文）
| 摘要 |
| Abstract |
| 1 绪论 |
| 1.1 课题的研究背景及意义 |
| 1.2 课题的国内外研究现状 |
| 1.3 目前存在问题 |
| 1.4 本文主要工作 |
| 1.5 论文结构 |
| 2 数据仓库系统基本概念 |
| 2.1 数据仓库系统定义 |
| 2.2 数据仓库系统体系结构 |
| 2.2.1 统一视图模型基本概念 |
| 2.2.2 基于统一视图模型的数据仓库系统体系结构 |
| 2.2.3 面向领域工程的统一视图模型的确立 |
| 2.3 数据仓库系统相关技术概述 |
| 2.3.1 ETL技术 |
| 2.3.2 数据仓库技术 |
| 2.3.3 联机分析处理技术 |
| 2.3.4 数据挖掘技术 |
| 2.3.5 决策支持技术 |
| 2.4 本章小结 |
| 3 企业集团ETL技术 |
| 3.1 基于统一视图模型的ETL体系结构 |
| 3.2 基于统一视图模型的ETL过程建模与实现 |
| 3.2.1 基于统一视图模型的ETL过程建模方法的提出 |
| 3.2.2 基于统一视图模型的ETL过程元模型 |
| 3.2.3 基于统一视图模型的ETL过程建模 |
| 3.2.4 基于统一视图模型的ETL过程实现 |
| 3.3 数据仓库系统ETL任务调度模型 |
| 3.3.1 数据仓库ETL任务调度问题的提出 |
| 3.3.2 数据仓库ETL任务调度问题描述 |
| 3.3.3 ETL调度模型建立 |
| 3.3.4 ETL调度模型求解 |
| 3.3.5 ETL任务调度实例 |
| 3.4 本章小结 |
| 4 企业集团数据仓库技术 |
| 4.1 企业集团分布式数据仓库体系结构 |
| 4.1.1 企业集团数据环境特性 |
| 4.1.2 企业集团数据仓库体系结构 |
| 4.1.3 东北特钢集团数据仓库应用框架 |
| 4.2 企业集团分布式数据仓库建模 |
| 4.3 企业集团数据仓库模型驱动开发方法 |
| 4.3.1 模型驱动体系架构简介 |
| 4.3.2 基于MDA的数据仓库模型驱动开发框架 |
| 4.3.3 基于MDA的数据仓库模型驱动开发过程 |
| 4.3.4 基于MDA的数据仓库PIM和PSM元模型 |
| 4.3.5 基于MDA的数据仓库模型转换 |
| 4.3.6 基于MDA的数据仓库模型驱动实现 |
| 4.3.7 企业集团数据仓库模型开发实例 |
| 4.4 企业集团分布式数据仓库实施 |
| 4.4.1 企业集团数据仓库实施策略 |
| 4.4.2 企业集团数据仓库实施技术 |
| 4.5 本章小结 |
| 5 企业集团联机分析处理技术 |
| 5.1 基于MDA的OLAP开发方法的提出 |
| 5.2 基于MDA的OLAP集成开发框架 |
| 5.3 基于MDA的OLAP开发 |
| 5.3.1 OLAP模型开发过程 |
| 5.3.2 OLAP PIM元模型定义 |
| 5.3.3 OLAP PSM元模型定义 |
| 5.3.4 PIM模型到PSM模型转换 |
| 5.3.5 PSM模型到SQL代码的转换 |
| 5.3.6 基于MDA的OLAP模型实现 |
| 5.4 OLAP开发应用实例 |
| 5.5 本章小结 |
| 6 企业集团数据挖掘技术 |
| 6.1 基于抽样的决策树分类改进算法及应用 |
| 6.1.1 基于抽样的决策树分类改进算法的提出 |
| 6.1.2 基本概念和相关技术 |
| 6.1.3 基于抽样的决策树分类改进算法 |
| 6.1.4 决策树数据挖掘应用研究 |
| 6.2 关联规则挖掘改进算法及应用 |
| 6.2.1 关联规则改进算法的提出 |
| 6.2.2 有向项集图的三叉链表式存储结构 |
| 6.2.3 基于有向项集图的关联规则挖掘算法 |
| 6.2.4 关联规则数据挖掘应用研究 |
| 6.3 本章小结 |
| 7 企业集团决策支持技术 |
| 7.1 企业集团决策支持信息模型 |
| 7.2 企业集团决策支持系统结构 |
| 7.2.1 企业集团决策方案 |
| 7.2.2 企业集团决策支持系统层次结构 |
| 7.2.3 企业集团决策支持系统流程 |
| 7.2.4 企业集团决策方案执行流程 |
| 7.3 企业集团决策支持系统应用研究 |
| 7.3.1 企业集团建模体系结构 |
| 7.3.2 企业集团决策支持系统应用框架 |
| 7.3.3 东北特钢集团决策支持系统应用实例 |
| 7.4 本章小结 |
| 结论 |
| 参考文献 |
| 创新点摘要 |
| 攻读博士学位期间发表学术论文情况 |
| 致谢 |
| 作者简介 |
（9）数据仓库中实体化视图的选择与维护问题的研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 课题背景及研究意义 |
| 1.1.1 课题背景 |
| 1.1.2 研究意义 |
| 1.2 本领域发展概况 |
| 1.2.1 实体化视图选择的研究现状 |
| 1.2.2 实体化视图维护的研究现状 |
| 1.3 本文研究内容 |
| 第2章 数据仓库技术概述 |
| 2.1 数据仓库的定义及特点 |
| 2.2 数据仓库的体系结构 |
| 2.3 数据仓库的模型设计 |
| 2.3.1 概念模型 |
| 2.3.2 逻辑模型 |
| 2.3.3 物理模型 |
| 2.4 OLAP的概念和分类 |
| 2.5 数据仓库中视图的管理 |
| 2.6 本章小结 |
| 第3章 基于用户偏好的实体化视图选择算法 |
| 3.1 现有的实体化视图选择的算法 |
| 3.1.1 Greedy算法 |
| 3.1.2 BPS算法 |
| 3.1.3 GA_VSP算法 |
| 3.1.4 YKL算法 |
| 3.1.5 IMDVSA算法 |
| 3.2 基于用户偏好的实体化视图选择的研究的提出 |
| 3.2.1 基于用户偏好算法的相关概念 |
| 3.2.2 基于用户偏好的实体化视图选择算法 |
| 3.2.3 基于用户偏好的实体化视图选择算法的例子 |
| 3.3 本章小结 |
| 第4章 基于分布式过滤器的实体化视图维护方法 |
| 4.1 现有的实体化视图维护方法 |
| 4.1.1 WHIPS模块组成 |
| 4.1.2 WHIPS的工作原理 |
| 4.1.3 WHIPS可以改进的地方 |
| 4.2 基于分布式过滤器的实体化视图维护方法 |
| 4.2.1 分布式过滤器的体系结构 |
| 4.2.2 分布式过滤器的算法 |
| 4.2.3 分布式过滤器的实现技术 |
| 4.3 本章小结 |
| 第5章 实体化视图代价的模糊评价模型 |
| 5.1 模糊综合评估法简述 |
| 5.2 模糊综合评价模型的建立 |
| 5.3 用层次分析法确定指标的权重的过程 |
| 5.4 模糊综合评估法过程 |
| 5.5 本章小结 |
| 第6章 实体化视图在防灾救灾应急处理决策系统的应用 |
| 6.1 决策支持系统的发展 |
| 6.2 决策支持系统的结构 |
| 6.3 数据抽取与转换服务 |
| 6.4 视图的实体化过程 |
| 6.5 本章小结 |
| 第7章 结束语 |
| 参考文献 |
| 攻读硕士期间发表的学术论文 |
| 致谢 |
（10）数据仓库中物化视图和ETL的研究与实现（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 研究背景和意义 |
| 1.2 国内外研究现状 |
| 1.3 数据仓库存在的问题 |
| 1.4 论文研究的主要内容 |
| 第二章 数据仓库关键技术 |
| 2.1 数据仓库 |
| 2.1.1 数据仓库概念 |
| 2.1.2 数据仓库体系结构 |
| 2.2 ETL |
| 2.2.1 ETL技术 |
| 2.2.2 ETL元数据 |
| 2.3 物化视图 |
| 2.3.1 物化视图的概念 |
| 2.3.2 物化视图的维护 |
| 2.4 小结 |
| 第三章 物化视图的维护 |
| 3.1 物化视图维护方法 |
| 3.2 自维护 |
| 3.2.1 视图模型定义 |
| 3.2.2 自维护流程 |
| 3.3 单视图维护 |
| 3.3.1 物化视图实例 |
| 3.3.2 相关定义介绍 |
| 3.3.3 辅助视图集生成算法 |
| 3.3.4 算法示例 |
| 3.4 多视图维护 |
| 3.4.1 相关定义介绍 |
| 3.4.2 多视图辅助视图优化算法 |
| 3.4.3 实验结果及分析 |
| 3.5 小结 |
| 第四章 一种改进的元数据驱动的ETL系统 |
| 4.1 ETL工具 |
| 4.2 系统体系架构 |
| 4.2.1 传统的ETL方式 |
| 4.2.2 改进的ETL方式 |
| 4.3 元数据库设计 |
| 4.4 ETL流程 |
| 4.4.1 分析数据源 |
| 4.4.2 分析目标数据库 |
| 4.5 ETL加载策略 |
| 4.6 小结 |
| 第五章 元数据驱动的ETL系统实现 |
| 5.1 系统框架 |
| 5.2 系统实现 |
| 5.2.1 初始工作 |
| 5.2.2 元数据扫描 |
| 5.2.3 数据源视图 |
| 5.2.4 数据仓库视图 |
| 5.2.5 结果查询 |
| 5.2.6 函数定义 |
| 5.3 小结 |
| 第六章 总结与展望 |
| 6.1 总结 |
| 6.2 展望 |
| 参考文献 |
| 攻读硕士学位期间取得的主要科研成果 |
| 致谢 |
四、多数据源数据仓库的一致性维护算法——Strobe算法的改进（论文参考文献）
- [1]基于多数据源的预测性维护系统的设计与实现[D]. 马健健. 上海交通大学, 2019(06)
- [2]数据仓库中物化视图选择和维护算法研究与改进[D]. 蒋国唯. 河北经贸大学, 2016(01)
- [3]事务数据流处理的若干关键技术问题研究[D]. 邹先霞. 中南大学, 2012(12)
- [4]实视图技术在农业生产数据仓库中的应用研究[D]. 贺晓旭. 首都师范大学, 2012(03)
- [5]视图增量计算的延迟部分补偿算法[J]. 邹先霞,潘久辉,贾维嘉. 计算机集成制造系统, 2011(05)
- [6]基于更新补偿的实化视图增量过滤研究[J]. 葛珂,房元平. 微计算机应用, 2010(11)
- [7]数据仓库多源实化视图一致性维护的方法研究[J]. 许娇阳,任洪庆,房元平. 微计算机应用, 2010(08)
- [8]企业集团数据仓库系统关键技术研究[D]. 宋旭东. 大连理工大学, 2010(09)
- [9]数据仓库中实体化视图的选择与维护问题的研究[D]. 李贤昭. 广州大学, 2009(S1)
- [10]数据仓库中物化视图和ETL的研究与实现[D]. 瞿城. 厦门大学, 2009(01)