作者:吴琼; 滕云田; 王晓美 期刊:《中国惯性技术学报》 2019年第04期
自主研发绝对重力仪的测量结果中出现的离群程度不同的异常值会直接影响测量结果的准确度和测量精度。目前一般采用的一元正态分布异常值检测算法漏检率高,容易造成测量结果的偏差和测量精度的下降。利用人工智能算法中的局部异常因子异常值检测算法,可以在线、快速、高效地完成自主研发绝对重力测量数据的异常值检测。首先,根据实测数据构建测试数据集,利用数值模拟确定局部异常因子算法邻域宽度参数的取值;然后,基于实测数据进行...
作者:谢志炜; 温锐刚; 孟安波; 殷豪; 刘哲 期刊:《工程管理学报》 2018年第05期
针对工程项目进度和施工人员进场记录数据存在异常值的问题,提出一种基于箱形图和隔离森林的施工人次数据处理方法。将历史工程项目进行分类并计算各工程项目每人次的效率值,采用箱形图法剔除效率值异常的样本;结合各类型工程项目投资和投入施工人次的数据可视化情况,通过隔离森林隔离出属性值异常的数据点;采用剔除异常值后的样本作为线性回归预测模型的学习样本,使用测试集进行预测精度测试。并以某施工单位的实测数据为具...
作者:纪雪; 周兴华; 唐秋华; 赵洪臣 期刊:《测绘科学》 2018年第01期
针对多波束测深数据处理在测深异常数据检测与剔除方法上存在的不足,综合分析了近几十年国内外研究人员在多波束测深异常数据检测与剔除方法方面的研究成果,根据工作原理将其分为基于数据统计理论和基于函数或统计推值比较两类方法,选取中值滤波、小波分析、CUBE算法、趋势面滤波、最小二乘支持向量机滤波法等典型的多波束异常数据检测方法进行重点介绍,并通过列表的方式对不同检测方法进行优缺点对比分析。最后总结了多波束测深异...
作者:林洁; 吴布托; 陈伟 期刊:《电工技术学报》 2018年第A01期
为提高现有风电场数据采集系统的准确性和可利用性,提出了深层玻尔兹曼机(DBM)、经验模态分解(EMD)和隐马尔科夫(HMM)组合算法处理运行数据含有少量异常风速值的自适应检测方法。针对风速序列的随机多变性,采用DBM预测方法挖掘异常风速值的潜在特征,得到反映风速值异常情况的残差序列;进一步提高检测精度和降低系统误差的干扰,采用EMD方法捕获残差序列中粗大误差的特征;借助HMM算法的双重随机过程自适应地并剔除检测异常风速点,避...
作者:金百锁; 李炽坤 期刊:《中国科学技术大学学报》 2018年第11期
高维数据如气象数据中不可避免地存在异常值,应用最广泛的最小二乘法在识别异常值上不具有稳健性和灵敏度.稳健估计方法可使求出的估计量不受异常数据的强烈影响,从而能更好地识别异常点.这里给出了基于稳健S估计的主成分分析模型,其中加入Tukey的双权型函数约束条件.该模型无须对数据分布函数的具体形式做假设,算法的收敛速度较快.之后再结合B样条函数对数据作平滑处理,以平均残差平方和为检验统计量,使用同样具有稳健性的调优箱...
作者:刘峻清; 陶涛 期刊:《四川环境》 2019年第01期
介绍了一种新的异常值检测算法,周期混合ESD算法(S-H-ESD)。该算法考虑到数据可能具有周期性和趋势性的特点,可以准确地识别全局异常值和局部异常值,同时具备对含有较多异常值的数据进行检测的能力。结合某污水处理厂4年的监测数据,考察该算法对于真实的污水处理RO膜压差数据中异常值的检测效果,同时提出了针对被检测出的异常值的处理方法。结果表明该算法对该污水处理RO膜压差数据异常值识别率较高,对识别出的异常值的处理方法也...
作者:黄雄波; 钟全 期刊:《微处理机》 2018年第06期
在智能城市的景观照明系统中,各种灯具、继电器和接触器等部件的实时状况经传感器采集后,往往会形成海量的时序数据流,为了构建对其更为高效实用的监控系统,提出一种改进的时序数据流异常值检测算法。首先针对路灯时序数据流具有均值缓变的特点,以滑动窗口的形式在线进行均值显著性判别、子序列划分以及分段去均值等处理;然后,基于自回归模型对各分段近似平稳的子序列进行建模,并估算出对应的模型参数;最后,基于自回归模型的建模残...
作者:刘延飞; 何燕辉; 姜柯; 张薇 期刊:《计算机工程与应用》 2018年第20期
针对传统核相关滤波器(KCF)跟踪算法受光照变化、严重遮挡和出视野等因素影响,出现目标丢失现象时,跟踪器会将背景信息作为目标继续进行跟踪而不能重新定位目标的问题,在KCF的基础上,引入异常值检测方法作为目标丢失预警机制,同时,提出了目标丢失重检测定位机制。方法对每帧的峰值进行检测,发现异常峰值,则判定目标丢失或即将丢失,预警机制发出警告,停止目标模板更新,启动目标丢失重检测定位机制,在全帧搜索定位目标...
作者:高梦瑶; 赵佃立 期刊:《数学理论与应用》 2018年第01期
本文在假定股票价格服从跳-扩散过程的基础上,研究两种常见的股票挂钩型理财产品的资产定价问题.首先,基于异常值检测方法对跳-扩散模型的参数进行估计,基于矩估计方法对几何布朗运动模型的参数进行估计,并对参数估计的有效性进行评估;然后,依据参数估计的结果对保本型理财产品和阈值型理财产品分别定价,并分析跳对产品价格的影响.对于本文涉及的保本型理财产品和阈值型理财产品,数值模拟发现:含跳过程的模型更能描述原始股价的波...
作者:蒋华; 季丰; 王鑫; 王慧娇 期刊:《计算机工程与设计》 2018年第11期
针对CURE算法聚类过程中对噪音点敏感,随机抽样存在局限性,以及对收缩因子敏感且在大型数据集聚类方面效率欠佳的问题,提出一种基于MeanShift核函数平移模型DBSCAN算法改进的CURE算法,即DCNDA(density-based CURE noise detection clustering algorithm)。自适应参数的DBSCAN算法提高初步聚类精度和可靠性,引入质心公式改进CURE算法,避免受收缩因子影响,降低时间复杂度,提高算法全局收敛性和可靠性。仿真结果表明,DCNDA算法在时间...
作者:周春蕾; 田品卓; 杨晨琛; 王皓 期刊:《数据采集与处理》 2017年第05期
异常值检测是数据挖掘领域中的核心问题,在工业生产中也有着广泛的应用。准确高效的异常值检测方法能够及时反映出工业系统运行状态,为相关人员提供参考,而传统的异常值检测方法无法很好地检测出变化模式复杂、变化范围小、具有流数据特性的数据中的异常值。因此,本文提出了一种新的针对该类型数据的异常值检测方法:首先通过对数据进行聚类划分,将相似的数据进行归类,从而将原本复杂的数据分布拆解成为每个聚类下简单数据分布的叠...
作者:刘凤魁; 邓春宇; 王晓蓉; 王新迎 期刊:《电力信息与通信技术》 2017年第06期
异常值检测是数据挖掘的一个重要分支。在电力行业,异常值检测可用于电网故障检测、设备故障检测、用电异常检测等领域。文章根据电力大数据的特点,研究适用于电力大数据的异常值检测算法。针对快速密度峰值聚类算法用于异常值检测时未考虑数据的局部特点以及局部密度依赖于截断距离选取的不足,利用KNN(K-Nearest Neighbors)思想重新定义局部密度和距离,提出了基于KNN的快速密度峰值异常值检测算法,从而实现更加准确的异常值检测,...
作者:戴亮; 何欣; 崔力心; 倪赛赛 期刊:《电子测试》 2015年第2X期
为了提高短期电价预测精度,本文提出了一种将异常值检测、时间序列分析、神经网络以及群体智能算法相结合的混合算法。作为混合算法的具体实现,文中的异常值检测利用了残差比方法和正态分布方法,群体智能优化算法选取了粒子群(PSO)算法和布谷鸟(CS)算法。作为实例研究,本文将混合模型应用用于澳大利亚新南威尔士州短期电价预测中,结果表明,混合预测方法能在一定程度上提高模型的预测精度。
作者:林冬伟; 周元; 汪德希 期刊:《岩土工程技术》 2013年第03期
基坑钢支撑轴力计由于受测试环境、测试装置的变化和测试人员的主观因素等的影响,所测得的信号不可避免地会引入噪声和含有异常值。可将钢支撑轴力计测量数据看作不同频率成分组成的数字信号序列,采用小波分析对其进行处理。利用小波变换对轴力计的监测数据进行消噪处理和异常值检测,并用某工程现场实测轴力计数据进行了验证,结果表明:小波分析在消除噪声和检测异常值是有效的。
作者:陈锐 周书民 期刊:《核电子学与探测技术》 2009年第01期
氡浓度计数在测量过程中由于FH-463受电磁波等外界干扰,在传输过程中可能发生错误,导致测量值与期望值相差甚远。直接应用格拉布斯准则(Grubbs)仅能有效地处理观测数据中异常值占有率小于10%时的情况。文章根据氡浓度检测的需要,对该准则加以改进,利用线性回归方法估算氡浓度计数值,实验结果表明该方法具有很好剔除异常值的能力。论文提及的去除异常值的方法也可运用于其他研究领域。
作者:魏萌 王靳辉 衡广辉 期刊:《测绘科学技术学报》 2012年第05期
相关观测的异常值检测是测量数据处理的难题之一。在系统总结和分析前人研究成果的基础上,运用贝叶斯统计推断理论,提出了相关观测异常值检测的贝叶斯方法。首先,基于识别变量的后验概率,提出了相关观测异常值定位的贝叶斯方法;然后设计和构建了计算后验概率的吉布斯抽样方法,基于最大后验估计原理,推导和建立了计算异常值参数的贝叶斯公式;最后对某GPS网相连进行了计算和分析。结果表明,在相关观测条件下,使用新方法能够对多个异...
作者:韩旻 赵清洲 期刊:《航空计算技术》 2010年第04期
研究了基于阴性选择算法的飞行数据异常值检测问题。针对传统的基于数据趋势进行数据异常值检测方法难以处理连续异常值的问题,提出通过提取待测参数的相关参数并在检测器编码中加入相关参数信息,使得阴性选择算法能够用于连续多个异常值的检测,算法不需要关于数据异常的任何先验知识。实验表明,采用改进编码后的阴性选择算法识别飞行数据中的异常值具有较高的精度。
提出一种基于异常值检测的电梯交通流递归预测方法。对电梯交通流进行时间序列分析得到初始季节时间序列模型,引入异常值检测过程,检测出训练数据中的异常值并进行修正,利用修正序列得到最终的季节时间序列模型。把最终的季节时间序列模型转化为状态空间形式,通过卡尔曼滤波实时调整状态向量,实现电梯交通流的在线预测。仿真结果证明该方法有效。
作者:王海栋 柴洪洲 期刊:《海洋通报》 2011年第03期
对CUBE算法自动处理多波束测深数据的模型建立、格网节点的多重估计和最优估值选取准则进行了详细介绍,深入分析了多重估计的实用性,并通过实测数据对该算法进行实现。利用了抗差Kalman滤波改进CUBE算法。通过模拟数据对改进的CUBE算法进行实验,验证了算法改进的必要性。
作者:苏加强 丁柳云 期刊:《淮海工学院学报》 2013年第01期
在不平衡数据的分类学习中,研究如何提高少数类的分类性能具有重大意义。首先使用Hold0ut方法,采用分层抽样策略,随机采样不同种类的观测值;接着使用改进的AdaBoost.M1算法,忽略类不平衡的问题,来获取最高性能的异常值排序。实验结果表明,AdaBoost.M1方法对于高的查全率,其对应的查准率也是最高的。