多变量时序标记Transformer及其在电潜泵故障诊断中的应用
中文问题：多变量时序标记Transformer及其在电潜泵故障诊断中的应用
论文问题：多变量时序标记Transformer及其在电潜泵故障诊断中的应用
任命期刊/聚会：控制与决议 (海内EI中文期刊论文)
原文DOI：10.13195/j.kzyjc.2024.0266
原文链接：http://kzyjc.alljournals.cn/kzyjc/article/abstract/2024-0266
任命/见刊时间：2024年
作者列表：
1）李 康 公海彩船（北京）人工智能学院 自动化系西席
2）李 爽 公海彩船（北京）人工智能学院 硕士生
3）高小永 公海彩船（北京）人工智能学院 自动化系西席
4）李 强 公海彩船（北京）人工智能学院 硕士生
5）张来斌 公海彩船（北京）清静与海洋工程学院 清静工程系西席
摘要:
电潜泵故障诊断关于确保清静可靠采油至关主要 ，但电潜泵数据泛起出的多变量、非线性和动态转变等重大特征为该使命带来了严肃挑战。近年来 ，深度学习在重大数据特征提取方面体现出的强盛能力催生了一系列基于神经网络的电潜泵故障诊断要领。然而 ，大都要领忽略了电潜泵数据的动态特征及长时依赖特征提取难题的问题。针对上述问题 ，提出一种多变量时序标记 Transformer 神经网络实现电潜泵故障诊断。该模子设计了新的多变量时间序列标记战略 ，继续了引入多头注重力机制和残差毗连的古板 Transformer 神经网络编码器在长时依赖特征提取方面的优势 ，用前向神经网络替换了古板 Transformer 神经网络解码器以简化模子重漂后。通过对油田现场故障数据剖析 ，验证了该要领的有用性。实验效果批注 ，所提要领实现了 10 类电潜泵故障的准确诊断 ，相比盛行的深度学习要领诊断性能更优。
配景与念头:
电潜泵（Electric Submersible Pump, ESP）是一种主要的人工举升采油装备 ，因其提液能力强、排量大、扬程高 ，被普遍应用于海上油田、沙漠油田以及重大井况的中后期油田的采油使命中。然而 ，由于其结构重大 ，组件繁多 ，恒久运行在高温、高压、高杂质、高侵蚀的卑劣情形下 ，故障爆发频率高且类型多 ，好比沉积物和固体颗粒对泵造成磨损和梗塞 ，电缆的绝缘和防水泛起问题等。因此 ，实时准确地诊断电潜泵故障关于包管采油系统清静稳固运行至关主要。
设计与实现:
数据驱动的电潜泵故障诊断实质上是对多变量时间序列片断样本举行分类识别的问题。由于电潜泵故障数据是多变量时间序列片断样本 ，具有多变量、非线性、动态转变等特征 ，故障信息往往隐含在数据重大交织的时间和变量维度中 ，怎样从反应电潜泵运行状态的多变量时间序列信号中提取长时依赖特征成为准确诊断电潜泵故障的难点和要害。本文将针对这一挑战问题举行探索 ，提出基于多变量时序标记Transformer神经网络的电潜泵故障诊断要领。如图1所示 ，要领主要包括三部分：多变量时间序列标记 ，Transformer 特征提取及故障分类。其中 ，多变量时间序列标记�？橹饕允淙刖傩性ごχ贸头� ，兼顾数据的多变量、非线性和动态转变等特征 ，将其合理地体现为标记嵌入序列；Transformer 特征提取�？榇颖昙乔度胄蛄兄刑崛〕な币览堤卣�；故障分类�？樵蚧诔な币览堤卣鞅媸豆收侠嘈�。
图1 基于多变量时序标记Transformer神经网络的电潜泵故障诊断要领框架
主要内容:
一、多变量时间序列标记
首先将 x 分成多个时间子序列 ，体现为：
然后使用一个线性投影层将子序列映射到高维嵌入空间 ，并引入可学习的种别标记 ，毗连成标记嵌入序列 ，体现为：
为思量引入时间步信息 ，拟将位置嵌入与标记嵌入相加天生标记嵌入序列：
基于上述前向运算 ，将获得作为后续 Transformer编码器输入的标记嵌入序列 Tseq。
二、Transformer特征提取
Transformer 特征提取层是整个算法的焦点部分 ，该层通过栈式堆叠个自力的基础学习�？槭迪�。详细地 ，每个基础学习�？橹邪艘桓龆嗤纷⒅亓坪鸵桓銮跋蛲� ，残差毗连与层正规化也被用来改善模子精度和泛化能力。
图2给出了多头注重力机制的细节 ，将对每个差别的注重力头举行组合 ，并接纳线性映射来获得多头注重力值 ，公式化体现为：
图2 多头注重力机制
前向网络用来将多头注重力提取到的特征映射为越发笼统的特征。详细地 ，前向网络包括两个线性变换层和一个非线性激活层。为了改善网络的收敛能力 ，接纳高斯误差线性单位（Gaussian error Linear Unit, GeLU）激活函数取代古板的 ReLU 激活函数 ，详细体现为：
在Transformer层 ，残差毗连和层正规化被用在多头注重力机制和前向网络的输出部分。详细地 ，可将多头注重力机制�？楹颓跋蛲缡幼髯硬�Sublayer ，它们的输出将体现为：
综上 ，多变量时序标记将通过栈式堆叠的Transformer层实现长时依赖特征提取 ，最终用于故障分类。
三、故障分类
思量到古板 Transformer 神经网络解码器的输出是对编码器输入的重构 ，不适用于电潜泵故障诊断 ，而前向神经网络能够越发简朴、高效地实现电潜泵故障分类 ，因此设计了基于前向神经网络的故障分类器。它的结构包括一个全毗连层和一个softmax层 ，用于将由 Transformer 层提取的长时依赖特征转化为独热码。
基于多变量时间序列所属故障类别的概率值 ，使用极大似然准则即可实现故障类别的诊断效果。
实验效果及剖析:
差别算法在四种差别评价指标上的比照效果泛起在表1中。从表1中可以看出 CNN和LSTM 的体现略差于 CNN-LSTM 的综合体现 ，这表明在 CNN 特征提取的基础上融合LSTM 时序依赖特征提取的效果更好。别的 ，两种用于处置惩罚多变量时间序列分类的 Transformer 变体要领 FormerTime 和Gated-Transformer 均泛起出优于上述三种要领的表现 ，批注 Transformer 相比古板深度学习要领（CNN和 LSTM 等）在长时依赖特征提取方面更具优势。更主要的视察是 ，所提要领的综合体现优于所有比照要领 ，批注所提要领中设计的多变量时序标记战略更适于处置惩罚在电潜泵故障诊断使命。
表1 差别算法在四种评价指标上的比照效果（%）
为更详尽地剖析差别要领的电潜泵故障诊断体现 ，在图3中绘制了差别要领的混淆矩阵。其中 ，行体现样本故障类别的展望值 ，列体现样本故障类别的真实值。从图中可以看出大大都诊断失败的情形爆发在管柱漏失 LP、产液低 LL 和电气故障EF等几种故障 ，批注这三种故障模式相对较量重大 ，是较难诊断的故障。多变量时序标记 Transformer 神经网络与其他要领相比在其余故障上的诊断体现更优。别的 ，思量到差别要领提取到的数据特征的漫衍是评估模子泛化体现的主要指标 ，将差别要领提取到的特征举行了可视化。详细地 ，接纳 t 漫衍随机近邻嵌入（t-distributed Stochastic Neighbor Embedding, t-SNE）要领对特征举行降维 ，并绘制在图4中。从图中可以看出 ，相比其他要领 ，多变量时序标记Transformer 神经网络展现了更优的类内紧凑性和类间可分性 ，进一步验证了所提要领的优异特征提取能力和泛化体现。
图3 差别要领诊断效果的混淆矩阵
图4 差别要领对应特征的t-SNE可视化效果
结论:
本文提出了一种多变量时序标记Transformer神经网络 ，并将其应用于电潜泵故障诊断。区别于已有Transformer神经网络模子 ，多变量时序标记Transformer神经网络设计了新的多变量时序标记战略用于处置惩罚具有多变量、非线性、动态转变等特征的电潜泵数据 ，沿用古板 Transformer神经网络引入多头注重力和残差毗连机制 ，实现了更优的长时依赖特征提取效果 ，并用前向网络取代了古板Transformer 神经网络的解码器实现了模子简化 ，使之更适于处置惩罚电潜泵故障诊断使命。最后在真实油田现场电潜泵故障数据上验证了所提要领的有用性和优越性。
作者简介:
李康 ，师资博士后 ，博士 ，公海彩船（北京）人工智能学院自动化系西席 ，主要研究偏向为故障诊断与容错控制。