时间序列是指对一段时间内重复测量数据的记录。它可以追踪系统的长期趋势和短期波动。例如，著名的新冠肺炎每日新增病例曲线和自1958年以来追踪大气二氧化碳浓度的基林曲线。卡利安·维拉马查内尼表示，在大数据时代，“从卫星到涡轮机，到处都在收集时间序列数据。所有这些机器都配备了传感器，用于收集其运行状况的时间序列数据。”.
但是，分析这些时间序列并标记其中的异常数据点可能很困难。数据可能包含噪声。如果卫星运营商看到一系列高温读数，他们如何判断这只是无害的波动，还是卫星即将过热的迹象？
麻省理工学院信息与决策系统实验室数据到人工智能小组的负责人维拉马查内尼（Veeramachaneni）希望解决这个问题。该小组开发了一种基于深度学习的新方法，用于检测时间序列数据中的异常情况。他们的方法名为TadGAN，其性能优于其他同类方法，可以帮助操作人员检测并应对各种高价值系统中发生的重大变化，例如在太空中飞行的卫星，以及在地下室运行的计算机服务器集群。.
该研究成果将在本月举行的IEEE大数据会议上发表。论文作者包括数据到人工智能研究小组的成员Veeramachaneni、博士后刘东宇、访问研究学生Alexander Geiger和硕士研究生Sarah Alnegheimish，以及来自西班牙胡安·卡洛斯国王大学的Alfredo Cuesta-Infante。.
高风险：
对于卫星这样复杂的系统，时间序列分析必须实现自动化。与维拉马查内尼合作的卫星公司SES，会从其通信卫星接收海量的时间序列数据——每颗卫星大约有3万个独特的参数。SES控制室的操作员只能在屏幕上追踪其中一小部分时间序列数据。对于其余数据，他们则依靠警报系统来标记超出范围的值。“所以他们问我们，‘你们能做得更好吗？’”维拉马查内尼说道。该公司希望他的团队利用深度学习来分析所有这些时间序列数据，并标记任何异常行为。
这项请求意义重大：如果深度学习算法未能检测到异常，团队可能会错失修复问题的机会。但如果它每次遇到噪声数据点就发出警报，人工审核人员就会浪费时间不断检查发出“狼来了！”警报的算法。“所以我们面临这两个挑战，”刘说，“我们需要找到平衡点。”.
该团队并未仅仅致力于在卫星系统中实现这种平衡，而是努力创建一个更通用的异常检测框架，使其能够应用于所有行业。他们采用了名为生成式反向网络（GAN）的深度学习系统，该系统通常用于图像分析。.
生成对抗网络（GAN）由一对神经网络组成。其中一个网络，即“生成器”，负责生成虚假图像；而另一个网络，即“判别器”，则负责处理这些图像，并尝试判断它们是真实图像还是生成器生成的虚假图像。通过多轮迭代，生成器会从判别器的反馈中学习，并逐渐擅长生成高度逼真的虚假图像。该技术被认为是“无监督”学习，因为它不需要预先标注图像主体的数据集。（获取大型标注数据集可能很困难。）.
研究团队将这种生成对抗网络（GAN）方法应用于时间序列数据。“利用这种训练策略，我们的模型可以区分哪些数据点是正常的，哪些是异常的，”刘说道。它通过检查真实时间序列和GAN生成的虚假时间序列之间的差异（即潜在的异常）来实现这一点。但研究团队发现，仅靠GAN不足以检测时间序列中的异常，因为它们可能无法准确确定应该将虚假数据与真实时间序列中的哪一部分进行比较。因此，“如果只使用GAN，就会产生大量的误报，”维拉马查内尼说道。.
为了防止误报，研究团队在生成对抗网络（GAN）的基础上，加入了自编码器算法。自编码器是另一种无监督深度学习技术。与GAN容易发出警报不同，自编码器更容易漏掉真正的异常。这是因为自编码器往往会捕捉到时间序列中过多的模式，有时会将真正的异常误判为无害的波动——这个问题被称为过拟合。通过将GAN与自编码器相结合，研究人员创建了一个完美的平衡点：TadGAN既能保持警惕，又不会产生过多的误报。.
经受住了时间序列测试
此外，TadGAN 的表现优于其他竞争对手。传统的时序预测方法 ARIMA 开发于 20 世纪 70 年代。“我们想看看我们取得了多大的进步，以及深度学习模型是否真的能够改进这种经典方法，”Alnegheimish 说。.
研究团队对 11 个数据集进行了异常检测测试，将 ARIMA 与 TadGAN 以及其他七种方法（包括亚马逊和微软等公司开发的算法）进行了对比。在 11 个数据集中，TadGAN 在八个数据集的异常检测性能上优于 ARIMA。而亚马逊开发的第二佳算法仅在六个数据集上优于 ARIMA。.
Alnegheimish强调，他们的目标不仅是开发一流的异常检测算法，还要使其广泛可用。“我们都知道人工智能存在可复现性问题，”他说道。该团队已将TadGAN的代码公开，并定期更新。他们还开发了一个基准测试系统，方便用户比较不同异常检测模型的性能。.
“这个基准测试是开源的，任何人都可以去试用。他们也可以根据需要添加自己的模型，”Alnegheimish说道。“我们希望消除人们对人工智能无法复现的偏见。我们希望确保一切都具有鲁棒性。”.
维拉马查内尼希望TadGAN有朝一日能服务于各行各业，而不仅仅是卫星公司。例如，它可以用来监控那些已成为现代经济基石的计算机应用程序的性能。“为了运行一个实验室，我安装了30个应用程序。Zoom、Slack、GitHub，你能想到的我都有，”他说。“我相信它们都能完美运行，而且会一直如此。”对于全球数百万用户来说，情况也是如此。.
TadGAN 可以帮助像 Zoom 这样的公司监控数据中心的时间序列信号（例如 CPU 使用率或温度），从而防止可能威胁公司市场份额的服务中断。未来，该团队计划将 TadGAN 集成到用户界面中，以便让所有需要的人都能使用下一代时间序列分析技术。.
这项研究由SES资助并合作完成。.
