“可解释人工智能”是人工智能和机器学习领域一个日益受到关注的研究方向。人工智能技术虽然能够基于数据自动做出决策，但“可解释人工智能”还能为这些决策提供具体的解释，从而避免所谓的“黑箱”现象——即人工智能通过不明确且可能存在问题的方式得出结论。尽管某些技术也能在出现不良结果时提供一些假设性的改进方案，但它们并未提供任何具体的改进步骤。例如，如果人工智能对一个人的健康状况做出判断，并认定其不健康，那么这项新技术可以首先基于身高、体重和血压等医疗数据解释这一结果的原因。然后，它可以根据医疗测试和历史数据中大量复杂因素之间的相互作用，为用户提供具体的健康恢复建议，并展示具体的改进步骤，同时兼顾实施的可行性和难度。这项新技术有望提升人工智能决策的透明度和可靠性，使更多人未来能够与这些技术互动，从而增强信任感和安心感。发展背景：目前
，深度学习技术广泛应用于需要执行高级任务的人工智能系统，例如人脸识别或自动驾驶，它们基于大量数据，利用一种“黑箱”预测模型自动做出各种决策。然而，未来确保人工智能系统的透明度和可靠性将成为人工智能为社会做出根本性贡献的关键问题。这一需求促使人们对“可解释人工智能”技术产生了浓厚的兴趣，并开展了相关研究。例如，在医疗评估中，人工智能可以根据体重和肌肉量等数据成功确定疾病风险等级（图1(A)）。除了风险评估结果之外，人们越来越关注“可解释人工智能”，它能够呈现构成评估基础的属性（图1(B)）。由于人工智能根据输入数据的属性判断健康风险较高，因此可以改变这些属性的值，从而获得健康风险较低的理想结果。




为了在人工智能自动决策中取得理想的结果，不仅需要指出需要改变的属性，还需要指出可以用最小的努力改变的属性。.

在体检案例中，如果目标是将人工智能的决策结果从高风险状态转变为低风险状态，那么增加肌肉量（图2 变化1）似乎是最省力的实现方式。然而，仅增加肌肉量而不改变体重是不现实的，因此同时增加体重和肌肉量才是更现实的解决方案（图2 变化2）。此外，体重和肌肉量等属性之间存在诸多相互作用，例如体重会随着肌肉增长而增加，而改变所需的总努力程度取决于改变属性的顺序。因此，有必要确定合适的属性改变顺序。在图2中，从当前状态到变化2，究竟应该先改变体重还是先改变肌肉量并不明显，因此，考虑到众多潜在方案的可能性和改变顺序，找到合适的方法仍然是一个挑战。.

图 2 属性变化

关于所开发的新技术：富士通实验室和北海道大学信息科学技术研究生院有村实验室通过机器学习和数据挖掘的联合研究，开发出了新的人工智能技术，可以向用户解释人工智能决策背后的原因，从而发现有用且可操作的见解。.

诸如LIME (1) 和SHAP (2) 等人工智能技术旨在辅助用户决策，它们通过解释决策背后的逻辑，使决策更具说服力。这项新开发的技术基于反事实解释 (3) 的概念，并将属性变化及其执行顺序呈现为一个流程。人工智能通过分析过往案例来避免不切实际的变化，同时评估属性值变化对其他值的影响（例如因果关系），并计算用户实际需要更改的量。这使得人工智能能够以正确的顺序和最小的努力，提出能够实现最佳结果的行动方案。.

例如，如果为了降低与输入属性及其顺序（图 1(C)）相关的风险，需要在体检中增加 1 公斤肌肉和 7 公斤体重，才能达到预期结果，那么可以通过预先分析肌肉量和体重之间的相互作用来估算二者之间的关系。这意味着，如果增加 1 公斤肌肉，体重将增加 6 公斤。在这种情况下，增加 7 公斤体重所需的肌肉量仅为 1 公斤。换句话说，实际需要做的改变是增加 1 公斤肌肉和 1 公斤体重，因此与先改变体重相比，可以更轻松地达到预期结果。.

图 3 属性之间的交互作用和变化

成绩


[1] LIME。一种可解释的人工智能技术。它使用简单易懂的模型进行解释。
[2] SHAP。一种可解释的人工智能技术。它展示模型中解释变量的贡献。
[3] 反事实解释。一种指出和解释与事实不同的状态的方法，例如“如果我这样做，结果就会是……”