“开车不用手”已经从以前的科幻电影中成功地复制到了现实路面上。随着人工智能技术的不断深入研究与应用，这个听起来很酷的事情已经变成现实。我国人工智能技术在自动驾驶、电子商务、金融、医疗等多个领域都得到了快速发展。人工智能正在帮助我们完成越来越多的事。
2017年7月，国务院制订了《新一代人工智能发展规划》，把发展人工智能上升到国家战略高度。在提升劳动生产，促进经济发展上，人工智能的确功不可没。然而这项造福人类的技术，却在社会新闻中频频出现，各类“事件事故”让大众“心惊胆战”：特斯拉自动驾驶在中国出现首例死亡事故；自动驾驶汽车误把白色卡车当成天空；AI招聘软件偏爱男性候选人；英国一例心脏手术，AI反馈失灵致使医生失误...
安全隐患、隐私泄露、人脸识别隐患、技术滥用、大数据杀熟等问题的暴露，引发了公众对于人工智能使能系统决策的信任危机，也让市场各方也愈加重视人工智能的可靠性、公平性和伦理问题。
人工智能真的智能吗？人工智能真的安全吗？人工智能怎样才能更可信？针对于这些问题，浙江大学管理学院孔祥维教授、博士研究生王子明、王明征教授、胡祥培教授对人工智能可信决策进行了深入研究。他们的研究成果发表于《管理工程学报》，为探索如何让人工智能使能系统决策可信提供了学术支持与引导方向。
他们为何专注于这项研究？
人工智能（artificial intelligence, AI）技术已经渗透到许多领域，成为了新一轮科技革命和产业变革的核心驱动力。人工智能作为新一轮产业变革的核心力量，正重塑着生产、分配、交换和消费等经济活动各环节。从工业、农业到基建，从衣食住行到医疗教育，AI技术正在社会经济各领域深度融合和落地应用。
利用AI代替人类处理海量数据并迅速做出高精度的预测和决策任务，可以大大提高决策效率，降低人力成本,促进生产力的提升。
人工智能在为人民生活创造便利，为社会发展创造价值的同时，在自动驾驶和智能医疗等高风险应用中产生了许多不可预知的风险和事故。这使得人们对人工智能使能系统决策产生了全球范围内的信任危机。
在自动驾驶领域，2021年7月至2022年5月期间，12家公司向美国国家公路交通安全管理局报告了无人驾驶的367起碰撞事故，其中有11次发生严重伤亡。在医疗健康领域，大名鼎鼎的IBM Watson Health经常给出错误的癌症治疗建议，还为已经大出血的癌症病人开出了可能导致出血的药。在社会生活领域，美国司法判决在利用COMPAS AI犯罪风险评估算法时出现了对黑人的系统性歧视偏见；谷歌的广告算法展示给女性用户的招聘职位要比展示给男性的待遇低等。
这些高风险领域的失误令人难以信任人工智能决策，因为AI在统计层面上0.01%的错误概率，发生在每个个体上都是100%的不可承受之痛。基于此，学者和业界人士逐渐认识到，AI决策信任被不可解释、不可问责、种族或性别歧视、隐私泄露等黑云笼罩着。
如果任由不可信的AI决策继续发展，将会造成不可估量的生命财产损失和严重社会影响。那么，什么导致了人工智能决策的信任危机？人工智能使能系统决策如何才能可信？他们的团队注意到了这些亟待解决的问题。
他们从哪些方向开展研究？
针对存在的人工智能决策信任危机和风险问题，孔祥维教授团队首先分析了人工智能使能系统的风险和不确定性，根据其风险来源从模型、数据和信任三重视角重点阐述了人工智能可信问题的研究进展。
从模型的可解释性和可问责性、数据的公平性和安全性和用户对AI信任五个维度对相关研究方法和应用进行了综述分析，并按照风险来源、伦理性准则和行业应用的角度进行归纳，对可信AI的行业异质性和共性规律做出分析。
随后，从管理学的视角出发，提出了在多重不确定情境中AI系统可信决策的挑战问题，以及贯穿人工智能系统生命周期的人机协同可信框架。
最后，对人工智能使能系统可信决策的未来发展进行了展望，期望对解决多重不确定情境下的可信决策问题具有理论上和实践上的指导意义。
他们的研究解决了哪些问题？
（1）哪些风险导致了人工智能使能系统决策的信任危机？
孔祥维教授团队的探究视角主要聚焦在了AI技术自身的内生性风险以及在人机交互信任问题这两个方面。
前者主要是模型角度和数据驱动的内生风险，包括AI模型黑盒特性导致的不可解释风险与不可问责风险，以及数据偏差导致的不公平风险和数据安全引发的不可靠风险等四个方面。后者是需要委托人工智能进行直接决策或者采用人机协同决策时产生的信任风险。上述这些风险共同影响了用户对AI系统的采纳和决策的信任。
（2）哪些因素可以增加人工智能使能系统的决策可信程度？
针对人工智能使能系统可信决策的理论研究最早从可信AI系统的设计原则上开展，期望从宏观方向上指导AI应用向着可信的方向发展。
可信的AI决策通常需要两方面的准则，一是功能性准则，要求AI系统在技术和功能上可信，即要求AI模型具有较高的准确率、鲁棒性和安全性等，这是AI应用的共识前提。
二是伦理性原则，要求AI系统决策过程中符合伦理道德标准，才能得到人类的信任。其中，可解释性、公平与偏见、安全与隐私性和可问责性是当前业界达成共识的最重要的四个原则，这也与上述风险紧密相关。这些伦理原则之间的优先级关系和内部边界还没有清晰地界定。围绕人工智能使能系统的AI模型、大数据和人机交互等关键要素，如何实施这些原则有许多值得探讨的问题和需要的解决路径。
本项研究成果对AI行业有何启迪？
（1）弥补理论与实践之间的鸿沟
本项研究对AI使能系统可信决策的国内外研究最新进展进行了梳理，在一定程度上弥补了现有研究对人工智能可信决策的原则在理论与实践之间的鸿沟。研究为当前AI使能系统的可信决策研究提供了崭新视角，有效地把握提炼了该主题的关键方向，为从事相关领域学者的研究工作提供方向性的引领思路。
（2）提出多重不确定情境中的挑战
从管理视角，提出了多重不确定情境中AI可信决策的挑战，包括对AI的持续信任、多重不确定性和新型人机协同团队的决策模式等。在本项研究成果中，如何组建可信人机协同团队、跨组织的可信决策问题将是人工智能使能系统可信决策未来发展的挑战问题。
不确定性增加与人机协同中的决策迭代，©管理工程学报
（3）人机协同可信框架
本项研究提出了贯穿人工智能系统生命周期的人机协同可信框架。从人工智能使能系统主要参与者之间的协同交互出发，将AI可解释性、公平性、安全隐私性、可问责性以及可信组件在一个连续有机的整体系统框架中实施，并对具体行业进行针对应用分析，在如何解决可信人工智能监管难题和AI可信决策的度量和标准化等方面对AI可信决策实践具有指导意义。
一方面，随着AI不断深入决策制定过程，需要在各种组织内建立高效可信的人机协同团队，并且合理协调跨组织层级智能决策的人机权力分配。另一方面，应该对人工智能决策做出适当的监管，建立配套的度量和标准化管理方案，在提升AI商业价值和保护公众利益之间达成平衡，充分考虑不同决策类型、应用场景、风险等级的具体要求。
封面图片©千库网
