400-848-8001

如何确保自主武器安全可控

2020-08-18 15:11:00
来源:解放军报
TAGS:

●在自主武器运用过程中,人类应该同时扮演和体现三种角色:操作控制者、失效保护者、道德判断者

随着人工智能由计算智能、感知智能向认知智能迈进,自主武器的自主能力将实现跃升。“自主”意味着武器有了像人类一样的智慧“大脑”,能够代替人类走上战场,有效降低人类自身伤亡的风险。在人工智能技术的强力驱动下,自主武器的控制方式将由“遥控式”“半自主式”向“全自主式”转变。在人类逐步“远离战场”和追求“零伤亡”的过程中,如何确保自主武器安全可控,将是一个重大而紧迫的现实课题。

从自主武器发展历程看,“遥控式”属于“人在回路中”的控制方式,其优点是自主武器全程在人的主导下控制,即使在战场突发或意外情况下,也能由人及时采取措施灵活应对;缺点是需要耗费一定人力,特别是在自主武器数量庞大的情况下,人将无法有效控制,甚至超出人的控制能力。“半自主式”属于“人在回路上”的控制方式,其优点在于部分解决了“遥控式”存在的缺点,即自主武器具备一定的自主能力,在一定程度上减少了人的工作量;缺点是人仍然没有脱离“回路”。“全自主式”属于“人在回路外”的控制方式,其优点是基本不需要或完全不需要人工干预控制。

“全自主式”不需要人工干预控制,这虽然是优点,但也存在一定的安全隐患。自主武器就像人类一样,是在不断“学习”已有知识的过程中不断发展完善的。由于战争迷雾和战场不确定性的存在,战场上随时出现的突发或意外情况,均有可能让自主武器“大脑短路”而无所适从,甚至出现自主武器误伤或失控而导致悲剧发生。据外媒资料介绍,2007年10月,美军在南非举行演习中,由于自动防空系统出现故障而造成火炮失控。负责该系统的军官试图关闭火炮的自动发射装置,但是由于被计算机系统接管而导致关闭失效,只能等火炮自动装弹机内的高爆炮弹全部打完。这次意外事件造成美军多名官兵死亡或重伤。类似教训启示我们,即使自主武器实现了“全自主式”,如果没有制订应急处置预案或者设置人工干预控制手段,那么一旦出现意外或失控情况将造成难以估量的后果。

除了战场突发或意外情况之外,自主武器软件自身存在的错误、漏洞也会导致自主武器功能失效,从而降低完全自主的效率和效能。自主武器软件是在智能算法的基础上设计开发的。软件的代码越多,检测错误或漏洞就越困难。研究表明,软件行业的平均错误率为1.5%~5%,即平均每1000行代码有15到50个错误。在某些情况下,严格的内部测试和评估能够将错误率降到0.01%~1.15%。如果检测时没有发现这些错误或漏洞,就可能导致自主武器在实际运用时发生事故。

正是由于“全自主式”存在安全性和风险性,甚至有可能带来法律、道德和伦理等问题,国际上要求限制甚至禁止使用自主武器的呼声越来越高。但是,随着人工智能技术的创新发展和深化应用,在自主武器能够使人类“远离战场”和实现“零伤亡”的巨大诱惑下,在自主武器潜在的军事价值影响下,自主武器发展的势头将难以阻挡。

解决自主武器发展与禁止的矛盾,一条可行的路径就是从技术层面入手,正确定位人的角色,及时排除和有效解决“人在回路外”的安全隐患。为了实现安全可控的“全自主式”,在自主武器设计之初,就要从系统整体的角度出发,考虑如何配备紧急情况下的人工干预控制“按钮”,制订复杂战场条件下的各种处置预案,从而提供应急备份和安全保底手段。在自主武器运用过程中,人类应该同时扮演和体现三种角色:操作控制者、失效保护者、道德判断者。因此,对于“全自主式”,虽然“人在回路外”,但是至少在以下两种紧急情况下,人类必须具备临时直接干预控制的能力:一是即将面临危险时,自主武器没有采取降低危险程度的措施;二是已经处于危险状态时,自主武器继续自主执行错误指令。如果出现上述情况,那么人类应该及时按下应急干预控制的“按钮”,进入“半自主式”或“遥控式”模式。待查明情况或隐患排除后,再进入“全自主式”模式。也就是说,“半自主式”和“遥控式”应该作为“全自主式”的应急备份模式。

在“遥控式”“半自主式”向“全自主式”转变的发展趋势下,随着认知智能的创新突破和发展完善,在人类逐步脱离“回路”的过程中,无论是对于敌方还是对于我方,实现安全可控的“人在回路外”的控制方式,既是自主武器运用的前提条件,也是在发生不可预测情况下的保底要求。

责任编辑:郑智杰

查看全部

热门资讯

推荐资讯