自动算法目前管理着美国股市超过一半的交易量，随着人工智能的改善，它将继续控制重要的金融决策。但这些系统并非万无一失，一个小故障可能会导致股价暴跌，可能会让投资者损失数十亿美元。

对于企业来说，接受这种风险的决定很简单，自动化系统中的算法比任何人类都更快、更精确，而运用最先进的人工智能系统技术可以让企业继续经营下去。但对社会的其他人来说，后果还不清楚。人工智能给企业带来了竞争优势，但这些快速发展的系统会保持安全和健壮吗?当他们犯错误时会发生什么?

自动错误

密歇根大学计算机科学教授迈克尔·威尔曼(MichaelWellman)研究人工智能对金融系统的威胁，他解释说，“金融系统是人工智能自动化领域的领先优势之一，同时也是一个特别脆弱的领域。它很容易被破坏，坏事也会发生。”

想想骑士资本的故事，2012年8月1日，奈特决定试用新软件，以便在新的交易池中保持竞争力。该软件通过了安全测试，但当Knight部署它时，算法激活了它的测试软件，而不是实时交易程序。测试软件在接下来的几分钟内发出了数以百万计的坏订单，虽然骑士迅速的阻止它，但伤害已经造成了。仅在45分钟内，奈特资本就损失了4.4亿美元，几乎是2011年利润的四倍，这一切都是因为一行代码。在这种情况下，损失仅限于奈特，但当一行代码可以影响整个金融系统时，会发生什么呢?

理解自主交易代理

威尔曼认为，自主的交易代理很难控制，因为它们以前所未有的速度处理和响应信息，它们可以很容易地大规模复制，它们独立行动，而且它们适应自己的环境。随着通用能力的日益增强，系统可能会学会以程序员从未想过的危险方式赚钱。为了防止人工智能系统破坏市场的透明度和稳定性，政府机构和学术界必须了解这些机构是如何工作的。

市场操纵

即使对人工智能的良性使用也会阻碍市场透明度，但威尔曼担心人工智能系统将学会操纵市场。

自主交易代理在利用套利机会方面尤其有效，他们同时买卖一项资产，以从价差中获利。例如，如果一只股票在一个市场的交易价格为30美元，在第二个市场的交易价格为32美元，代理人可以购买30美元的股票，然后立即在第二市场以32美元的价格出售，从而获得2美元的利润。

市场的低效率自然创造了套利机会，然而，人工智能可能会学会靠自己，通过采取误导的行动来创造价格差异，从而推动市场产生利润。一种操纵技巧是“欺骗”，对股票项目进行投标的行为，目的是在执行之前取消投标。这将使市场朝着一定的方向发展，而欺骗者则从虚假信号中获利。

威尔曼和他的团队最近在他们的实验室模型中复制了欺骗，作为理解欺骗可能有效的情况的努力的一部分。他解释说：“我们在实验室里这样做，是想看看我们是否能够描述认可机构这样做的特征，这样我们就能可靠地检测到它，并设计出降低脆弱性的市场。”

随着经纪人的改进，他们可能会学着更加恶意地利用套利，在市场上制造虚假的产品来误导交易员，或者通过入侵账户来报告影响市场的虚假事件。威尔曼的工作旨在产生方法来帮助控制这种操纵行为。

金融世界的秘密

金融的隐秘性质使学者们无法充分理解人工智能的作用。威尔曼解释说：“我们知道他们在很大程度上使用人工智能和机器学习，而且他们一直在努力改进他们的算法。我们不知道目前市场操纵和欺骗行为在多大程度上是自动化的，但我们知道它们可能是自动化的，这可能导致市场操纵者与试图检测和监控市场不良行为的系统之间的某种程度的军备竞赛。”

政府机构中如证券交易委员会应该密切关注金融市场，但“就技术发展而言，它们的实力确实落后了”威尔曼指出，“他们没有专业知识或基础设施来跟上行业变化的速度。”但学术界可以提供帮助。根据威尔曼的说法，“即使我们自己不做金钱交易，我们也可以逆向工程金融世界中必须发生的事情，并弄清楚会发生什么。”

为高级ai人工智能做准备

虽然威尔曼研究的是当前和近期的人工智能，但他担心的是高级通用人工智能的威胁。他解释道：“我们可以做的一件事，就是设法了解远距离人工智能，即获得处理短期人工智能的经验。这就是为什么我们要研究自治代理的监管，这些监管非常接近地平线或当前。希望我们能学到一些教训，以便以后当超级智慧出现时能加以应用。”

人工智能系统正在迅速改进，金融公司之间在使用这些系统方面存在着激烈的竞争。了解和跟踪人工智能在金融中的作用将有助于金融市场保持稳定和透明。