银行记者卡列娜·马科托夫（Kalyeena Makortoff）抛出重弹——基于人工智能的“黑盒”歧视似乎超出了使用者的控制范围，这再次引发了一场围绕公共和私营行业人工智能使用的广泛辩论。当人们在某些特定情况下应用人工智能时，它所带来的风险真实且重大。最大的危险之一就是无意的偏见，它会对个人造成伤害。针对于此，欧盟的政治家们正计划推出首个全面的全球人工智能监管模板。将于 2024 年底生效的《人工智能法案》将产生广泛的影响。与欧盟的《通用数据保护条例》一样，《人工智能法案》将约束为欧盟客户提供服务的所有机构，确保这些机构使用被政府批准的人工智能，避免客户受到伤害。另外，当经过批准的人工智能系统发生故障或对个人造成伤害时，政府将提供补救措施。本文来自翻译，希望对您有帮助。
图1. 欧盟的《人工智能法案》（Artificial Intelligence Act）和《通用数据保护条例》（GDPR，General Data Protection Regulation）一样，将约束为欧盟客户提供服务的所有机构。
银行记者卡列娜·马科托夫这样写道：“基于人工智能（AI，Artificial Intelligence）的“黑盒”歧视似乎超出了使用它的组织的控制范围。”
一切源自 2019 年 11 月的一条推特：知名科技企业家大卫·海涅迈尔·汉森（David Heinemeier Hansson）强烈抨击苹果新推出的信用卡，称其为妻子提供的信用额度比自己低 20 倍，是赤裸裸的“性别歧视”。
这些指控以野火之势蔓延开来，汉森强调，做出上述性别歧视行为的罪魁祸首，是当前被广泛用于做出贷款决策的人工智能。“苹果代表的意图并不重要，重要的是他们完全信任的算法。被信任的算法做出的却是歧视行为。这太糟糕了。”
尽管苹果及其承销商高盛（Goldman Sachs）去年已经被美国监管机构判定违反了公平放贷规则，汉森关于“人工智能歧视”的上述指控再次引发了一场更为广泛的围绕公共和私营行业人工智能使用的辩论。
为了提高效率，各机构正越来越多地将日常任务自动化以削减成本，欧盟的政治家们正计划推出首个全面的全球人工智能监管模板。
这项《人工智能法案》立法的影响不会止步于欧盟，与欧盟的《通用数据保护条例》一样，它将适用于为欧盟客户服务的任何机构，包括英国的银行在内。艾达·洛夫莱斯研究所（Ada Lovelace Institute）的欧洲公共政策负责人亚历克山德鲁·斯修马如（Alexandru Circiumaru）说：“这项法案一旦被采用，怎样夸大其影响都不为过。”
欧盟人工智能“高风险”用途的最终清单，促进出台了严格的规则，这些规则规范了将人工智能用于筛选工作、大学或福利申请的方式，以及贷款机构评估潜在借款人信誉的方式。
欧盟官员希望，通过额外的监督和限制可使用的人工智能模型类型，来遏制基于机器的歧视。这些歧视可能会影响改变生活的决定，比如自己是否能负担住房或学生贷款。
独立金融技术顾问莎拉·科齐安斯基（Sarah Kociansk）说：“可以使用人工智能分析我们的整个财务状况，包括支出、储蓄和其他债务，从而得出一个更全面的规划图景。如果设计得当，这样的系统可以提供更广泛的可负担信贷渠道。”
但最大的危险之一就是无意的偏见，系统所使用的算法最终会拒绝向女性、移民或有色人种等部分群体提供贷款或账户。
人工智能分析存在的部分问题在于，大多数人工智能模型只能从提供给系统的历史数据中反馈出学习信息，这就意味着它们将会了解之前给哪些客户贷过款，以及哪些客户被标记为失信人员。科齐安斯基说：“有一种风险存在，即系统会对‘诚信’借款人的‘长相’产生偏见。值得注意的是，性别和种族往往在人工智能的决策过程中发挥作用，而这些决策过程是基于人工智能所训练出来的数据——所考虑的因素与个人偿还贷款的能力毫不相关。”
除此之外，一些模型在被设计时没有考虑所谓的受保护特性，也就意味着它们不打算考虑性别、种族、族裔或残疾的影响。但这些人工智能模型仍然可以通过分析邮政编码等其他数据特征对客户进行区分，这些数据的来源可能是之前从未有过申请、担保、偿还或抵押贷款历史记录的弱势群体。
图2. 人工智能最大的危险之一是无意的偏见，即算法歧视某些群体，包括女性、移民或有色人种。
在大多数情况下，当一个算法做出决定时，任何人都很难理解它是如何得出这个结论的，这导致了人们通常所说的“黑盒”综合征。这意味着一些未知的存在，比如：银行可能很难解释申请人可以采取哪些不同的做法来获得贷款或信用卡的资格，或者将申请人的性别从男性改为女性是否会产生不同的结果。
斯修马如表示，将于 2024 年底生效的人工智能法案，会惠及那些成功开发出符合欧盟新规则的“可信 AI”模型的科技公司。
人工智能初创公司因果镜头的总部位于伦敦，其首席执行官兼联合创始人达尔科·马托夫斯基（Darko Matovski）相信，causaLens 就是新规则的受惠公司之一。（译者注：causaLens，因果人工智能软件公司，开创了“因果人工智能”的先河。因果人工智能是新一代智能机器，最终能够理解“因果关系”——这是迈向真正人工智能的重要一步。）
人工智能初创公司 causaLens 于 2021 年 1 月公开成立，已经将自己的技术授权给了资产管理公司 Aviva 和量化交易公司 Tibra 等公司。该公司表示，在欧盟规定生效之前，许多零售银行正在与自己签署协议。
企业家马托夫斯基表示，causaLens 提供了一种更先进的人工智能形式，通过计算和控制数据中的歧视相关性来避免潜在的偏见。他说：“基于相关性的模型只能学习过去的错误，并将其重演到未来。”
他坚信，自己开发的这种被称之为因果人工智能的模型，将为可能失去教育和赚钱机会的边缘化群体带来更好的未来。
他说：“我们真的难以知道人工智能已经造成的破坏规模有多大，因为无法真正检查这个模型。我们不知道有多少人因为混乱的算法而不能上大学，也不知道有多少人因为算法偏差而无法获得抵押贷款。我们都不知道。”
马托夫斯基说，防止潜在歧视的唯一方法就是输入受保护的数据特征，如残疾、性别、种族，但要保证无论这些输入的具体值是什么样的，系统的决定都不会改变。
他表示，解决这一问题确保了人工智能模型能够反映我们当前的社会价值观，并避免延续过去任何种族主义、残疾主义或歧视女性的决策。他说：“社会普遍认为，无论人们的性别，邮政编码及种族是什么，都应该得到平等的对待。因此，算法不仅要努力做到这一点，还必须保证做到这一点。”
尽管欧盟的新规定很可能向遏制基于机器的偏见迈出了一大步，但包括艾达·洛夫莱斯研究所在内的一些专家也同时在推动消费者维护自己的权益：如果认为自己处于不利地位，有权投诉和寻求赔偿。
斯修马如说：“尤其是人们在某些特定情况下应用人工智能时，它已经带来了真实的、重大的风险。”
他还表示，“人工智能监管应确保通过批准或不批准某项人工智能的使用，来恰当地保护个人免受伤害，并在经过批准的人工智能系统发生故障或对个人造成伤害时提供补救措施。我们不能假设经过批准的人工智能系统总能完美运作，而在它们不能完美运作的情况下疏于防备。”
