非洲裔美国女性,脸上有模糊的方块。

足球即时比分 算法中的偏差

生活中充满了数据,但是当数据拥有自己的生命时会发生什么?

算法不仅仅是方程式。他们重新定义了我们。

几年前,有传言称一家跨国科技公司正在制造 在最终确定和实施计算机化招聘工具方面取得了巨大进展。使用人工 智力(AI),该程序按照 1 到 5 的等级对求职者进行评分,并预测 哪位最优秀的候选人最适合这份工作。

该工具开发大约一年后,当程序员发现 该软件公然歧视女性。申请人受到处罚 从女子学院毕业,甚至只是简单地使用“女子”一词 他们的简历。

詹妮弗·斯莱克 (Jennifer Slack) 坐在办公桌前,桌上堆满了书。
Jennifer Daryl Slack 的研究探讨了日常生活如何与技术相互关联。

经过一番调查,程序员发现偏差源于数据输入 - 该工具经过培训,可以根据公司收到的简历来审查申请人 之前的十年。这些简历大部分来自男性,而且大多数 最终聘用的员工中有一半是男性。因为招聘工具已被编程为教授 它分析了数据并“了解到”男性 比女性更受欢迎。

程序员试图让该工具更加中性,但很快就意识到了这一点 无法阻止该计划基于其他理由进行歧视。项目 就悄然解散了。当实验的消息泄露给媒体时,该公司 公开表示该工具从未用于做出现实生活中的招聘决策。

别的不说,这个实验展示了一个重要的教训:在人类世界中, 人工智能有其局限性。因此,如果人工智能继续存在,那么人类如何继续留在驾驶员的位置上? 座位?

算法和蓝调

被放弃的招聘工具就是所谓的机器学习算法。一种算法 只是一个计算方法,一个实现特定结果的过程,一组 解决问题的规则。使用机器学习算法,规则不受驱动 按照人类的逻辑;它们会被计算机本身不断地修改。

计算机算法的范围从简单(计算机用户确认他们是 13 或更老的人才能建立 Instagram 帐户)到复杂的大型决策 软件系统可以出于各种目的快速评估大量数据 或输出。

数学客观性的承诺带来了算法决策 贷款、福利、工作面试、学校安置(高等教育和 K-12),以及 甚至谁应该获得保释、假释和监禁。

“算法是对生活复杂性的数学操纵,”说詹妮弗·达里尔·斯莱克,足球比赛结果传播与文化研究杰出教授人文系。 “算法可以让你管理复杂性,但它是通过简化、优先排序、 并重视某些事物胜过其他事物。这是一个从根本上来说存在偏见的过程。”

“我们创建算法时所做的并不是一个全新的过程,”说道斯特夫卡·赫里斯托娃,数字媒体副教授,Slack 的同事 人文学科。 “这是 19 世纪出现的历史轨迹的一部分 数据科学。算法文化起源于人体测量学等 (测量人体以进行识别和变异)和颅相学(研究 头骨的形状和大小来预测性格和心理能力)。我们的努力 将人口转化为数据的过程现在已经转化为机器机制 学习。”

机器学习算法的作用是关联——它们将数据分为孤立的类别, 只连接看似相关的部分,而忽略差异。这导致 赫里斯托娃称之为唯我同质性,即算法在其自身内部运行 创建一个相同的结构,然后在该结构的基础上进行构建——基本上,你的 Netflix 队列。

“这是一个排除创造力和创新的系统,因为你会获得更多 同样,”赫里斯托娃说。 “当采用算法时,这也是一个有问题的结构 社会内部。当你有一台机器来决定谁会做得好时会发生什么 员工?它连接相似的东西,这就是偏见产生的地方之一 在。”

想象一个算法,用于确定应邀请谁申请密歇根大学 技术。机器会分析过去谁被邀请申请的数据,谁 确实申请了,谁最终被录取了。从该分析中,它可以了解谁是最 可能会就读Tech。

“当您将范围缩小到特定功能时,算法开始定位 那些‘看起来像’足球比赛结果学生的人,”斯莱克说。 “你会失去多样性, 因为这不是一个广泛的过程。没有人注意到谁被留下 如果一切都交给机器和算法,那就出问题了。”

心灵与机器

在金融和保险领域,人们获得资金或保险的能力 通常是由算法决定的,而不是由阅读文件或与问题会面的专家决定 亲自申请。该算法设置“点”或标记来确定哪些 申请人是最好的(或最差的,视情况而定)。作为对每个申请的决定 完成后,它会了解更多关于谁是理想的、谁是不理想的信息,并且 点或标记得到进一步加强。

“技术是一种新文化,而不仅仅是一种背景。”

洪顺官
洪顺官
营销学副教授

“如果您居住在犯罪率较高的贫困社区,您的汽车保险将会 更高,”斯莱克说。 “保险的目的是分散成本,但那是 不是发生了什么。算法正在分析数据,而不是桌上的人。 它惩罚了资源较少的人,却使境况较好的人受益。”

Slack 表示,显然,设计者之间的多样性越强 算法的偏差越小。 “但如果你只专注于设计 级别,你错过了无数其他将会发挥作用的问题 创造的多样性,”她说。

许多其他问题都源于算法实现中的偏差。

今年早些时候,全球各国政府停飞了波音 737 Max 飞机 两次事故造成数百人死亡。第四代737机型, 为了竞争,Max 升级了更大的发动机和更高的燃油效率 与空客 A320neo 一起。

在打造 737 Max 时,设计师努力确保飞机尽可能相似 737 的早期版本,以避免对飞行员进行昂贵的飞行培训 模拟器。 (估计这样的培训需要花费数千万美元。) 然而,更新、更大的发动机必须以不同的方式安装,从而改变空气动力学 以及飞机的重量分布。新的发动机布置导致飞机 在某些情况下鼻子会向上推,因此设计者创建了一种算法 会自动降低飞机机头。

“我们需要审视这些是否是我们想要支持的文化价值观。”

詹妮弗·斯莱克
詹妮弗·达里尔·斯莱克
传播与文化研究杰出教授

媒体报道表明,由于波音公司正在与空客公司竞争,因此它希望 尽快将飞机推向市场并且不想支付培训费用。 虽然目前尚不清楚闭幕后进行了哪些对话和流程 据了解,波音公司在没有通知飞行员的情况下交付了产品 算法的。

“在实施该算法时,该公司似乎未能充分考虑 与飞行员的帐户交互以及飞行员可能需要的可能情况 采取行动,”斯莱克说。 “这是一个财务决定。一个价值决定。”

无论算法的设计多么出色,问题是 在实施过程中,有人确定了可接受的风险。松弛 强调你不必将恶意归咎于波音公司。 “这不是一个问题 一个令人发指的公司——这是一个算法问题。你无法在现实生活中编写代码。 你对生活进行转码。这需要必要的减少和简化。”

对机器学习的愤怒

“算法影响着每个人类系统;它们是不可避免的,”说道洪顺官,市场营销学副教授商业与经济学院.

从约会服务到导航应用,从简历筛选和员工评估 针对特定社区的警察巡逻队,洪——研究消费文化的人—表示人们没有意识到算法在日常生活中的存在程度 生活。 “人们倾向于采取极端立场——他们赞扬技术或批评技术 它。但最好的前进道路是一种参与性立场,由人(而不是算法)做出决定 选择何时使用技术、何时拔掉电源以及共享或不共享哪些数据。”

Slack 指出,这可能很棘手,因为在许多情况下,“您无权 了解算法。算法环境缺乏透明度, 而且配方通常是专有的。没有人完全理解机器学习 过程,”她补充道。 “这是无监督学习。”

Slack 和 Hristova 表示,我们必须审视一下我们将决策移交给他人的难易程度 算法并询问我们优先考虑什么。

“没有被关注的,”Slack 强调,“是我们文化中重视的部分 并赞扬转向算法来完成某些类型的工作的过程。我们的 心态是先承担风险,然后再解决。这可以接受吗?”

Hristova 和 Slack 表示,我们必须创建一个提出这些问题的流程并考虑 设计和实施的不同时刻如何相互关联。在一起, 他们正在开发一种干预设计和实施的方法 算法的方式允许人类思考道德问题、文化问题 考虑因素和潜在的政策干预措施。他们的研究成果将被安置在 在足球比赛结果的新政策、道德和文化研究所。

“算法设计和实现的每个阶段都提供了不同的机会 进行干预,”赫里斯托娃说。 “干预通常更像是 调整,而不是彻底改革。我们会微调并解释这个方程。”

“我们需要围绕创建和部署更加民主、开放和道德的文化 算法,”她继续说道,“但算法只是一个秘诀。一个方程。他们 可以重新定义。更重要的是,我们需要成为差异化的积极寻求者。 我们必须寻求不同的观点,并相互沟通以找到共同点 地面。”

明天的需要:政策、道德和文化研究所

余额图标。2019 年 4 月,足球比赛结果开始规划新政策、道德和文化研究所 (IPEC),将探讨政策影响、道德考虑和文化 21 世纪广泛的技术变革和颠覆力量的重要性 世纪。 IPEC 研究人员(包括 Slack、Hristova 和 Hong)将解决问题 喜欢算法文化;医学和生物技术;技术和自主权;监视 和隐私;并重新配置人与环境之间的关系。

“技术进步是必要的,但不足以应对全球挑战 与人类福祉、生态系统健康和气候变化有关,”说莎拉·格林,教授化学足球比赛结果。格林担任联合国科学顾问小组联合主席 第六次全球环境展望(GEO-6)报告,是大学成员 制定 IPEC 的工作组。 “IPEC 将促进创新和前瞻性思维 政策,以科学和文化洞察力为基础。 IPEC 的主要目标是指导 为实现“我们想要的未来”而进行的道德开发和技术部署。”

肮脏、危险的环境

灯泡。尽管最近发生了悲剧波音 737 Max,飞行仍然是最安全的交通方式之一。而这,根据 到杰夫·纳伯,足球比赛结果能源系统理查德和伊丽莎白·赫内斯教授机械工程系-工程力学,很大程度上归功于我们通常称为自动驾驶仪的算法。但是,纳伯指出 飞行也是最具结构化和计划性的交通方式之一, 飞机撞击的障碍物相对较少。自动化导航 乘用车和其他陆地车辆是完全不同的动物。

“这需要更多的理解、认可和决策——所有这些 是人类的传统权限,”说迈克尔·鲍勒,哲学副教授,人文系副系主任。 一旦车辆试图接管这些功能,就会产生意想不到的后果 甚至可以从自动化系统的正常运行中产生。

“人们正确地关注自动化和自动化的道德和社会影响 智能系统的构建,”鲍勒说。 “工程和完善 这些系统处于肮脏和危险的环境中,例如极端天气条件 和越野环境——正是向人们探索和展示的正确方式 在安全环境下公开自动化和智能系统的功能;那个 是的,你一开始就不想拿人的生命去冒险。”

足球比赛结果是一所 R1 公立研究型大学,成立于 1885 年,位于霍顿,拥有来自全球 60 多个国家的近 7,500 名学生。密歇根州旗舰科技大学的投资回报率一直名列全美最佳大学之列,提供超过 185 个本科毕业生科学技术、工程、计算机、林业、商业、健康专业、人文、数学、社会科学和艺术领域的学位课程。乡村校园距离密歇根州上半岛的苏必利尔湖仅数英里,提供全年户外探险的机会。