Skip to content
The Taxonomy

A shared vocabulary for describing technology.

简体中文: machine reviewed translation.It has not been checked by a fluent reviewer.Translation status
All categories

Elements 11

有哪些风险?如何缓解?

本系统可能带来的风险,以及应对这些风险的方式。

About this category

风险与缓解措施

有哪些风险?如何缓解?

本系统可能带来的风险,以及应对这些风险的方式。

Datachain

Answer
Not every system carries a risk worth naming. Answer it whenever a risk is known.
Icon shape
Guardrails: what could go wrong and what you can do about it.

Variables

  • 风险描述 Required
  • 缓解措施描述 Optional

Sources

自主权丧失本系统限制个人自行决定、掌控自身身份或自由选择的能力的风险。这包括获取替代方案受限、以欺骗性设计诱导决定偏向特定结果,以及缺乏有实际意义的同意等风险。缓解措施可包括退出机制、透明的推荐、保护自主权的默认设置,以及对重大决定进行人工复核。公民自由受损本系统损害基本人权和公民自由的风险——言论、集会、行动、正当程序,或免受任意监控的自由。这包括大规模人脸识别、预测性警务、对合法言论的审查,以及对抗议活动的寒蝉效应所带来的风险。缓解措施可包括严格的目的限制、司法或独立监督、从严限定数据保留,以及在部署前进行人权影响评估。环境损害本系统因能源消耗、用水、电子垃圾、碳排放或为制造硬件而开采资源,造成环境恶化的风险。这包括训练阶段的算力消耗、持续不间断的推理、数据中心的冷却需求以及硬件快速更新换代所带来的风险。缓解措施可包括能效和水效目标、透明报告算力足迹、硬件生命周期规划,以及为数据中心运营采购可再生能源。财务与商业损害本系统因错误定价、拒绝提供服务、欺诈或操纵市场,给个人造成经济损失或给组织造成损害的风险。这包括自动化信贷决定、动态定价不公、利用AI实施的诈骗,以及滥用导致供应链中断所带来的风险。缓解措施可包括可负担性保障、定价模型的公平性审计、多层欺诈检测,以及明确的救济程序。人身伤害本系统的输出导致人身伤害或财产损失的风险。这包括自动驾驶车辆、机器人动作、错误的导航指引,或危及人身和财产安全的关键基础设施差错所带来的风险。缓解措施可包括严格的安全测试、故障安全的默认设置、用地理围栏限制危险行为,以及对高风险物理动作进行人工监督。政治与经济损害本系统操纵政治讨论、干预选举、集中市场支配力或损害公共机构的风险。这包括针对选民的合成媒体、不透明的广告定向、因垄断数据和算力而造成的竞争扭曲,以及公众对机构的信任受到侵蚀等风险。缓解措施可包括披露合成内容、从反垄断角度关注AI市场、向监管机构开放审计权限,以及政治广告透明度要求。隐私丧失本系统采集、推断或披露的个人信息超出人们的预期或同意范围的风险。这包括长期跟踪人们的行踪、对本应匿名的数据重新识别身份、关联不同系统中的记录以建立个人画像,以及将数据用于所声明目的之外的其他用途等风险。缓解措施可包括只收集必要的数据、在设备端处理、在采集时即进行匿名化、缩短保留期限,以及在部署前进行隐私影响评估。心理伤害本系统直接或间接造成情绪或心理健康受损的风险。这包括令人成瘾的反馈循环、监控引起的困扰、利用生成内容实施的骚扰,以及被自动拒绝所带来的焦虑等风险。缓解措施可包括内容警示、身心健康保障措施、适龄设计、便于使用的求助渠道,以及对追求用户黏性最大化的行为设置频率限制。名誉损害本系统因错误识别身份、错误归类或污名化标签,损害个人、群体或组织名誉的风险。这包括不准确的人脸识别、带有诽谤性的生成内容,以及跟随当事人进入不同场合的不公正公开评分等风险。缓解措施可包括在使用对外公开的标签前设定准确率门槛、对影响重大的身份识别进行人工复核、下架处理程序,以及明确的更正权。安全与数据泄露本系统或其持有的数据被无权者访问、窃取、篡改或控制的风险。这包括摄像头或传感器遭黑客入侵、数据库泄露、传输被截获、内部人员滥用,以及使系统作出虚假报告或错误动作的篡改所带来的风险。缓解措施可包括存储和传输过程中的加密、严格的访问控制、定期安全测试、及时更新软件,以及在发生泄露时通知受影响的人。社会与文化损害本系统因信任受到侵蚀、语言和文化多样性丧失,或对不透明系统的不健康依赖,损害社区或文化的风险。这包括大规模虚假信息、文化表达趋同、本地知识被取代,以及公共信息生态恶化等风险。缓解措施可包括多语言支持、与受影响社区合作、为生成内容添加来源标识,以及投资开发适应本地语言和本地情境的模型。