儿童福利中的算法伤害：实践、组织和街头层面决策中的不确定性
摘要：公众服务领域的算法，例如儿童福利、刑事司法和教育，越来越多地用于对人类生活作出具有重大影响的决策。我们通过对一个儿童福利机构进行为期两年的民族志研究，强调了算法系统在儿童福利过程的关键点上嵌入的复杂决策生态系统。工作人员在日常工作中与算法进行互动，他们必须收集有关家庭的信息，并将其输入算法以做出重要决策。我们显示了系统机制和算法决策之间的相互作用如何对决策过程的公平性产生不利影响。我们展示了算法系统中的功能问题如何导致以过程为导向的伤害，从而不利于职业实践和机构行政工作，并导致街头层面上的决策不一致和不可靠。此外，工作人员还被迫进行额外的修复工作，以恢复中断的行政流程和决策，在面临组织压力、时间和资源限制的同时。最后，我们分享了一个简单的算法工具的案例研究，该工具将工作人员的决策纳入创伤知情框架，并带来更好的结果，但需要机构进行大量投资来为其正确使用创建生态系统。
作者：Devansh Saxena and Shion Guha
论文ID：2308.05224
分类：Human-Computer Interaction
分类简称：cs.HC
提交时间：2023-08-11