在SKA背景下提供无服务器科学流水线的方法
摘要：功能即服务（FaaS）是一种无服务器计算的类型，允许开发人员将代码编写和部署为个别函数，这些函数可以通过特定事件或请求触发。FaaS平台自动管理底层基础设施，根据需要进行缩放，具有高度可伸缩性、成本效益以及高级别的抽象化。在SKA区域中心网络（SRCNet）内部正在开发的原型正在探索数据分配、软件交付和分布式计算模型，旨在将计算和执行移动到数据所在的位置。由于SKA将成为地球上最大的数据生产者，因此有必要将这一庞大数据量分发到将作为最近数据上计算和分析操作的中心节点。在这种背景下，本工作旨在验证在FaaS平台上设计和部署无线电干涉测量工作流程中常用的函数和应用程序的可行性，以证明这种计算模型作为探索SRCNet分布式节点数据处理的替代方法的价值。我们已经分析了几个FaaS平台并成功部署了其中一个，我们使用了两种不同的方法导入了几个函数：CAS框架中的微函数，它们是用Python代码编写的，以及高度特定的本机应用程序，如wsclean。因此，我们设计了一个简单的目录，可以轻松扩展以在高度分布式环境中提供FaaS的所有关键功能，使用编排器，以及能够将它们与工作流或API集成。本文对于讨论FaaS模型在科学数据处理中的潜力，特别是在SKA等大规模分布式项目的背景下，做出了贡献。
作者：Carlos R''ios-Monje and Manuel Parra-Roy''on and Javier Mold''on and Susana S''anchez-Exp''osito and Juli''an Garrido and Laura Darriba and MAngeles Mendoza and Jes''us S''anchez and Lourdes Verdes-Montenegro and Jes''us Salgado
论文ID：2306.09728
分类：Distributed, Parallel, and Cluster Computing
分类简称：cs.DC
提交时间：2023-06-19