OSG 中类似 Kubernetes 资源的需求驱动供应

摘要:OSG操作的开放科学池是一个基于HTCondor的虚拟集群,它聚合了由几个组织提供的计算集群资源。大多数资源不属于OSG,因此基于需求的动态提供对于最大化使用而不产生过多浪费非常重要。OSG长期以来一直依靠GlideinWMS来满足大部分资源供应需求,但是该方法仅限于提供网格兼容计算入口点的资源。为了解决这个局限性,OSG软件团队开发了一个glidein容器,供资源提供商直接贡献给OSPoo。这种方法的问题在于它不是基于需求驱动的,只能用于后续补充场景。为了解决这个问题,开发了一个基于需求驱动的Kubernetes资源直接供应器,并且在NRP上成功使用。该设置仍然依赖于OSG维护的后续补充容器映像,但自动化了资源供应匹配和连续的请求。该供应器还扩展支持Lancium,这是一个具有类似Kubernetes的专有接口的绿色计算云提供商。这个供应器的逻辑被刻意保持得非常简单,使得这个扩展项目成本低廉。NRP和Lancium资源已经多个月以来完全使用此机制进行供应。

作者:Igor Sfiligoi, Frank W"urthwein, Jeff Dost, Brian Lin and David Schultz

论文ID:2308.11733

分类:Distributed, Parallel, and Cluster Computing

分类简称:cs.DC

提交时间:2023-08-24

PDF 下载: 英文版 中文版pdf翻译中