Luigi:管理复杂流程的利器

luigi是一个用来帮助你建立批处理任务复杂流程的python包,它可以处理依赖项的解析、工作流的管理、可视化、错误处理、命令行集成以及更多功能。

luigi的目的是解决所有管道问题,通常与长时间运行的批处理进程相关。luigi内置一个工具箱,有一些常见任务的模板可供使用,包括支持Hadoop MapReduce任务、Pig任务和Jar任务。它还有对HDFS和本地文件系统的抽象,保证所有关于文件系统的操作的原子性。这是十分重要的,因为它意味着你的流程不会因为包含不完整数据而导致运行时崩溃。

开始

Luigi的文档概述了如何使用Luigi,包括一个流程示例和API概述,对一些重要概念进行了解释。

github主页:https://github.com/spotify/luigi

收藏

资源整理者简介:rainbow

(新浪微博:@咖啡z熊) 个人主页 · 贡献了111个资源 · 1


直接登录

推荐关注

按分类快速查找

关于资源导航
  • 伯乐在线资源导航收录优秀的工具资源。内容覆盖开发、设计、产品和管理等IT互联网行业相关的领域。目前已经收录 1439 项工具资源。
    推送伯乐头条热点内容微信号:jobbole 分享干货的技术类微信号:iProgrammer