6
快速构建数据管道 Ploomber
source link: https://www.oschina.net/p/ploomber
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
Ploomber首页、文档和下载 - 快速构建数据管道 - OSCHINA - 中文开源技术交流社区
Ploomber 是构建数据管道的最快方式。使用你喜欢的编辑器（Jupyter、VSCode、PyCharm）进行交互式开发，并在不改变代码的情况下部署云（Kubernetes、Airflow、AWS Batch 和 SLURM）。只需一个命令就能将它们重构为模块化流水线。
# ML pipeline example ploomber examples -n templates/ml-basic -o ml-basic cd ml-basic # install dependencies pip install -r requirements.txt # run pipeline ploomber build
主要特点
快速开始
一个简单的 YAML API 可以快速上手，一个强大的 Python API 可以提供完全的灵活性。
更短的开发周期
自动缓存管道以前的结果，并且仅重新计算自上次执行以来已更改的任务。
随处部署
在单台机器上作为 shell 脚本运行，或者在Kubernetes、Airflow、AWS Batch或SLURM中分布式运行。
从旧版 notebooks 自动迁移
带上你的旧 monolithic notebooks，会自动将它们转换为可维护的模块化管道。
展开阅读全文
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK