[38;5;12mAwesome Pipeline[39m
[38;5;12m================[39m

[38;5;12mA curated list of awesome pipeline toolkits inspired by [39m[38;5;14m[1mAwesome Sysadmin[0m[38;5;12m (https://github.com/kahun/awesome-sysadmin)[39m

[38;5;12mPipeline frameworks & libraries[39m
[38;5;238m――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――[39m

[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mActionChain[0m[38;5;12m (http://docs.stackstorm.com/actionchain.html) - A workflow system for simple linear success/failure workflows.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mAdage[0m[38;5;12m (https://github.com/diana-hep/adage) - Small package to describe workflows that are not completely known at definition time.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mAiiDA[0m[38;5;12m (https://github.com/aiidateam/aiida-core) - workflow manager with a strong focus on provenance, performance and extensibility.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mAirflow[0m[38;5;12m (https://github.com/airbnb/airflow) - Python-based workflow system created by AirBnb.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mAnduril[0m[38;5;12m (http://www.anduril.org/anduril/site/) - Component-based workflow framework for scientific data analysis.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mAntha[0m[38;5;12m (https://www.antha-lang.org/) - High-level language for biology.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mAWE[0m[38;5;12m (https://github.com/MG-RAST/AWE/) - Workflow and resource management system with CWL support.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mBalsam[0m[38;5;12m (https://github.com/argonne-lcf/balsam) - Python-based high throughput task and workflow engine. [39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mBds[0m[38;5;12m (http://pcingola.github.io/BigDataScript/) - Scripting language for data pipelines.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mBioMake[0m[38;5;12m (https://github.com/evoldoers/biomake) - GNU-Make-like utility for managing builds and complex workflows.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mBioQueue[0m[38;5;12m (https://github.com/liyao001/BioQueue) - Explicit framework with web monitoring and resource estimation.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mBioshake[0m[38;5;12m (https://github.com/papenfusslab/bioshake) - Haskell DSL built on shake with strong typing and EDAM support.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mBistro[0m[38;5;12m (https://github.com/pveber/bistro) - Library to build and execute typed scientific workflows.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mBpipe[0m[38;5;12m (https://github.com/ssadedin/bpipe/) - Tool for running and managing bioinformatics pipelines.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mBriefly[0m[38;5;12m (https://github.com/bloomreach/briefly) - Python Meta-programming Library for Job Flow Control.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mCluster Flow[0m[38;5;12m (http://clusterflow.io) - Command-line tool which uses common cluster managers to run bioinformatics pipelines.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mClusterjob[0m[38;5;12m (https://github.com/monajemi/clusterjob) - Automated reproducibility, and hassle-free submission of computational jobs to clusters.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mCompi[0m[38;5;12m (https://www.sing-group.org/compi) - Application framework for portable computational pipelines.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mCompss[0m[38;5;12m (https://www.bsc.es/research-and-development/software-and-apps/software-list/comp-superscalar) - Programming model for distributed infrastructures.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mConan2[0m[38;5;12m (https://github.com/tburdett/Conan2) - Light-weight workflow management application.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mConsecution[0m[38;5;12m (https://github.com/robdmc/consecution) - A Python pipeline abstraction inspired by Apache Storm topologies.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mCosmos[0m[38;5;12m (https://mizzou-cbmi.github.io/) - Python library for massively parallel workflows.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mCouler[0m[38;5;12m (https://github.com/couler-proj/couler) - Unified interface for constructing and managing workflows on different workflow engines, such as Argo Workflows, Tekton Pipelines, and Apache Airflow.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mCovalent[0m[38;5;12m (https://github.com/AgnostiqHQ/covalent) - Workflow orchestration toolkit for high-performance and quantum computing research and development.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mCromwell[0m[38;5;12m (https://github.com/broadinstitute/cromwell) - Workflow Management System geared towards scientific workflows from the Broad Institute.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mCuneiform[0m[38;5;12m (https://github.com/joergen7/cuneiform) - Advanced functional workflow language and framework, implemented in Erlang.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mCylc[0m[38;5;12m (https://cylc.github.io/) - A workflow engine for cycling systems, originally developed for operational environmental forecasting.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mDagobah[0m[38;5;12m (https://github.com/thieman/dagobah) - Simple DAG-based job scheduler in Python.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mDagr[0m[38;5;12m (https://github.com/fulcrumgenomics/dagr) - A scala based DSL and framework for writing and executing bioinformatics pipelines as Directed Acyclic Graphs.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mDagster[0m[38;5;12m (https://github.com/dagster-io/dagster) - Python-based API for defining DAGs that interfaces with popular workflow managers for building data applications.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mDataJoint[0m[38;5;12m (https://datajoint.io) - an open-source relational framework for scientific data pipelines.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mDask[0m[38;5;12m (https://github.com/dask/dask) - Dask is a flexible parallel computing library for analytics.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mDbt[0m[38;5;12m (https://www.getdbt.com/) - Framework for writing analytics workflows entirely in SQL. The T part of ETL, focuses on analytics engineering.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mDockerflow[0m[38;5;12m (https://github.com/googlegenomics/dockerflow) - Workflow runner that uses Dataflow to run a series of tasks in Docker.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mDrake[0m[38;5;12m (https://github.com/Factual/drake) - Robust DSL akin to Make, implemented in Clojure.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mDrake[0m[38;5;14m[1m [0m[38;5;14m[1mR[0m[38;5;14m[1m [0m[38;5;14m[1mpackage[0m[38;5;12m [39m[38;5;12m(https://github.com/ropensci/drake)[39m[38;5;12m [39m[38;5;12m-[39m[38;5;12m [39m[38;5;12mReproducibility[39m[38;5;12m [39m[38;5;12mand[39m[38;5;12m [39m[38;5;12mhigh-performance[39m[38;5;12m [39m[38;5;12mcomputing[39m[38;5;12m [39m[38;5;12mwith[39m[38;5;12m [39m[38;5;12man[39m[38;5;12m [39m[38;5;12measy[39m[38;5;12m [39m[38;5;12mR-focused[39m[38;5;12m [39m[38;5;12minterface.[39m[38;5;12m [39m[38;5;12mUnrelated[39m[38;5;12m [39m[38;5;12mto[39m[38;5;12m [39m[38;5;14m[1mFactual's[0m[38;5;14m[1m [0m[38;5;14m[1mDrake[0m[38;5;12m [39m[38;5;12m(https://github.com/factual/drake).[39m[38;5;12m [39m[38;5;12mSucceeded[39m[38;5;12m [39m[38;5;12mby[39m[38;5;12m [39m[38;5;14m[1mTargets[0m[38;5;12m [39m
[38;5;12m(https://github.com/ropensci/targets).[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mDray[0m[38;5;12m (https://github.com/CenturyLinkLabs/dray) - An engine for managing the execution of container-based workflows.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mecFlow[0m[38;5;12m (https://github.com/ecmwf/ecflow) - Workflow manager.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1meHive[0m[38;5;12m (https://github.com/Ensembl/ensembl-hive) - System for creating and running pipelines on a distributed compute resource.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mFission Workflows[0m[38;5;12m (https://github.com/fission/fission-workflows) - A fast, lightweight workflow engine for serverless/FaaS functions.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mFlex[0m[38;5;12m (https://github.com/druths/flex/) - Language agnostic framework for building flexible data science pipelines (Python/Shell/Gnuplot).[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mFlowr[0m[38;5;12m (https://github.com/sahilseth/flowr) - Robust and efficient workflows using a simple language agnostic approach (R package).[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mGc3pie[0m[38;5;12m (https://github.com/uzh/gc3pie) - Python libraries and tools for running applications on diverse Grids and clusters.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mGuix Workflow Language[0m[38;5;12m (https://guixwl.org/) - A workflow management language extension for GNU Guix.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mGwf[0m[38;5;12m (https://github.com/mailund/gwf) - Make-like utility for submitting workflows via qsub.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mHamilton[0m[38;5;12m (https://github.com/dagworks-inc/hamilton) - A python micro-framework for describing dataflows; runs anywhere python runs.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mHyperLoom[0m[38;5;12m (https://github.com/It4innovations/HyperLoom) - Platform for defining and executing workflow pipelines in large-scale distributed environments.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mJoblib[0m[38;5;12m (https://joblib.readthedocs.io/en/latest/) - Set of tools to provide lightweight pipelining in Python.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mJug[0m[38;5;12m (https://jug.readthedocs.io) - A task Based parallelization framework for Python.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mKedro[0m[38;5;12m (https://github.com/quantumblacklabs/kedro) - Workflow development tool that helps you build data pipelines.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mKestra[0m[38;5;12m (https://github.com/kestra-io/kestra) - Open source data orchestration and scheduling platform with declarative syntax.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mKetrew[0m[38;5;12m (https://github.com/hammerlab/ketrew) - Embedded DSL in the OCAML language alongside a client-server management application.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mKronos[0m[38;5;12m (https://github.com/jtaghiyar/kronos) - Workflow assembler for cancer genome analytics and informatics.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mLoom[0m[38;5;12m (https://github.com/StanfordBioinformatics/loom) - Tool for running bioinformatics workflows locally or in the cloud.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mLongbow[0m[38;5;12m (http://www.hecbiosim.ac.uk/longbow) - Job proxying tool for biomolecular simulations.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mLuigi[0m[38;5;12m (https://github.com/spotify/luigi) - Python module that helps you build complex pipelines of batch jobs.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mMaestro[0m[38;5;12m (https://github.com/LLNL/maestrowf) - YAML based HPC workflow execution tool. [39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mMakeflow[0m[38;5;12m (http://ccl.cse.nd.edu/software/makeflow/) - Workflow engine for executing large complex workflows on clusters.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mMara[0m[38;5;12m (https://github.com/mara/data-integration) -  A lightweight, opinionated ETL framework, halfway between plain scripts and Apache Airflow.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mMario[0m[38;5;12m (https://github.com/intentmedia/mario) - Scala library for defining data pipelines.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mMartian[0m[38;5;12m (http://martian-lang.org/) - A language and framework for developing and executing complex computational pipelines.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mMD Studio[0m[38;5;12m (https://github.com/MD-Studio/MDStudio) - Microservice based workflow engine.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mMetaFlow[0m[38;5;12m (https://metaflow.org/) - Open-sourced framework from Netflix, for DAG generation for data scientists. Python and R API's.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mMistral[0m[38;5;12m (https://github.com/openstack/mistral) - Python based workflow engine by the Open Stack project.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mMoa[0m[38;5;12m (https://github.com/mfiers/Moa) - Lightweight workflows in bioinformatics.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mNextflow[0m[38;5;12m (http://www.nextflow.io) - Flow-based computational toolkit for reproducible and scalable bioinformatics pipelines.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mNiPype[0m[38;5;12m (https://github.com/nipy/nipype) - Workflows and interfaces for neuroimaging packages.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mOpenGE[0m[38;5;12m (https://github.com/adaptivegenome/openge) - Accelerated framework for manipulating and interpreting high-throughput sequencing data.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mPachyderm[0m[38;5;12m (https://www.pachyderm.io/) - Distributed and reproducible data pipelining and data management, built on the container ecosystem.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mParsl[0m[38;5;12m (https://github.com/Parsl/parsl) - Parallel Scripting Library.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mPipEngine[0m[38;5;12m (https://github.com/fstrozzi/bioruby-pipengine) - Ruby based launcher for complex biological pipelines.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mPinball[0m[38;5;12m (https://github.com/pinterest/pinball) - Python based workflow engine by Pinterest.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mPopper[0m[38;5;12m (https://github.com/systemslab/popper) - YAML based container-native workflow engine supporting Docker, Singularity, Vagrant VMs with Docker daemon in VM, and local host.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mPorcupine[0m[38;5;12m [39m[38;5;12m(https://github.com/tweag/porcupine)[39m[38;5;12m [39m[38;5;12m-[39m[38;5;12m [39m[38;5;12mHaskell[39m[38;5;12m [39m[38;5;12mworkflow[39m[38;5;12m [39m[38;5;12mtool[39m[38;5;12m [39m[38;5;12mto[39m[38;5;12m [39m[38;5;12mexpress[39m[38;5;12m [39m[38;5;12mand[39m[38;5;12m [39m[38;5;12mcompose[39m[38;5;12m [39m[38;5;12mtasks[39m[38;5;12m [39m[38;5;12m(optionally[39m[38;5;12m [39m[38;5;12mcached)[39m[38;5;12m [39m[38;5;12mwhose[39m[38;5;12m [39m[38;5;12mdatasources[39m[38;5;12m [39m[38;5;12mand[39m[38;5;12m [39m[38;5;12msinks[39m[38;5;12m [39m[38;5;12mare[39m[38;5;12m [39m[38;5;12mknown[39m[38;5;12m [39m[38;5;12mahead[39m[38;5;12m [39m[38;5;12mof[39m[38;5;12m [39m[38;5;12mtime[39m[38;5;12m [39m[38;5;12mand[39m[38;5;12m [39m[38;5;12mrebindable,[39m[38;5;12m [39m[38;5;12mand[39m[38;5;12m [39m[38;5;12mwhich[39m[38;5;12m [39m[38;5;12mcan[39m[38;5;12m [39m[38;5;12mexpose[39m[38;5;12m [39m[38;5;12marbitrary[39m[38;5;12m [39m[38;5;12msets[39m[38;5;12m [39m[38;5;12mof[39m[38;5;12m [39m
[38;5;12mparameters[39m[38;5;12m [39m[38;5;12mto[39m[38;5;12m [39m[38;5;12mthe[39m[38;5;12m [39m[38;5;12moutside[39m[38;5;12m [39m[38;5;12mworld.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mPrefect[0m[38;5;12m (https://docs.prefect.io/) - Python based workflow engine powering Prefect.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mPydra[0m[38;5;12m (https://github.com/nipype/pydra) - Lightweight, DAG-based Python dataflow engine for reproducible and scalable scientific pipelines.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mPyFlow[0m[38;5;12m (https://github.com/Illumina/pyflow) - Lightweight parallel task engine.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mpyperator[0m[38;5;12m (https://github.com/baffelli/pyperator) - Simple push-based python workflow framework using asyncio, supporting recursive networks.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mpyppl[0m[38;5;12m (https://github.com/pwwang/pyppl) - A python lightweight pipeline framework.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mpypyr[0m[38;5;12m (https://pypyr.io) - Automation task-runner for sequential steps defined in a pipeline yaml, with AWS and Slack plug-ins.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mPwrake[0m[38;5;12m (https://github.com/masa16/Pwrake/) - Parallel workflow extension for Rake.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mQdo[0m[38;5;12m (https://bitbucket.org/berkeleylab/qdo) - Lightweight high-throughput queuing system for workflows with many small tasks to perform.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mQsubsec[0m[38;5;12m (https://github.com/alastair-droop/qsubsec) - Simple tokenised template system for SGE.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mRabix[0m[38;5;12m (https://github.com/rabix/rabix) - Python-based workflow toolkit based on the Common Workflow Language and Docker.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mRain[0m[38;5;12m (https://github.com/substantic/rain) - Framework for large distributed task-based pipelines, written in Rust with Python API.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mRay[0m[38;5;12m (https://github.com/ray-project/ray) - Flexible, high-performance distributed Python execution framework.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mRedun[0m[38;5;12m (https://github.com/insitro/redun) - Yet another redundant workflow engine.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mReflow[0m[38;5;12m (https://github.com/grailbio/reflow) - Language and runtime for distributed, incremental data processing in the cloud.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mRemake[0m[38;5;12m (https://github.com/richfitz/remake) - Make-like declarative workflows in R.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mRmake[0m[38;5;12m (http://physiology.med.cornell.edu/faculty/mason/lab/r-make/) - Wrapper for the creation of Makefiles, enabling massive parallelization.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mRubra[0m[38;5;12m (https://github.com/bjpop/rubra) - Pipeline system for bioinformatics workflows.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mRuffus[0m[38;5;12m (http://www.ruffus.org.uk) - Computation Pipeline library for Python.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mRuigi[0m[38;5;12m (https://github.com/kirillseva/ruigi) - Pipeline tool for R, inspired by Luigi.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mSake[0m[38;5;12m (http://tonyfischetti.github.io/sake/) - Self-documenting build automation tool.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mSciLuigi[0m[38;5;12m (https://github.com/pharmbio/sciluigi) - Helper library for writing flexible scientific workflows in Luigi.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mSciPipe[0m[38;5;12m (http://scipipe.org) - Library for writing Scientific Workflows in Go.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mSignac[0m[38;5;12m (https://signac.io) - Lightweight, but scalable framework for file-driven workflows to be run locally and on HPC systems.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mScoop[0m[38;5;12m (https://github.com/soravux/scoop/) - Scalable Concurrent Operations in Python.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mSeqtools[0m[38;5;12m (https://github.com/nlgranger/SeqTools) - Python library for lazy evaluation of pipelined transformations on indexable containers.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mSmartPipeline[0m[38;5;12m (https://github.com/giacbrd/SmartPipeline) - A framework for rapid development of robust data pipelines following a simple design pattern.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mSnakemake[0m[38;5;12m (https://snakemake.readthedocs.io/en/stable) - Tool for running and managing bioinformatics pipelines.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mSpiff[0m[38;5;12m (https://github.com/knipknap/SpiffWorkflow) - Based on the Workflow Patterns initiative and implemented in Python.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mStolos[0m[38;5;12m (https://github.com/sailthru/stolos) - Directed Acyclic Graph task dependency scheduler that simplify distributed pipelines.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mSteppy[0m[38;5;12m (https://github.com/minerva-ml/steppy) - lightweight, open-source, Python 3 library for fast and reproducible experimentation.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mStpipe[0m[38;5;12m (https://stpipe.readthedocs.io/) - File processing pipelines as a Python library.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mStreamFlow[0m[38;5;12m (https://github.com/alpha-unito/streamflow) - Container native workflow management system focused on hybrid workflows.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mStreamPipes[0m[38;5;12m (https://streampipes.apache.org) - A self-service IoT toolbox to enable non-technical users to connect, analyze and explore IoT data streams.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mSundial[0m[38;5;12m (https://github.com/gilt/sundial) - Jobsystem on AWS ECS or AWS Batch managing dependencies and scheduling.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mSuro[0m[38;5;12m (https://github.com/Netflix/suro) - Java-based distributed pipeline from Netflix.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mSwift[0m[38;5;12m (http://swift-lang.org) - Fast easy parallel scripting - on multicores, clusters, clouds and supercomputers.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mTargets[0m[38;5;12m (https://github.com/ropensci/targets) - Dynamic, function-oriented [39m[38;5;14m[1mMake[0m[38;5;12m (https://www.gnu.org/software/make/)-like reproducible pipelines at scale in R.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mTaskGraph[0m[38;5;12m (https://github.com/natcap/taskgraph) - A library to help manage complicated computational software pipelines consisting of long running individual tasks.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mTibanna[0m[38;5;12m (https://github.com/4dn-dcic/tibanna) - Tool that helps you run genomic pipelines on Amazon cloud.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mToil[0m[38;5;12m (https://github.com/BD2KGenomics/toil) - Distributed pipeline workflow manager (mostly for genomics).[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mYap[0m[38;5;12m (http://opensource.nibr.com/yap/) - Extensible parallel framework, written in Python using OpenMPI libraries.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mYapp[0m[38;5;12m (https://github.com/picanumber/yapp) - A C++ parallel pipeline library for stream processing.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mWallaroo[0m[38;5;12m (https://www.wallaroolabs.com/) - Framework for streaming data applications and algorithms that react to real-time events.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mWorldMake[0m[38;5;12m (http://worldmake.org/) - Easy Collaborative Reproducible Computing.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mZenaton[0m[38;5;12m (https://zenaton.com) - Workflow engine for orchestrating jobs, data and events across your applications and third party services.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mZenML[0m[38;5;12m (https://zenml.io) - Extensible open-source MLOps framework to create reproducible pipelines for data scientists.[39m

[38;5;12mWorkflow platforms[39m
[38;5;238m――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mActivePapers[0m[38;5;12m (http://www.activepapers.org/) - Computational science made reproducible and publishable.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mActive Workflow[0m[38;5;12m (https://github.com/automaticmode/active_workflow) - Polyglot workflows without leaving the comfort of your technology stack.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mAnvi’o[0m[38;5;12m (https://anvio.org/) - A community and framework centered around metagenomics, designed to facilitate reproducible exploration and visualization of data.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mApache Iravata[0m[38;5;12m (https://airavata.apache.org/) - Framework for executing and managing computational workflows on distributed computing resources.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mArteria[0m[38;5;12m (https://arteria-project.github.io/) - Event-driven automation for sequencing centers. Initiates workflows based on events.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mArvados[0m[38;5;12m (http://arvados.org) - A container based workflow platform.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;12mBiokepler - Bioinformatics Scientific Workflow for Distributed Analysis of Large-Scale Biological Data. ([39m[38;5;14m[1m_inactive since 10/2019_[0m[38;5;12m (https://web.archive.org/web/20190108162953/https://www.biokepler.org/))[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mButler[0m[38;5;12m (http://github.com/llevar/butler) - Framework for running scientific workflows on public and academic clouds.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mChipster[0m[38;5;12m (http://chipster.csc.fi) - Open source platform for data analysis.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mClubber[0m[38;5;12m (https://bitbucket.org/bromberglab/clubber) - Cluster Load Balancer for Bioinformatics e-Resources.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mDigdag[0m[38;5;12m (https://www.digdag.io) - Workflow manager designed for simplicity, extensibility and collaboration.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mDomino[0m[38;5;12m (https://github.com/Tauffer-Consulting/domino) - User friendly and open source visual workflow management platform.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mFireworks[0m[38;5;12m (https://github.com/materialsproject/fireworks) - Centralized workflow server for dynamic workflows of high-throughput computations.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mFlyte[0m[38;5;12m (https://github.com/lyft/flyte) - Container-native, type-safe workflow and pipelines platform for large scale processing and ML.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mGalaxy[0m[38;5;12m (https://galaxyproject.org) - Powerful workflow system which can be used on the command line or with the GUI.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mKepler[0m[38;5;12m (https://kepler-project.org/) - Kepler scientific workflow application from University of California.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mKNIME Analytics Platform[0m[38;5;12m (https://www.knime.org/knime-analytics-platform) - General-purpose platform with many specialized domain extensions.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mNextflowWorkbench[0m[38;5;12m (http://workflow.campagnelab.org) - Integrated development environment for Nextflow, Docker and Reusable Workflows.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1momega|ml DataOps Platform[0m[38;5;12m (https://github.com/omegaml/omegaml) - Data & model pipeline deployment for humans - integrated, scalable, extensible.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mOpenMOLE[0m[38;5;12m (http://www.openmole.org/current/) - Workflow Management System for exploration of models and parameter optimization.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mOphidia[0m[38;5;12m (http://ophidia.cmcc.it) - Data-analytics platform with declarative workflows of distributed operations.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mOrchest[0m[38;5;12m (https://github.com/orchest/orchest) - An IDE for Data Science.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mPegasus[0m[38;5;12m (http://pegasus.isi.edu) - Workflow Management System.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mPiper[0m[38;5;12m (https://github.com/creactiviti/piper) - Distributed workflow engine designed to be dead simple.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mPolyaxon[0m[38;5;12m (https://github.com/polyaxon/polyaxon) - A platform for machine learning experimentation workflow.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mReana[0m[38;5;12m (https://github.com/reanahub/reana) - Platform for reusable research data analyses developed by CERN.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mSushi[0m[38;5;12m (https://github.com/uzh/sushi) - Supporting User for SHell script Integration.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mYabi[0m[38;5;12m (http://ccg.murdoch.edu.au/yabi) - Online research environment for grid, HPC and cloud computing.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mTaverna[0m[38;5;12m (http://www.taverna.org.uk) - Domain independent workflow system.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mTemporal[0m[38;5;12m (https://www.temporal.io/) - Highly scalable developer oriented _Workflow as Code_ engine.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mVisTrails[0m[38;5;12m (http://www.vistrails.org/) - Scientific workflow and provenance management system.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mWings[0m[38;5;12m (http://www.wings-workflows.org) - Semantic workflow system utilizing Pegasus as execution system.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mWatchdog[0m[38;5;12m (https://github.com/klugem/watchdog) - Workflow management system for the automated and distributed analysis of large-scale experimental data.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mFlowHub[0m[38;5;12m (https://www.flowhub.com.cn) - FlowHub is a new workflow cloud platform. [39m

[38;5;12mWorkflow languages[39m
[38;5;238m――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mCommon Workflow Language[0m[38;5;12m (https://github.com/common-workflow-language/common-workflow-language)[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mCloudgene Workflow Language[0m[38;5;12m (http://cloudgene.uibk.ac.at/developer-guide)[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mOpenMOLE DSL[0m[38;5;12m (http://www.openmole.org/current/Documentation_Language.html)[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mWorkflow Description Language[0m[38;5;12m (https://github.com/openwdl/wdl)[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mYet Another Workflow Language[0m[38;5;12m (http://www.yawlfoundation.org)[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mPipelines[0m[38;5;12m (https://github.com/calebwin/pipelines)[39m

[38;5;12mWorkflow standardization initiatives[39m
[38;5;238m――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mWorkflow 4 Ever Initiative[0m[38;5;12m (http://www.wf4ever-project.org)[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mWorkflow 4 Ever workflow research object model[0m[38;5;12m (http://wf4ever.github.io/ro)[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mWorkflow Patterns Initiative[0m[38;5;12m (http://www.workflowpatterns.com)[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mWorkflow Patterns Library[0m[38;5;12m (http://www.workflowpatterns.com/patterns)[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mResearchObject.org[0m[38;5;12m (http://www.researchobject.org)[39m

[38;5;12mETL & Data orchestration [39m
[38;5;238m――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mDataLad[0m[38;5;12m (https://datalad.org) - git and git-annex based data version control system with lightweight provenance capture/re-execution support.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mDVC[0m[38;5;12m (https://dvc.org) - Data version control system for ML project with lightweight pipeline support.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mlakeFS[0m[38;5;12m (https://github.com/treeverse/lakeFS) - Repeatable, atomic and versioned data lake on top of object storage.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mNessie[0m[38;5;12m (https://github.com/projectnessie/nessie) - Provides Git-like capability & version control for Iceberg Tables, Delta Lake Tables & SQL Views.[39m

[38;5;12mLiterate programming (aka interactive notebooks)[39m
[38;5;238m――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mBeaker[0m[38;5;12m (http://beakernotebook.com/) Notebook-style development environment.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mBinder[0m[38;5;12m (http://mybinder.org/) - Turn a GitHub repo into a collection of interactive notebooks powered by Jupyter and Kubernetes[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mIPython[0m[38;5;12m (https://ipython.org/) A rich architecture for interactive computing.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mJupyter[0m[38;5;12m (https://jupyter.org/) Language-agnostic notebook literate programming environment.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mPathomx[0m[38;5;12m (http://pathomx.org) - Interactive data workflows built on Python.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mPolynote[0m[38;5;12m (https://github.com/polynote/polynote) - A better notebook for Scala (and more). Built by Netflix.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mPloomber[0m[38;5;12m (https://github.com/ploomber/ploomber) - Consolidate your notebooks and scripts in a reproducible pipeline using a [39m[48;5;235m[38;5;249mpipeline.yaml[49m[39m[38;5;12m file[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mR Notebooks[0m[38;5;12m (http://rmarkdown.rstudio.com/r_notebooks.html) - R Markdown notebook literate programming environment.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mRedPoint Notebooks[0m[38;5;12m (https://www.redpointnotebooks.com/) - Web-native computational notebook for programmers supporting multiple languages, APIs and webooks.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mSoS[0m[38;5;12m (https://vatlab.github.io/sos-docs/) - Readable, interactive, cross-platform and cross-language data science workflow system.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mZeppelin[0m[38;5;12m (https://zeppelin.apache.org/) - Web-based notebook that enables interactive data analytics.[39m

[38;5;12mExtract, transform, load (ETL)[39m
[38;5;238m――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――[39m

[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mCadence[0m[38;5;12m (https://github.com/uber/cadence) Distributed, scalable, durable, and highly available orchestration engine developed by Uber.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mDataform[0m[38;5;12m (https://github.com/dataform-co/dataform) - Dataform is a framework for managing SQL based operations in your data warehouse.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mKiba ETL[0m[38;5;12m (http://www.kiba-etl.org) - A data processing & ETL framework for Ruby.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mLinkedPipes ETL[0m[38;5;12m (https://etl.linkedpipes.com) - Linked Data publishing and consumption ETL tool.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mPentaho Kettle[0m[38;5;12m (https://community.hitachivantara.com/s/article/data-integration-kettle) - A plataform that delivers poweful ETL capabilities, using a groundbreaking, metadata-driven approach.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mSubstation[0m[38;5;12m (https://github.com/brexhq/substation) - Substation is a cloud native data pipeline and transformation toolkit written in Go.[39m

[38;5;12mContinuous Delivery workflows[39m
[38;5;238m――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mArgo[0m[38;5;12m (https://github.com/argoproj/argo) - Get stuff done with container-native workflows for Kubernetes.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mCDS[0m[38;5;12m (https://github.com/ovh/cds) - A pipeline based Continuous Delivery Service written in Golang.[39m

[38;5;12mBuild automation tools[39m
[38;5;238m――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mBazel[0m[38;5;12m (http://bazel.io/) - Build software just as engineers do at Google.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mdoit[0m[38;5;12m (https://github.com/pydoit/doit) - Highly generalized task-management and automation in Python.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mGradle[0m[38;5;12m (http://gradle.org/) - Unified cross platforms builds.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mJust[0m[38;5;12m (https://github.com/casey/just) - Command and recipe runner similar to Make, built in Rust.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mMake[0m[38;5;12m (https://www.gnu.org/software/make/) - The GNU Make build system.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mProdmodel[0m[38;5;12m (https://github.com/prodmodel/prodmodel) - Build system for data science pipelines.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mScons[0m[38;5;12m (http://www.scons.org/) - Python library focused on C/C++ builds.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mShake[0m[38;5;12m (https://github.com/ndmitchell/shake) - Define robust build systems akin to GNU Make using Haskell.[39m

[38;5;12mAutomated workflow composition[39m
[38;5;238m――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mAPE[0m[38;5;12m (https://github.com/sanctuuary/APE) - A tool for the automated exploration of possible computational workflows based on semantic annotations.[39m


[38;5;12mOther projects[39m
[38;5;238m――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mHPC Grid Runner[0m[38;5;12m (http://hpcgridrunner.github.io/)[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mNiFi[0m[38;5;12m (https://nifi.apache.org) - Powerful and scalable directed graphs of data routing, transformation, and system mediation logic.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mnoWorkflow[0m[38;5;12m (https://github.com/gems-uff/noworkflow) - Supporting infrastructure to run scientific experiments without a scientific workflow management system, and still get things like provenance.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mReprozip[0m[38;5;12m (https://www.reprozip.org/) - Simplifies the process of creating reproducible experiments from command-line executions.[39m


[38;5;12mRelated lists[39m
[38;5;238m――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mAwesome streaming[0m[38;5;12m (https://github.com/manuzhang/awesome-streaming) - Curated list of awesome streaming frameworks, applications.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mAwesome ETL[0m[38;5;12m (https://github.com/pawl/awesome-etl) - Curated list of notable ETL (extract, transform, load) frameworks, libraries and software.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mAwesome workflow engines[0m[38;5;12m (https://github.com/meirwah/awesome-workflow-engines) - Curated list of awesome open source workflow engines.[39m
[48;5;12m[38;5;11m⟡[49m[39m[38;5;12m [39m[38;5;14m[1mComputational Data Analysis Workflow Systems[0m[38;5;12m (https://github.com/common-workflow-language/common-workflow-language/wiki/Existing-Workflow-systems)[39m
