airflow是Airbnb开源的data pipeline调度和监控工作流的平台，用于用来创建、监控和调整data pipeline（ETL）。类似的产品有：Linkedin Azkaban github： https://github.com/apache/incubator-airflow doc： ht…

ICE流传输 1、 使用ICE流传输 ICE会话如下： 步骤一：初始化pj_ice_stans_cfg结构。 步骤二：通过pj_ice_strans_create()函数创建ice实例；该函数主要需要下列参数： a、pj_ice_strans_cfg参数--配置参数&#xff08…

ICE插件开发都要从Ice::Plugin继承，实现initialize()和destroy()两个接口，如ICEloggerPlugin的实现： Class ICE_API LoggerPlugin : public Ice::Plugin { Public: LoggerPlugin(constCommunicatorPtr& communicator, const Logger…

1.Ice Run Time 概述 按照个人暂时的理解，Icerun Time具体是指Ice封装好了大部分的API，通过这些API实现分布式应用程序运行时的各种功能。 首先，其中一个重要的部分是通信器，它是Ice run time的主句柄，也是Ice run tim…

1、实现插件接口 local interface Plugin { void initialize(); void destroy(); }; extern "C" { ICE_DECLSPEC_EXPORT Ice::Plugin* functionName(const Ice::CommunicatorPtr& communicator,const std::string& name,const Ice::StringSeq& args); }…

这是个啥？ “一个平台，一个管理任务流程的任务调度工具。” 使用python编写的一个平台，用来author、schedule和monitor workflows. Airflow is a platform to programmatically author, schedule and monitor workflows. Airflow 是通过 DAG…

ICE 的回调 使用分布式计算中间件ICE到现在已经有一年多了，在这一年里里面对ICE的理解、应用比较熟悉。 使用ICE写分布式软件，确实是很方便：ICE比较稳定、可靠，调用返回速度低延迟，使用简单，学习曲线不是很…

airflow Operators: 基本可以理解为一个抽象化的task, Operator加上必要的运行时上下文就是一个task. 有三类Operator: Sensor(传感监控器), 监控一个事件的发生.Trigger(或者叫做Remote Excution), 执行某个远端动作, (我在代码中没有找到这个类别)Data transfer(数据转换器…