spark streaming和storm停止作业

原创
2017/03/27 15:35
阅读数 363

spark streaming停止作业:

指令: ./bin/spark-class org.apache.spark.deploy.Client kill driverID
其中driver ID可以通过Master web UI在http://:8080 来进行查看。

注意配置参数spark.streaming.stopGracefullyOnShutdown (true / false)默认fasle
确保在kill任务时,能够处理完最后一批数据,再关闭程序,不会发生强制kill导致数据处理中断,没处理完的数据丢失

storm停止作业:
指令:storm kill TopologyName 
其中TopologyName是提交topology给storm集群的时候指定的名字。

storm不会马上终止topology。相反,它会先终止所有的spout,让它们不再发射任何新的tuple, storm会等Config.TOPOLOGY_MESSAGE_TIMEOUT_SECS秒之后才杀掉所有的工作进程。这会给topology足够的时间来完成所有我们执行storm kill命令的时候还没完成的tuple。

 

展开阅读全文
打赏
0
1 收藏
分享
加载中
更多评论
打赏
0 评论
1 收藏
0
分享
返回顶部
顶部