前言
StreamingPro 完成批处理的流程。
准备工作
- 下载StreamingPro
填写配置文件
- 实例一,我要把数据从ES导出到HDFS,并且形成csv格式。
启动StreamingPro
cd $SPARK_HOME
./bin/spark-submit --class streaming.core.StreamingApp \
--master local[2] \
--name test \
/tmp/streamingpro-0.2.1-SNAPSHOT-dev-1.6.1.jar \
-streaming.name test \
-streaming.platform spark \
-streaming.job.file.path file:///tmp/test.json
http://127.0.0.1:4040
cd $SPARK_HOME
./bin/spark-submit --class streaming.core.StreamingApp \
--master yarn-cluster \
--name test \
/tmp/streamingpro-0.2.1-SNAPSHOT-dev-1.6.1.jar \
-streaming.name test \
-streaming.platform spark \
-streaming.job.file.path hdfs://cluster/tmp/test.json
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/108883.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...