使用Spark SQL构建批处理程序

使用Spark SQL构建批处理程序

前言

今天介绍利用
StreamingPro 完成批处理的流程。

准备工作

  • 下载StreamingPro
我们假设您将文件放在了/tmp目录下。

填写配置文件

  • 实例一,我要把数据从ES导出到HDFS,并且形成csv格式。

启动StreamingPro

Local模式:

cd  $SPARK_HOME

./bin/spark-submit   --class streaming.core.StreamingApp \
--master local[2] \
--name test \
/tmp/streamingpro-0.2.1-SNAPSHOT-dev-1.6.1.jar    \
-streaming.name test    \
-streaming.platform spark   \
-streaming.job.file.path file:///tmp/test.json

访问

http://127.0.0.1:4040

可进入Spark UI
集群模式:

cd  $SPARK_HOME

./bin/spark-submit   --class streaming.core.StreamingApp \
--master yarn-cluster \
--name test \
/tmp/streamingpro-0.2.1-SNAPSHOT-dev-1.6.1.jar    \
-streaming.name test    \
-streaming.platform spark   \
-streaming.job.file.path hdfs://cluster/tmp/test.json

这里需要注意的是,配置文件并蓄放到HDFS上,并且需要协商hdfs前缀。这是一个标准的Spark 批处理程序
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/108883.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • pytest接口自动化测试框架_什么模块需要做接口自动化

    pytest接口自动化测试框架_什么模块需要做接口自动化pytest接口自动化完整框架思维导图

  • PCI与PCIe学习之二——软件篇

    PCI与PCIe学习之二——软件篇文章转载自:点击打开链接本篇主要介绍PCI和PCIe的软件界面和UEFI对PCI的支持。PCI/PCIe软件界面1。配置空间PCIspec规定了PCI设备必须提供的单独地址空间:配置空间(configurationspace),前64个字节(其地址范围为0x00~0x3F)是所有PCI设备必须支持的(有不少简单的设备也仅支持这些),此外PCI/PCI-X还扩展了…

  • pycharm怎么用_pycharm学生版只能用一年

    pycharm怎么用_pycharm学生版只能用一年Pycharm专业版的学生license只有一年有效期,过期后如果你还是学生,想要继续免费使用Pycharm专业版,其实很简单。PyCharm官方会在license过期前两周给你发一份邮件,这份邮件在你学校的邮箱里。邮件内容如下图所示:点击usethislink,填入相关信息后,勾选阅读并接受协议,然后点击申请免费产品,然后使用你的jetbrains账号登录即可成功renewlicense然后进入pycharm,输入账号密码activate即可。…

  • navicat15激活工具【最新永久激活】2022.01.21[通俗易懂]

    (navicat15激活工具)JetBrains旗下有多款编译器工具(如:IntelliJ、WebStorm、PyCharm等)在各编程领域几乎都占据了垄断地位。建立在开源IntelliJ平台之上,过去15年以来,JetBrains一直在不断发展和完善这个平台。这个平台可以针对您的开发工作流进行微调并且能够提供…

  • 介绍篇 决策引擎环节

    介绍篇 决策引擎环节决策引擎概念简述在我理解上决策引擎类似是一个管道、运输系统,连通整个风控流程,所有的规则和评分卡以及流程都覆盖其中,分配到每一个环节(比如人工),将结果返回给决策引擎,走入下一个流程决策引擎的使用规则决策引擎的分流效果评分卡是内置在决策引擎当中,基于评分卡的分段,评分卡的使用具体参见:评分卡在策略中的使用,进行分流,分流决策的目的是为让好客户以及有借款欲望客户进一步走入下一流程决策引擎…

  • 一款新型的智能家居WiFi选择方案——SimpleWiFi在无线智能家居中的应用

    一款新型的智能家居WiFi选择方案——SimpleWiFi在无线智能家居中的应用

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号