ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs目录项目源码创建mysql数据源创建本地hdfs数据源配置采集任务配置调度点击执行记录查看具体日志高级使用项目源码数据采集平台管理端https://github.com/zhaoyachao/zdh_web数据采集平台服务https://github.com/zhaoyachao/zdh_serverweb端在线查看http://zycblog.cn:8081/login用户名:zyc密码:123456界面只是为了参考功能,底层的数据.

大家好,又见面了,我是你们的朋友全栈君。

目录

项目源码

创建mysql数据源

创建本地hdfs数据源

配置采集任务

配置调度

点击执行记录查看具体日志

高级使用


 

项目源码

数据采集平台管理端

https://github.com/zhaoyachao/zdh_web

数据采集平台服务

https://github.com/zhaoyachao/zdh_server

web端在线查看

http://zycblog.cn:8081/login

用户名:zyc
密码:123456

界面只是为了参考功能,底层的数据采集服务 需要自己下载zdh_server 部署,服务器资源有限,请手下留情

如果觉得项目不错记得分享给同伴和点star!!!

 

创建mysql数据源

 ZDH大数据采集平台-采集mysql数据到hdfsZDH大数据采集平台-采集mysql数据到hdfsZDH大数据采集平台-采集mysql数据到hdfs

创建本地hdfs数据源

 ZDH大数据采集平台-采集mysql数据到hdfsZDH大数据采集平台-采集mysql数据到hdfs

配置采集任务

1.ZDH大数据采集平台-采集mysql数据到hdfs  

ZDH大数据采集平台-采集mysql数据到hdfs

.ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

配置调度

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

点击执行记录查看具体日志

   不介绍,使用者自己点击查看

高级使用

 1 采集的数据需要做特定转换怎么办(如去除字段空格,日期格式转换,加减乘除)

   解:配置etl任务时,配置字段映射 使用sql 函数

2 目前的任务中都是固定参数或者无参,需要使用调度时间怎么办

 解:目前zdh 支持 调度的时间如下

{
{ zdh_date_time}} :yyyy-MM-dd HH:mm:ss 格式

{
{zdh_date}}: yyyy-MM-dd 格式

{
{zdh_date_nodash}}: yyyyMMdd 格式

{
{zdh_year}}:年

{
{zdh_month}}:月

{
{zdh_day}}:日

{
{zdh_hour}}:小时

{
{zdh_minute}}:分钟

{
{zdh_second}}:秒

3:是否支持告警

 解:目前只支持邮件告警,短信告警等其他告警需要自己实现,后期单独出如何对接其他告警

 

 

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/132780.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • A Game of Thrones(81)

    A Game of Thrones(81)45.EDDARD(0)Painisagiftfromthegods,LordEddard,”GrandMaesterPycelletoldhim.“Itmeanstheboneisknitting,thefleshhealingitself.Bethankful.”  “Iwillbethankfulwhenm…

  • 三星识别文字_免费文字识别

    三星识别文字_免费文字识别百度AI实战营收官战(成都站),宣告百度OCR免费策略再次升级。百度通用文字识别服务的免费使用次数提升100倍,从每天500次提升至每天50000次;通用文字识别高精度版的免费使用次数提升10倍,从每天50次提升至每天500次。目前业界通常按照接口调用次数收费,单个接口单次调用费从几分钱到几毛钱不等,百度永久免费开放通用文字识别及其他文字识别技术,实实在在为企业节约一笔不菲的支出。现阶段已…

  • ActiveMQ objecmessage 无法调用问题。

    ActiveMQ objecmessage 无法调用问题。

  • Python 进制转换函数及前缀截取

    Python 进制转换函数及前缀截取“人生苦短,我用Python”,强大的Python肯定也自己内置的进制转换函数。十进制转其他进制:10进制数s:a=bin(s)//十进制转2进制b=oct(s)//十进制转8进制c=hex(s)//十进制转16进制其他进制转成10进制:s:转换的字符串r:要转换的进制位数2,6,18int(s,r)…

  • Java开发手册之其它规范[通俗易懂]

    Java开发手册之其它规范[通俗易懂]Java开发手册之其它规范

  • java解析xml element_java解析XML Node与Element的区别(推荐)「建议收藏」

    java解析xml element_java解析XML Node与Element的区别(推荐)「建议收藏」对Element和Node有困惑是因为对xml整个结构不了解,以下作为一个简要概述:以下图为w3c.org网站的xml文档树图:从上图可以看出,一个xml文档由元素节点,属性节点,文本节点构成,其中bookstore被称为文档元素或根元素,也是一个元素节点XMLDOM是这样规定一个节点的XML文档中的每个成分都是一个节点。整个文档是一个文档节点即Document节点。在java中Doc…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号