DWD层总结

DWD层总结DWD层:4步建模作用:1)对用户行为数据进行解析2)对核心数据进行判空过滤3)对业务数据采用维度模型重新建模。一、DWD层数据分析首先DWD层数据都来源于ODS层。具体数据可分为两类1)用户行为数据(多为json)2)业务数据1、用户行为数据业务行为数据一般都是来源于前端页面的埋点日志信息分为启动日志和普通日志启动日志表中每行数据对应一个启动记录,一个启动记录应该包含日志中的公共信息和启动信息。先将所有包含start字段的日志过滤出来,然后使用get_json_object

大家好,又见面了,我是你们的朋友全栈君。

DWD层:4步建模
作用:
1)对用户行为数据进行解析
2)对核心数据进行判空过滤
3)对业务数据采用维度模型重新建模。
一、DWD层数据分析
首先DWD层数据都来源于ODS层。具体数据可分为两类
1)用户行为数据(多为json)
2) 业务数据
1、 用户行为数据
业务行为数据一般都是来源于前端页面的埋点日志信息
分为 启动日志 和普通日志
启动日志表中每行数据对应一个启动记录,一个启动记录应该包含日志中的公共信息和启动信息。先将所有包含start字段的日志过滤出来,然后使用get_json_object函数解析每个字段。
2、分析用户行为数据
主要通过 hive提供的 get_json_object(“json主题”,”$[i]”)进行提取分析;将获得的数据进行提取,存入表数据中

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/153206.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 差分进化算法之Matlab实现「建议收藏」

    差分进化算法之Matlab实现「建议收藏」一、介绍差分进化算法是模拟自然界生物种群以“优胜劣汰,适者生存”为原则的进化发展规律而形成的一种随机启发式搜索算法。其保留了基于种群的全局搜索策略,采用实数编码,基于差分的简单变异操作和一对一的竞争生存策略,比遗传算法更简单。同时,差分进化算法独特的记忆能力使其可以动态的跟踪当前的搜索情况,及时调整搜索测量,因此具有较强的全局收敛能力。目前为止,差分进化算法已经成为一种求解非线性,不可微,多极…

    2022年10月24日
  • WebAssembly完全入门——了解wasm的前世今身

    WebAssembly完全入门——了解wasm的前世今身前言接触WebAssembly之后,在google上看了很多资料。感觉对WebAssembly的使用、介绍、意义都说的比较模糊和笼统。感觉看了之后收获没有达到预期,要么是文章中的例子自己去实操不能成

  • 对数及运算法则_log公式运算法则

    对数及运算法则_log公式运算法则1.对数源于指数,是指数函数反函数因为:y=ax所以:x=logay2.对数的定义【定义】如果N=ax(a>0,a≠1),即a的x次方等于N(a>0,且a≠1),那么数

  • IDEA 注释详解[通俗易懂]

    IDEA 注释详解[通俗易懂]IDEA注释及模板配置1.行注释ctrl+/2.块注释(多行),取消注释时不用选中多行,只需要在开始符号/*那里执行ctrl+shift+/3.方法和类注释/**+回车方法会直接返回带参数的注释,如下,但是类上信息为空/****@paramuser*/4.配置类和方法的注释模板ctrl+alt+…

  • MySQL索引实现原理分析

    目前大部分数据库系统及文件系统都采用B-Tree(B树)或其变种B+Tree(B+树)作为索引结构。B+Tree是数据库系统实现索引的首选数据结构。在MySQL中,索引属于存储引擎级别的概念,不同存储引擎对索引的实现方式是不同的,本文主要讨论MyISAM和InnoDB两个存储引擎的索引实现方式。MyISAM索引实现MyISAM引擎使用B+Tree作为索引结构,叶节点的data域存放的…

  • websocket和http的瓜葛以及websocket协议实现「建议收藏」

    websocket和http的瓜葛以及websocket协议实现「建议收藏」websocket和http的瓜葛以及websocket协议实现,方法论,如何在现有的tcp传输层协议上封装应用层协议

    2022年10月24日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号