大数据之Atlas元数据管理「建议收藏」

大数据之Atlas元数据管理「建议收藏」背景:公司做数据仓库时,管理自己多张表时,需要使用元数据管理系统进行管理。更多java、大数据学习面试资料,请扫码关注我的公众号:

大家好,又见面了,我是你们的朋友全栈君。

背景:

公司做数据仓库时,管理自己多张表时,需要使用数仓元数据管理系统进行管理。

一、Atlas简介

Atlas 是一个可伸缩且功能丰富、开源的元数据管理系统,深度对接了 Hadoop 大数据组件。

atlas 本身从技术上来说,就是一个典型的 JAVA WEB 系统,其整体结构图如下所示:

在这里插入图片描述

janusGraph (底层存储) :依赖于 hbase 和 solr
core (核心功能层): 相当于 javaee 里面的 service 层
integration(对外提供服务):相当于 javaee 里面的 controller 层

二、Atlas安装

1、下载源码包,并上传到linux,解压

tar -zxf apache-atlas-2.0.0-sources.tar.gz -C /opt/app/

2、执行 maven 编译打包

[root@h4 ~]# cd apache-atlas-sources-2.0.0/ 
[root@h4 apache-atlas-sources-2.0.0]# export MAVEN_OPTS="-Xms2g -Xmx2g" 
[root@h4 apache-atlas-sources-2.0.0]# mvn clean -DskipTests package -Pdist,embedded-hbase-solr

3、Atlas 安装配置

若是之前安装了zookeeper,kafka,hbase直接启动就行

4、安装solr

[root@h3 solr]# bin/solr start -c -z h1:2181,h2:2181,h3:2181 -p 8984 -force

初始化 solr 中的索引数据

${SOLR}/bin/solr create -c vertex_index -shards 1 -replicationFactor 1 -force 
${SOLR}/bin/solr create -c edge_index -shards 1 -replicationFactor 1 -force 
${SOLR}/bin/solr create -c fulltext_index -shards 1 -replicationFactor 1 -force

5、配置及启动 atlas

上传 atlas 编译好之后的安装包

sftp> put d:/apache-atlas-bin-2.0.0.tar.gz /root/

修改配置文件

vi atlas-env.sh

export JAVA_HOME=/opt/app/jdk1.8.0_191/ 
export MANAGE_LOCAL_HBASE=false (如果要使用内嵌的 zk 和 hbase,则改为 true) 
export MANAGE_LOCAL_SOLR=false (如果要是用内嵌的 solr,则改为 true) 
export HBASE_CONF_DIR=/opt/apps/hbase-2.0.6/conf

vi atlas-application.properties

# Hbase 地址配置
atlas.graph.storage.hostname=doitedu01:2181,doitedu02:2181,doitedu03:2181
(如果使用内嵌 hbase,则填写 localhost:2181# Solr 地址配置
#Solr http mode properties 
atlas.graph.index.search.solr.mode=http 
atlas.graph.index.search.solr.http-urls=http://h3:8984/solr(solr 服务地址)
# Kafka 地址配置 
atlas.notification.embedded=false (如果要使用内嵌的 kafka,则改为 true) 
atlas.kafka.zookeeper.connect=doitedu01:2181,doitedu02:2181,doitedu03:2181 
atlas.kafka.bootstrap.servers=doitedu01:9092,doitedu02:9092,doitedu03:9092

######### Server Properties ######### 
atlas.rest.address=http://doitedu01:21000

启动 atlas

[root@h3 apache-atlas-2.0.0]#
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/140168.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • phpstorm2021激活码【2021最新】

    (phpstorm2021激活码)JetBrains旗下有多款编译器工具(如:IntelliJ、WebStorm、PyCharm等)在各编程领域几乎都占据了垄断地位。建立在开源IntelliJ平台之上,过去15年以来,JetBrains一直在不断发展和完善这个平台。这个平台可以针对您的开发工作流进行微调并且能够提供…

  • sqlite如何安装_安装路由器的详细步骤

    sqlite如何安装_安装路由器的详细步骤1.安装sudoapt-getinstallsqlite32.可执行程序sqlite3在/bin目录下,使用sqlite3+空格+数据库文件,可打开数据库3.使用.database查看已连接的数据库会话4.使用.tables查看数据库中的表5.执行SQL进行增删查改Linux下的SQLite数据库查看工具:SQLiteBrowser安装:sudoaptinstallsqlitebrowser-ywindows下的SQLite数据库查看工具:SQLi…

  • AngularJS进阶(五)Angular实现下拉菜单多选

    AngularJS进阶(五)Angular实现下拉菜单多选Angular实现下拉菜单多选写这篇文章时,引用文章地址如下:http://ngmodules.org/modules/angularjs-dropdown-multiselecthttp://dotansimha.github.io/angularjs-dropdown-multiselect/#/AngularJSDropdownMultiselectThisdire

  • idea代码颜色搭配方案_idea设置注释颜色

    idea代码颜色搭配方案_idea设置注释颜色Github开发的Atom编辑器相信大家都已经用过了。经过这两年的迭代开发,内存占用,启动慢,卡顿很多大坑都已经填上。目前他已经是我写shell/bat/js的主力,当前除了插件安装比较麻烦(需要梯子,或者github+npminstall)我最满意的一点就是Atom的配色方案。他的OneDark配色方案是我见过的最赞的方案之一。深沉的背景/天蓝色的函数/浅灰色的注释/粉色关键字/红色的变量/

  • 2021机械组培训

    2021机械组培训NBUT大一培训文档

  • JSP include指令报错[通俗易懂]

    JSP include指令报错[通俗易懂]错误提示:Multipleannotationsfoundatthisline: -Duplicatelocalvariablepath -Duplicatelocalvariable  basePath重复变量,因为<%@include%>引进的是代码,把代码包含进来,而新进JSP时,会默认生成<%Stringpath=request.getCo…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号