clipper使用

clipper使用一、clipper使用的redis库说明enumRedisDBTable{REDIS_STATE_DB_NUM=1,REDIS_MODEL_DB_NUM=2,REDIS_CONTAINER_DB_NUM=3,REDIS_RESOURCE_DB_NUM=4,REDIS_APPLICATION_DB_NUM=5,REDIS_METADATA_DB_NUM=6,//usedtostoreClipperconfigurationmetadat

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全家桶1年46,售后保障稳定

 

clipper是一个开源的低延时的预测系统,地址为http://clipper.ai/  , 是加州大学伯克利分校RISE Lab开发并开源的,下面是使用过程中的一些笔记,特此记录。

 

一、clipper使用的redis库说明

enum RedisDBTable {
  REDIS_STATE_DB_NUM = 1,
 REDIS_MODEL_DB_NUM = 2,
 REDIS_CONTAINER_DB_NUM = 3,
 REDIS_RESOURCE_DB_NUM = 4,
 REDIS_APPLICATION_DB_NUM = 5,
 REDIS_METADATA_DB_NUM = 6, // used to store Clipper configuration metadata
 REDIS_APP_MODEL_LINKS_DB_NUM = 7,
};

Jetbrains全家桶1年46,售后保障稳定

redis库序号 名称 说明 数据类型 key value
1
REDIS_STATE_DB_NUM
状态 string

rec-keras-app-serving:0:0

 

{\”y_hat\”:\”-1\”}
2
REDIS_MODEL_DB_NUM
模型信息 hash rec-keras-mod-serving:1

1) “load”
2) “0.000000”
3) “container_name”
4) “hub.mfwdev.com/recommend/rec-serving-online-rec-keras-mod-serving:1
5) “input_type”
6) “strings”
7) “labels”
8) “”
9) “model_data_path”
10) “DEPRECATED”
11) “model_version”
12) “1”
13) “model_name”
14) “rec-keras-mod-serving”
15) “batch_size”
16) “1”
17) “valid”
18) “”

3
REDIS_CONTAINER_DB_NUM
容器信息 hash rec-keras-mod-serving,1,0

1) “model_id”
2) “rec-keras-mod-serving:1”
3) “model_name”
4) “rec-keras-mod-serving”
5) “model_version”
6) “1”
7) “model_replica_id”
8) “0”
9) “zmq_connection_id”
10) “0”
11) “batch_size”
12) “1”
13) “input_type”
14) “strings”

4
REDIS_RESOURCE_DB_NUM
       
5
REDIS_APPLICATION_DB_NUM
app信息 hash rec-keras-app-serving

1) “input_type”
2) “strings”
3) “policy”
4) “DefaultOutputSelectionPolicy”
5) “default_output”
6) “-1”
7) “latency_slo_micros”
8) “1000000”

6
REDIS_METADATA_DB_NUM
meta信息 string CURRENT_MODEL_VERSION:rec-keras-mod-serving 1
7
REDIS_APP_MODEL_LINKS_DB_NUM
app&model连接信息 set rec-keras-app-serving rec-keras-mod-serving

 

二、clipper架构图

 

clipper使用

 

 

组件 作用 依赖项目 重要程度
clipper management

提供HTTP 接口,供clipper admin调用;写入数据到redis中。

具体代码参考 management_frontend_main.cpp

redis db  
prometheus monitoring 存储需要监控的信息;别的应用通过api向prometheus提交数据 query processor 和 model containeer 向prometheus汇报信息  
query processor

请求入口,提供HTTP接口和RPC接口。采用redis 的PSUBSCRIBE,监控redis中的数据变更,来动态的修改APP、MODEL、APP和MODEL之间的关系;

同时汇报信息到prometheus

prometheus、model container  
model container model的容器,会根据query processor的地址,主动连接到query processor。并定期向query processor发送心跳 prometheus  

 

query processor 和 model container之间,采用了ZeroMQ的方式来通讯。可以认为query processor侧,将用户的请求放入到ZeroMQ队列中,然后model container 是消费方,轮询的方式,从ZeroMQ队列取数据来消费, 并将结果返回到query processor中

 

三、ModelContainer监控部分说明

1、ModelContainer

在rpc.py中,通过 python -m  clipper_admin.metrics.server    的方式,启动了单独的一个python进程。

在该python进程中,主要做了两件事情:

a、启动了一个redis-server,采用pub/sub的方式,来存储metric 信息

b、启动了一个http server,开启了1390端口,该端口是prometheus 拉取metric信息的接口。

2、model container中的metric信息,通过 

import clipper_admin.metrics as metrics 的方式,调用 add_metric 和 report_metric ,这两个函数,都是把数据放入到了redis中。通过异步的方式,由1.b 里面的python程序来消费。

 

clipper使用

clipper使用

 

四、query-frontend部分监控说明

1、query-frontend 本身提供了 http://ip:1337/metrics 接口,来查询metrics信息

2、frontend-exporter 是一个python程序,里面利用了 prometheus_client 的python api,暴露了1390端口,请求1390端口的时候,会请求query-frontend的metrics接口把数据做个转换,然后露出。

 

五、query-frontend流程图

clipper使用

 

clipper使用

 

六、clipper github代码更新之后重新安装流程

clipper客户端安装在了10.1.4.171服务器

 

1、切换到root账号,切换目录

cd /root/clipper/clipper

2、拉取最新代码,确保是master分支

git pull 

3、激活到py36环境

conda activate py36

4、卸载老的clipper_admin

pip uninstall clipper-admin

5、安装最新版本的clipper_admin

pip install git+file:///root/clipper/clipper#subdirectory=clipper_admin

 

七、query-frontend代码修改之后编译

登录10.163.1.131 机器

1、切换到root账号,切到目录

cd /root/clipper/clipper

2、执行docker build指令

docker build –build-arg CODE_VERSION=a66648a301 –build-arg REGISTRY=clipper -t query_frontend:develop -f dockerfiles/QueryFrontendDockerfile ./

3、打tag

docker tag query_frontend:develop hub.mfwdev.com/recommend/query_frontend:develop

4、push 

docker push hub.mfwdev.com/recommend/query_frontend:develop

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/200680.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • vim中复制粘贴快捷键_保存到剪贴板的截图去哪里找

    vim中复制粘贴快捷键_保存到剪贴板的截图去哪里找gg定位到第一行,V选中光标所在行,G定位到文件末尾Ctrl+ACtrl+C全选复制:map<C-A><Esc>ggVGyCtrl+ACtrl+xq剪切:map<C-X><Esc>ggVGdCtrl+v粘贴:map<C-V><Esc>p…

  • #Java算法设计与分析1–递归算法

    #Java算法设计与分析1–递归算法1.递归算法1.1递归的概念所谓递归,就是程序方法在运行过程中自身调用自身。定义如下所示。fn(){ if(递归出口条件){ returnx;}else{ //somecodes…returnfn();}}1.2递归的使用条件1.2.1必须要有明确的递归出口所谓递归出口就是需要有明确的结束条件。1.2.2每次递归都要使问题的规模减小1.2.3递归的规模…

  • Google Buzz掀起新一轮隐私权争议「建议收藏」

    Google Buzz掀起新一轮隐私权争议「建议收藏」Google本周开始于全球的Gmail帐号中部署GoogleBuzz社交服务,不过,新上线的GoogleBuzz旋即引来外界对其隐私政策的质疑。GoogleBuzz可整合状态更新、连结、照片及影片等社交分享功能,移动版还加上了位置分享功能。引起隐私争议的其中一项功能为GoogleBuzz可自动找出使用者在Gmail中最常联系的好友并产生追随/被追随名单,而且使用者追随/被追随的对象列…

    2022年10月15日
  • java反射机制的作用是什么_java的反射机制是什么

    java反射机制的作用是什么_java的反射机制是什么运行时类型识别(Run-timeTypeIdentification,RTTI)主要有两种方式,一种是我们在编译时和运行时已经知道了所有的类型,另外一种是功能强大的“反射”机制。要理解RTTI在Java中的工作原理,首先必须知道类型信息在运行时是如何表示的,这项工作是由“Class对象”完成的,它包含了与类有关的信息。类是程序的重要组成部分,每个类都有一个Class对象,每当编写并编译了一个…

  • 三种算法求两个正整数的最大公约数和最小公倍数;求三个数的最大公约数和最小公倍数「建议收藏」

    三种算法求两个正整数的最大公约数和最小公倍数;求三个数的最大公约数和最小公倍数「建议收藏」第二次作业题目:求两个正整数的最大公约数和最小公倍数。基本要求:1.程序风格良好(使用自定义注释模板),两种以上算法解决最大公约数问题,提供友好的输入输出。提高要求:1.三种以上算法解决两个正整数最大公约数问题。          2.求3个正整数的最大公约数和最小公倍数。一.算法分析    已知结论:a,b的最大公约数*其最小公倍数=a…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号