大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。
Jetbrains全家桶1年46,售后保障稳定
clipper是一个开源的低延时的预测系统,地址为http://clipper.ai/ , 是加州大学伯克利分校RISE Lab开发并开源的,下面是使用过程中的一些笔记,特此记录。
一、clipper使用的redis库说明
enum RedisDBTable {
REDIS_STATE_DB_NUM = 1,
REDIS_MODEL_DB_NUM = 2,
REDIS_CONTAINER_DB_NUM = 3,
REDIS_RESOURCE_DB_NUM = 4,
REDIS_APPLICATION_DB_NUM = 5,
REDIS_METADATA_DB_NUM = 6, // used to store Clipper configuration metadata
REDIS_APP_MODEL_LINKS_DB_NUM = 7,
};
redis库序号 | 名称 | 说明 | 数据类型 | key | value |
---|---|---|---|---|---|
1 |
|
状态 | string |
rec-keras-app-serving:0:0
|
{\”y_hat\”:\”-1\”} |
2 |
|
模型信息 | hash | rec-keras-mod-serving:1 |
1) “load” |
3 |
|
容器信息 | hash | rec-keras-mod-serving,1,0 |
1) “model_id” |
4 |
|
||||
5 |
|
app信息 | hash | rec-keras-app-serving |
1) “input_type” |
6 |
|
meta信息 | string | CURRENT_MODEL_VERSION:rec-keras-mod-serving | 1 |
7 |
|
app&model连接信息 | set | rec-keras-app-serving | rec-keras-mod-serving |
二、clipper架构图
组件 | 作用 | 依赖项目 | 重要程度 |
---|---|---|---|
clipper management |
提供HTTP 接口,供clipper admin调用;写入数据到redis中。 具体代码参考 management_frontend_main.cpp |
redis db | |
prometheus monitoring | 存储需要监控的信息;别的应用通过api向prometheus提交数据 | query processor 和 model containeer 向prometheus汇报信息 | |
query processor |
请求入口,提供HTTP接口和RPC接口。采用redis 的PSUBSCRIBE,监控redis中的数据变更,来动态的修改APP、MODEL、APP和MODEL之间的关系; 同时汇报信息到prometheus |
prometheus、model container | |
model container | model的容器,会根据query processor的地址,主动连接到query processor。并定期向query processor发送心跳 | prometheus |
query processor 和 model container之间,采用了ZeroMQ的方式来通讯。可以认为query processor侧,将用户的请求放入到ZeroMQ队列中,然后model container 是消费方,轮询的方式,从ZeroMQ队列取数据来消费, 并将结果返回到query processor中
三、ModelContainer监控部分说明
1、ModelContainer
在rpc.py中,通过 python -m clipper_admin.metrics.server 的方式,启动了单独的一个python进程。
在该python进程中,主要做了两件事情:
a、启动了一个redis-server,采用pub/sub的方式,来存储metric 信息
b、启动了一个http server,开启了1390端口,该端口是prometheus 拉取metric信息的接口。
2、model container中的metric信息,通过
import clipper_admin.metrics as metrics 的方式,调用 add_metric 和 report_metric ,这两个函数,都是把数据放入到了redis中。通过异步的方式,由1.b 里面的python程序来消费。
四、query-frontend部分监控说明
1、query-frontend 本身提供了 http://ip:1337/metrics 接口,来查询metrics信息
2、frontend-exporter 是一个python程序,里面利用了 prometheus_client 的python api,暴露了1390端口,请求1390端口的时候,会请求query-frontend的metrics接口把数据做个转换,然后露出。
五、query-frontend流程图
六、clipper github代码更新之后重新安装流程
clipper客户端安装在了10.1.4.171服务器
1、切换到root账号,切换目录
cd /root/clipper/clipper
2、拉取最新代码,确保是master分支
git pull
3、激活到py36环境
conda activate py36
4、卸载老的clipper_admin
pip uninstall clipper-admin
5、安装最新版本的clipper_admin
pip install git+file:///root/clipper/clipper#subdirectory=clipper_admin
七、query-frontend代码修改之后编译
登录10.163.1.131 机器
1、切换到root账号,切到目录
cd /root/clipper/clipper
2、执行docker build指令
docker build –build-arg CODE_VERSION=a66648a301 –build-arg REGISTRY=clipper -t query_frontend:develop -f dockerfiles/QueryFrontendDockerfile ./
3、打tag
docker tag query_frontend:develop hub.mfwdev.com/recommend/query_frontend:develop
4、push
docker push hub.mfwdev.com/recommend/query_frontend:develop
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/200680.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...