UAVStack之文件数据归集「建议收藏」

大家好，又见面了，我是你们的朋友全栈君。

本周我们向大家介绍UAVStack中的文件数据归集功能。该功能可以有效解决日志查找费时和日志文件丢失等问题，帮助快速定位解决问题，规避日志访问权限可能带来的安全风险。

前言

在分布式微服务架构下，单个应用中往往包含很多实例。日常工作中，我们常常需要查看应用运行过程中产生的日志。但登陆服务器从大量实例中查找目标日志耗时耗力；有时日志文件还会在应用重启过程中丢失。

UAVStack的文件数据归集功能不仅能够集中所有业务的日志，方便工程师更加轻松地查找相关日志，进而快速定位、解决问题；还能省去服务器权限授予环节，有效规避日志访问权限可能带来的安全风险。

架构

归集的文件数据包含应用日志、调用链跟踪、浏览器跟踪和线程分析的数据；也可以在启动参数中配置任意文件路径，配置其它任意文件；还支持UAVStack自身日志文件的归集控制。整体架构如下：

图片描述

● Source：落盘后的数据文件，包括应用日志文件、调用链数据文件、浏览器数据文件和线程分析数据文件。

● 日志采集器：文件数据采集端，负责数据读取、过滤以及上送。

● Channel：数据消费队列，UAVStack使用的消息队列是RocketMQ。

● Sink：从Channel中拉取文件数据，分发到别处。UAVStack默认分发到数据库ElasticSearch，用于存储归集上送的文件数据。

采集模块

UAVStack的文件数据归集是MonitorAgent的Feature。MonitorAgent以守护进程的形式部署，如若死掉将会立即重启，重启后可继续归集文件数据。主要模块如下：

图片描述

● 归集任务控制器：控制下发归集的任务，包括正在运行的任务和已存在的任务；定时轮询归集任务，构建可执行的归集任务。

● 归集任务调度器：定时调度归集任务。

● 任务：执行文件数据归集任务。

● 数据读取器：读取、过滤文件数据。

● 数据发布器：发布已读取上来的文件数据。

归集过程

图片描述

● 开启归集：文件数据归集模块自动发现应用日志的画像信息，并进行处理，判断应用日志画像信息是否更新；用户可控制应用日志、调用链跟踪、浏览器跟踪和线程分析的归集功能。AppHub支持启停文件数据归集功能，可动态选择需要读取的文件。

● 归集任务下发：当用户触发归集后，AppHub端会开启文件数据归集任务并自动下发，生成数据归集任务，写到任务列表中，并持久化到本地文件task.cache中。

● 归集任务控制：定时任务轮询管理任务列表，分别构建可执行的归集任务,并通过ForkJoin提交。

● 文件数据读取：读取ForkJoin提交的每个任务。其中需要处理的日志文件都是通过具体的类进行操作处理。这些类包括RandomAccessFile类，其中seek()方法随机访问文件，read()方法读取文件数据。另外，数据位置定时更新任务能够将读取到的数据的位置更新到本地文件position.cache，供下一次文件读取使用。

● 文件数据过滤：根据配置的日志策略，对读取的日志进行正则表达式的匹配过滤，完成日志数据取舍。

● 文件数据发布：归集上来的日志数据，可按照不同的发布类型走不同的发布实现逻辑，发布到指定的目的地。UAVStack默认发布到RocketMQ中，并支持自定义发布。

另外，HM服务拉取RocketMQ中指定topic的日志数据，处理成相应的格式后存储到ElasticSearch数据库中。