fgc java_内存紧张,FGC停不下来[通俗易懂]

fgc java_内存紧张,FGC停不下来[通俗易懂]客套话不说了哈,请社区里各路高人,指点以下,有点奔溃了。问题是这样:存储的是监控相关数据。日均7.5亿条数据,副本数1.算上副本,日均新增数据1.8T,只保存2天。查询入口只有UI点击,日pv在100以内(都是有问题才会去看监控)关键是有18台物理机,128G内存,单机双节点。每个节点Heap31G。只能跑一天到2天。。ES版本:1.7.1GC配置比较简单:G1,pause200ms…

大家好,又见面了,我是你们的朋友全栈君。

客套话不说了哈,请社区里各路高人,指点以下,有点奔溃了。

问题是这样:存储的是监控相关数据。

日均7.5亿条数据,副本数1. 算上副本,日均新增数据1.8T,只保存2天。查询入口只有UI点击,日pv在100以内(都是有问题才会去看监控)

关键是有18台物理机, 128G内存,单机双节点。每个节点Heap 31G。只能跑一天到2天。。

ES版本: 1.7.1

GC配置比较简单: G1, pause 200ms

运行一段时间后,大概一天后,陆续开始FGC,时间从15s ~ 5min不等,应该是mix gc失败后开始串行GC.

老年代基本吃完所有region,eden只有200M。

重启前,jmap了一下, [J 15G, 貌似是Long数组,但是不知道是ES的哪一块内存。

num     #instances         #bytes  class name

———————————————-

1:       3807192    15304408752  [J

2:       9767447     7021834000  [B

3:      25070955     1784529744  [C

4:      14629532     1170362560  org.elasticsearch.common.cache.LocalCache$Segment

5:      19221904      750032456  [Ljava.lang.Object;

6:      24674649      592191576  java.lang.String

7:       5196381      540423624  org.elasticsearch.action.index.IndexRequest

8:      14667374      469355968  java.util.concurrent.locks.ReentrantLock$NonfairSync

9:       3657374      468143872  org.elasticsearch.common.cache.LocalCache

10:      15372723      245963568  java.util.concurrent.atomic.AtomicInteger

11:      14629847      234077552  java.util.concurrent.atomic.AtomicReferenceArray

12:       7306511      233808352  org.elasticsearch.common.cache.LocalCache$StrongEntry

13:       6233374      199467968  java.util.HashMap$Node

14:       5315217      170086944  org.elasticsearch.common.joda.time.format.PeriodFormatter

15:       5315215      170086880  org.elasticsearch.common.unit.TimeValue

16:       3841132      153645280  java.util.LinkedHashMap$Entry

17:       4173918      133565376  org.elasticsearch.action.bulk.BulkItemResponse

18:       1058384      131618928  [Ljava.util.HashMap$Node;

19:       5196822      124723728  org.elasticsearch.common.bytes.BytesArray

20:       3657374      117036112  [Lorg.elasticsearch.common.cache.LocalCache$Segment;

21:       7307094      116913504  org.elasticsearch.common.cache.LocalCache$StrongValueReference

22:       2792201      111688040  java.util.TreeMap$Entry

23:       1866112       89573376  org.elasticsearch.action.index.IndexResponse

24:       3657344       87776256  org.apache.lucene.util.FixedBitSet

25:       3653252       87678048  org.elasticsearch.index.cache.fixedbitset.FixedBitSetFilterCache$Value

_cat看堆内存使用基本如下(保持在500m附近, siwm在1g附近,贴了一条)。

load  hp     hc  uptime      fm    fcm qcm im  pm      sm    siwm  siwmx   svmm     sfbm

18.61 86 26.6gb  18.5h 124.6mb   24mb  0b 0b -1b 593.3mb 873.8mb 10.9gb 21.2mb  918.3mb

….

目前我们的数据里有大量的数字类型,但是没有自定义mapping,都转成long保存了,联想到doc value,jmap里的数组,列式存储等等,知识体系不健全,无法准确定位,下午准备改下mapping,明天再折腾一下~

会有人回么? 哎呀,第一次在这个社区发帖子,还是这么老的版本。 waiting….

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/150788.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • Socket无限SocketTimeoutException真凶–WLAN助手

    Socket无限SocketTimeoutException真凶–WLAN助手看到标题你可能不知道我说的是什么鬼东西,但是如果你有类似的经历的话,那么恭喜你,也恭喜我自己,终于解决这个问题了。用过小米、华为等手机的都知道,当我们连接上一个不能上网的WIFI时,系统都会友好的给出“此WLAN无法访问互联网,请更换网络/切换为移动数据网络”等类似的提示,今天我就说下本人在这里面遇到的坑。背景:有个Android项目需要连接硬件设备的WIFI,然后通过socket进行通信…

    2022年10月21日
  • app弱网测试_热血神器刀设置教程

    app弱网测试_热血神器刀设置教程01.APP弱网测试背景App在使用的过程中,难免会遇到不同的弱网络环境,像在公车上、在地铁、地下车库等。在这种情况下,手机常常会出现网络抖动、上行或下行超时,导致APP应用中出现丢包延迟,从而影响用户体验。作为软件测试工程师,我们要在app上线前做一定弱网络环境场景模拟,查看app在弱网络环境下是否存在某些未知的问题。例如: 客户端卡死、崩溃等异常 核心功能导致软件不能正常运行 存在有损害用户利益或被用户额外获利的机会 是否有合理的…

    2022年10月31日
  • 未来将是越界的时代

    未来将是越界的时代

    2021年12月2日
  • springboot 2.3.0 版本无法引用 javax.validation.constraints. 下的 @NotNull 注解「建议收藏」

    springboot 2.3.0 版本无法引用 javax.validation.constraints. 下的 @NotNull 注解「建议收藏」springboot2.3.0版本无法引用javax.validation.constraints.下的@NotNull注解,如果像使用@NotNull等注解,把版本降到2.2.6就可以了。

    2022年5月25日
  • html5 移动端开发模板,搭建一个vue-cli的移动端H5开发模板

    html5 移动端开发模板,搭建一个vue-cli的移动端H5开发模板简介vue-mobile是是基于vue-cli实现的移动端H5开发模板,其中已经搭建好基本的开发框架,可帮助您实现快速开发。技术栈:vue+vux+axios+less功能搭建项目目录配置css预处理器配置UI组件库vux解决移动端适配配置页面路由缓存axios请求封装工具类函数封装toast组件封装dialog组件封装底部导航组件封装列表页demo表单页…

    2022年6月21日
  • goland 2021.10激活码和账号(注册激活)

    (goland 2021.10激活码和账号)JetBrains旗下有多款编译器工具(如:IntelliJ、WebStorm、PyCharm等)在各编程领域几乎都占据了垄断地位。建立在开源IntelliJ平台之上,过去15年以来,JetBrains一直在不断发展和完善这个平台。这个平台可以针对您的开发工作流进行微调并且能够提供…

    2022年3月27日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号