背景
由于采用了sparkstreaming 任务一直再运行导致日志文件暴涨，达到了硬盘的预警，不得已必须指定策略定期删除日志已保证服务器硬盘空间。
spark的日志分类
spark的日志都有那些：
1.event(history)
2.work
3.executor
解决方法
方案1
一开始为了快速实现日志清理，选择了脚本自动清理，写了shell脚本便于清理历史文件，但是会有很多细节甚至有些文件不能删除（由于进程占用），这里不做详细介绍了。
方案2
spark配置来解决这几个问题
conf文件下面的两个文件中修改配置：
1.解决executor（work目录） 日志太大的问题，修改spark-defaut.conf
# 日志循环复写的策略（一般就是size和time）这里受限于空间选择了大小
spark.executor.logs.rolling.strategy size
# 设定复写的大小，这里设定了1G spark.executor.logs.rolling.maxSize 1073741824
# 设定组大保留文件 spark.executor.logs.rolling.maxRetainedFiles 100
# 设定更新周期这里选择一小时检查一次是否超过最大值 spark.executor.logs.rolling.time.interval hourly
2.解决历史日志问题spark-env.sh 文件添加 历史日志清洗参数配置
export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=/export/opt/spark/spark2.4.0/logs -Dspark.history.fs.cleaner.enabled=true -Dspark.history.fs.cleaner.interval=1d -Dspark.history.fs.cleaner.maxAge=2d -Dspark.history.retainedApplications=100"
3.woker日志清理同上文件
export SPARK_WORKER_OPTS="-Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.interval=1800 -Dspark.worker.cleanup.appDataTtl=86400"
方案3
log4j 替代默认的日志记录,再shell的提交脚本中加入如下参数
--files "./log4j.properties" \ --driver-java-options "-Dlog4j.debug=true -Dlog4j.configuration=log4j.properties" \ --conf spark.driver.extraJavaOptions='-Dlog4j.configuration=file:/opt/spark/conf/log4j.properties' \
总结
再实际应用过程中依然有很多不能日志复写或者不能文件导致日志太大的问题，需要具体问题具体解决。比如spark3.0 才支持history日志循环写。另外yarn模式和standalone 也有很多不同，需要区别处理。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
发布者：全栈程序员-用户IM，转载请注明出处：https://javaforall.cn/119634.html原文链接：https://javaforall.cn
【正版授权，激活自己账号】： Jetbrains全家桶Ide使用，1年售后保障，每天仅需1毛
【官方授权 正版激活】： 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...
