最近由于业务的增加,很多组件中uwsgi 和 nginx 的日志增长的比较快,硬盘空间小的机器资源容易耗尽。导致业务受影响。
因为业务日志都会写到syslog中,而nginx 和uwsgi 一般只放在本地,所以log文件会越来越大。
如下图,
解决方案:
一、增加各组件机器的监控,及时发现问题
二、日志定时转存,及时删除旧的日志,防止磁盘出现满的情况
这里主要说方案二的方法:
查了些资料,很多人使用logrotate程序来管理日志,logrotate是日志文件管理工具,可以把旧的文 件删除,并创建新的日志文件,可以根据大小或者时间来转储,这个过程需要依赖于cron
logrotate 主要配置文件是/etc/logrotate.conf 和 /etc/logrotate.d/*
下边是配置的一个示例,文件是/etc/logrotate.d/nginx
1 /usr/local/nginx/logs/*.log { 2 daily #每天转储,还可以写weekly和monthly 3 rotate 3 #指定日志文件删除之前转储的次数,0 指没有备份,3 指保留3 个备份 4 missingok #如果指定的目录不存在,logrotate会报错,此项用来关闭报错 5 notifempty #如果日志为空,则不进行轮转 6 compress # 轮转后进行压缩 7 dateext #文件名添加YYYYMMDD形式日期 8 create 644 apache apache # postrotate 前 修改文件权限 9 postrotate #轮转之后执行的命令 10 /usr/bin/killall -HUP nginx 11 endscript 12 }
具体的含义见后边的注释。
ps:
需要保证cron 是启动的
目前rest api 这台uwsgi log 太大导致磁盘满的情况比较常见,我先上线弄一下。
其他组件其他同学如果发现类似的问题需要可以按照这个配置来
相关推荐
大文件上传工具,主要解决log日志过多,notepad++ 不能打开文件的问题
iis.log文件,一个 log日志文件 .log文件供下载开发测试
在项目开发过程中,用异步方式把log日志写入到磁盘文件。多线程版,C++实现,Windows平台。 如果你需要这份源码但是资源分不够,可以给我留言索要。
日志文件有时在阅读时加载几乎缓慢,大部分切割器一般不支持多文件或切割速度较慢,且无法满足用户自定义的需求。考虑编程实现,利用Python编程语言可以快捷地完成将大文本文件分割成多个小文件,并且拥有非常快的...
Linux环境下,处理磁盘空间已满,导致数据库无法正常使用的处理方法: 第一步:查看磁盘空间的使用情况 df -f 第二步:找到日志文件,并清理 1) 进入跟目录 cd / 2)查找日志文件(区分大小写) find -name *.Log; find...
具体设置如下 log.SetFlags(log.Ldate | log.Ltime | log.Lshortfile) config.Setconfig() log.SetFilepath(config.VLOG_PATH_FILE) log.SetFileMax(int64(config.VLOG_FILE_MAXSIZE * 1024 * 1024))
尼康D850相机各种LOG预设文件,方便PS后期调色修图等。
网站日志 .log文件,用来做大数据的测试,一共是好几个.log文件
利用c++实现 log日志文件写入,编译环境vs2010。
一个简单的写log日志的c++代码,可以将日志写入文件用来记录程序调试信息。
之前在excel里面分析log数据,简直日了*了。 现在用python在处理日志数据. 主要涉及 matplotlib,open和循环的使用。 日志内容大致如下 2016-10-21 21:07:59,787 [7 MainWindowForm]INFO: update time 136.6314 ...
Web Log Explorer 可以统计分析 Apache、IIS 网站主机的 .log 纪录文件,能够将多种关于网站浏览者的统计资料彻底解析,包括:参观人次、动态状况、文件存取状态、参照网页、搜寻引擎、错误、来访者国家、网站搜寻...
连个查看LOG的工具,非常方便的查看Log文件。
log4文件log4文件log4文件log4文件log4文件log4文件log4文件log4文件log4文件log4文件
配置Log4net.config <log4net OverdueDays="10"> 可以删除指定多少天数前的日志文件,不配默认7天,每24小时自动清一次
由公司的项目需要根据日期和文件大小切分log4j日志,所以实现来该appender。本人测试通过,并且在公司的其它项目中已有线上使用,暂时还没发现问题。本人代码有写得不好或者错误的地方,欢迎大家指正,谢谢!!!
实际项目中经常会用到日志打印 为避免日志打印输出文件过大 消耗服务器内存 需要限制大小
数据库LOG收缩 数据库LOG收缩 数据库LOG收缩 数据库LOG收缩 数据库LOG收缩 数据库LOG收缩
python小程序,用来提取lammps生成的log文件中某一类数据并导出到excel表格中
如果要在一个庞大的Log文件里过滤出自己想要的信息并生成新的文件可以使用本工具。选中原文件、新文件位置然后输入关键字点击commit提交关键字,再点击go按钮,就可以生成过滤后的新文件了。实现代码非常简单,有...