ITeye博客

2015 年文章归档

共 4 篇文章

一次SQL优化过程中的分析过程

线上有这样一个Sql耗时很长,统计 了下基本在80~200s之间。 SQL: SELECT `mysites_vultask`.`id`, `mysites_vultask`.`site_id`, `mysites_vultask`.`status`, `mysites_vultask`.`timestamp`, `mysites_vultask`.`conf`, `mysites_vultask`.`task_state`, `mysites_vultask`.`task_id`, `mysites_vultask`.`error_id`, `mysites_vultask`.`endti…

2015-12-22 18:58 · 数据库

log 文件越来越大导致磁盘满问题

最近由于业务的增加,很多组件中uwsgi 和 nginx 的日志增长的比较快,硬盘空间小的机器资源容易耗尽。导致业务受影响。 因为业务日志都会写到syslog中,而nginx 和uwsgi 一般只放在本地,所以log文件会越来越大。 如下图, 解决方案: 一、增加各组件机器的监控,及时发现问题 二、日志定时转存,及时删除旧的日志,防止磁盘出现满的情况 这里主要说方案二的方法: 查了些资料,很多人使用logrotate程序来管理日志,logrotate是日志文件管理工具,可以把旧的文 件删除,并创建新的日志文件,可以根据大小或者时间来转储,这个过程需要依赖于cron logrotate 主要配…

2015-12-10 13:56 · 开发经验

uwsgi重启问题定位

最近几天经常发现访问webserver (scancenter)有异常,有时慢有时快。 定位思路:后台架构使用nginx 作为反向代理,uWsgi做为web服务器,项目使用django框架。基本上的请求流程是: client--->nginx---->uwsgi----->django 一、先看nginx的access.log 一般在/usr/local/nginx/log/目录下。当然如果还找不到就locate access.log一下就能找到了。 没有太大异常,只是发现一些请求时间比较长。达到300秒。具体的日志含义可以在nginx.conf看到。 二、再查看uwsgi的log 发现很多…

2015-12-03 20:35 · 开发经验

生成报表内存溢出问题

最近常在系统中发现内存不够用的情况,这里简单总结下对应场景和处理思路 背景:线上很多客户生成报表失败,由于采用是celery和异步方案,事后只能去查查日志,没发现异常情况,为了复现场景只能后台手动执行下脚本来生成,过程中用top,htop或者free来观察状态,发现在转pdf过程中内存一直增加,最 后不够用导致失败。生pdf存在该问题,rtf不存在。 分析:pdf的生成使用了第三方工具包,过程中使用shell命令调用执行,他的内部逻辑无法去控制和改变,所以只能从os层面和业务上想办法。 方案1:加物理内存,只能临时应付。而且比较麻烦,不能长久解决问题。交付物不变。 方案2:加swap,只能临…

2015-12-02 07:48 · 操作系统安全相关