用python解压web服务器返回的gzip数据
用python解压web服务器返回的gzip数据 之前用tcpdump抓包的时候,只要是gzip压缩过的数据就没有办法直接还原原始的数据。这段时间学了一下python正好看里面有gzip模块。今天先尝试了一下解压web server返回的压缩过的数据。测试了一下OK #!/usr/bin/env python import urllib2 import gzip import binascii …
用python解压web服务器返回的gzip数据 之前用tcpdump抓包的时候,只要是gzip压缩过的数据就没有办法直接还原原始的数据。这段时间学了一下python正好看里面有gzip模块。今天先尝试了一下解压web server返回的压缩过的数据。测试了一下OK #!/usr/bin/env python import urllib2 import gzip import binascii …
awk实时统计PV 今天有人问我怎么实时统计一下访问量的大小。其实在公司是有专门的监控系统做这些基本的访问量,服务调用,业务数据的完整分析。 不过就简单根据apache或者nginx的日志来看看PV的话,可以直接tail日志给awk处理。 #pv.f #假设第4列的格式是:[31/May/2013:13:46:31 +0800] #第6列是GET 或者POST 表示访问的方式 function …
nginx+uwsgi+django配置 这几天有点时间开始学习了一下django。昨天是直接用自带的manage.py启动的。今天简单查了几下几种模式,后来选了uwsgi模式开跑django,主要是nginx自带了这个模块,比较方便。 1.nginx的配置 nginx的配置比较简单的,写个upstream然后写一下uwsgi_pass就OK。 server { ........... …
nginx设置根据参数进行跳转 线上有个老系统要下线,发现有个老的接口还有人在用。其实之前这个接口也只是根据URL中的target参数进行一个跳转。这个直接在nginx里面做也是比较简单的,直接从$arg_target里把匹配的目标地址(包括参数)都提取出来,然后放到rewrite里面就OK。因为对应的参数实际已经被匹配下来了(只有GET请求,没有POST的),所以rewrite语句里面加了一 …
BitTorrent Sync试用 今天想着把去年海淘的T530拿出来打理一下,就直接sftp把工作笔记本的文件拖到了新电脑。其实一直想试试网盘的,现在多个电脑切来切去的经常发现某个文件在另外的一个电脑上,非常不方便。考虑到数据安全就同步到内部网盘上了。下午正好无聊发现有个BitTorrent Sync是专门做局域网内部的文件同步的,Linux下也可以很方便地使用。就简单试了下。 使用还是比较简单 …
nginx同时listen ipv4和ipv6端口 其实根据nginx的wiki的http://wiki.nginx.org/HttpCoreModule#listen,在linux下一般默认的监听ipv6的一个端口会同时把ipv4的端口相应地监听起来。除非自己手动设置了/proc/sys/net/ipv6/bindv6only为1。今天重新编译了nginx后发现在ipv4环境下blog不能访问 …
nginx开启pagespeed和sdpy nginx 1.4.0已经增加了sdpy协议的支持。所以只需要简单的编译即可。另外这段时间炒的很热的google pagespeed模块也出了一个beta版本。pagespeed编译后实在是比之前大了太多,表示有点难以接受。 1.编译安装新版的openssl,因为debian stable带的openssl版本太 …
tomcat的keepalive时间设置问题 前几天进行线上的压测,发现应用的性能比之前还降低了就进行了一些分析。应用的结构是基础的apache+mod_jk+jboss的模式。主要的原因是之前的很多默认参数设置不合理,比如jk的配置 worker.list=local worker.local.type=ajp13 worker.local.host=localhost …
nginx alias配置小问题 之前单独做了一个健康检查的页面。配置是如下 location ~* HEALTH_CHECK { alias /home/app/HEALTH_CHECK ; try_files /lbck =410; } 之前之所以这样写是因为考虑到访问的时候可以不分大小写。然后今天看着这个配置觉得有点蛋疼,因为我想在这个目录下放点其他的东西。所以修改了一下下 location …
升级debian testing的svn到1.7 公司使用的svn都是1.7版本的,然后在debian testing源里的版本还是1.6的,这个就造成了平时在linux下完全不能用svn。晚上升级了一下,终于可以用了。 直接加一下源: deb http://opensource.wandisco.com/debian/ squeeze svn17 添加一下key wget …