有些网站开启了gzip压缩,访问回来的数据是压缩的,需要解压,故,附上解压的例程:

import StringIO, gzip
compressedstream = StringIO.StringIO(要解压的数据)
gziper = gzip.GzipFile(file[......]

阅读全文

好吧,因为要改个采集脚本,所以学习了一下Python中如何post gzip压缩数据。

import zlib
import urllib2
req = urllib2.Request(url,zlib.compress(你要post的数据));req.add_heade[......]

阅读全文

有些网站本身是响应式的,移动端访问不需要百度进行转码,此时需要加入些代码禁止百度转码,方法如下:
head里加入如下代码即可:

<meta http-equiv="Cache-Control" content="no-transfo[......]

阅读全文