BlogJava-stone2083-随笔分类-pythonhttp://www.blogjava.net/stone2083/category/42431.htmlzh-cnFri, 30 Mar 2018 15:06:00 GMTFri, 30 Mar 2018 15:06:00 GMT60将图片转成HTML格式--原理&代码http://www.blogjava.net/stone2083/archive/2013/12/20/407809.htmlstone2083stone2083Fri, 20 Dec 2013 06:28:00 GMThttp://www.blogjava.net/stone2083/archive/2013/12/20/407809.htmlhttp://www.blogjava.net/stone2083/comments/407809.htmlhttp://www.blogjava.net/stone2083/archive/2013/12/20/407809.html#Feedback0http://www.blogjava.net/stone2083/comments/commentRss/407809.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/407809.html
@see http://www.blogjava.net/stone2083/archive/2013/12/20/407807.html

原理

使用table,tr/td作为一个像素点，画点。



代码

 2 import sys, optparse, Image
 3 
 4 TABLE='<table id="image" border="0" cellpadding="0" cellspacing="0">%s</table>'
 5 TR='<tr>%s</tr>'
 6 TD='<td width="1px;" height="1px;" bgcolor="%s"/>'
 7 
 8 def rgb2hex(rgb):
 9     return '#{:02x}{:02x}{:02x}'.format(rgb[0],rgb[1],rgb[2])
10 
11 def get_image(name, thumbnail=1):
12     if(thumbnail >= 1 or thumbnail <= 0): 
13         return Image.open(name)
14     else:
15         img = Image.open(name)
16         return img.resize((int(img.size[0] * thumbnail),int(img.size[1] * thumbnail)))
17 
18 def convert(img):
19     trs = []
20     for height in xrange(img.size[1]):
21         tds = []
22         for width in xrange(img.size[0]):
23             tds.append(TD % rgb2hex(img.getpixel((width, height))))
24         trs.append(TR % (''.join(tds)))
25     return TABLE % (''.join(trs),)
26 
27 parser = optparse.OptionParser('Usage: %prog [options] image')
28 parser.add_option('-c', '--compress', dest='thumbnail', default='1', metavar='float', help='specify the compress value (0, 1)')
29 parser.add_option('-o', '--out', dest='out', default='out.html', help='specify the output file')
30 opts, args = parser.parse_args()
31 
32 if(len(args) != 1): 
33     parser.print_help()
34     sys.exit(-1)
35 
36 html = open(opts.out,'w')
37 html.write(convert(get_image(args[0], float(opts.thumbnail))))
38 html.close()

下载地址 

https://code.google.com/p/stonelab/downloads/detail?name=img2html.py#makechanges

stone2083 2013-12-20 14:28 发表评论
]]>将图片转成HTML格式－－用HTML画图http://www.blogjava.net/stone2083/archive/2013/12/20/407807.htmlstone2083stone2083Fri, 20 Dec 2013 06:18:00 GMThttp://www.blogjava.net/stone2083/archive/2013/12/20/407807.htmlhttp://www.blogjava.net/stone2083/comments/407807.htmlhttp://www.blogjava.net/stone2083/archive/2013/12/20/407807.html#Feedback0http://www.blogjava.net/stone2083/comments/commentRss/407807.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/407807.html阅读全文

stone2083 2013-12-20 14:18 发表评论
]]>pystack--python stack trace--让python打印线程栈信息http://www.blogjava.net/stone2083/archive/2013/08/19/403028.htmlstone2083stone2083Mon, 19 Aug 2013 05:15:00 GMThttp://www.blogjava.net/stone2083/archive/2013/08/19/403028.htmlhttp://www.blogjava.net/stone2083/comments/403028.htmlhttp://www.blogjava.net/stone2083/archive/2013/08/19/403028.html#Feedback0http://www.blogjava.net/stone2083/comments/commentRss/403028.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/403028.html 使用方式:
1. https://pypi.python.org/pypi/pdbx/0.3.0 下载, 或者直接通过easyinstall安装
2. python scripts中, import pdbx; pdbx.enable_pystack(); 开启pystack功能
3. kill -30 pid , 就可以打印stack信息了. 
如:
"CP Server Thread-10" tid=4564467712
    at self.__bootstrap_inner()(threading.py:525)
    at self.run()(threading.py:552)
    at conn = self.server.requests.get()(__init__.py:1367)
    at self.not_empty.wait()(Queue.py:168)
    at waiter.acquire()(threading.py:244)

"CP Server Thread-9" tid=4560261120
    at self.__bootstrap_inner()(threading.py:525)
    at self.run()(threading.py:552)
    at conn = self.server.requests.get()(__init__.py:1367)
    at self.not_empty.wait()(Queue.py:168)
    at waiter.acquire()(threading.py:244)

"CP Server Thread-1" tid=4526608384
    at self.__bootstrap_inner()(threading.py:525)
    at self.run()(threading.py:552)
    at conn = self.server.requests.get()(__init__.py:1367)
    at self.not_empty.wait()(Queue.py:168)
    at waiter.acquire()(threading.py:244)

"CP Server Thread-7" tid=4551847936
    at self.__bootstrap_inner()(threading.py:525)
    at self.run()(threading.py:552)
    at conn = self.server.requests.get()(__init__.py:1367)
    at self.not_empty.wait()(Queue.py:168)
    at waiter.acquire()(threading.py:244)

"CP Server Thread-4" tid=4539228160
    at self.__bootstrap_inner()(threading.py:525)
    at self.run()(threading.py:552)
    at conn = self.server.requests.get()(__init__.py:1367)
    at self.not_empty.wait()(Queue.py:168)
    at waiter.acquire()(threading.py:244)

"CP Server Thread-2" tid=4530814976
    at self.__bootstrap_inner()(threading.py:525)
    at self.run()(threading.py:552)
    at conn = self.server.requests.get()(__init__.py:1367)
    at self.not_empty.wait()(Queue.py:168)
    at waiter.acquire()(threading.py:244)

"MainThread" tid=140735286018432
    at app.run()(raspctl.py:173)
    at return wsgi.runwsgi(self.wsgifunc(*middleware))(application.py:313)
    at return httpserver.runsimple(func, validip(listget(sys.argv, 1, '')))(wsgi.py:54)
    at server.start()(httpserver.py:157)
    at self.tick()(__init__.py:1765)
    at s, addr = self.socket.accept()(__init__.py:1800)
    at sock, addr = self._sock.accept()(socket.py:202)
    at pystack()(pdbx.py:181)
    at for filename, lineno, _, line in traceback.extract_stack(stack):(pdbx.py:169)

"CP Server Thread-5" tid=4543434752
    at self.__bootstrap_inner()(threading.py:525)
    at self.run()(threading.py:552)
    at conn = self.server.requests.get()(__init__.py:1367)
    at self.not_empty.wait()(Queue.py:168)
    at waiter.acquire()(threading.py:244)

"CP Server Thread-8" tid=4556054528
    at self.__bootstrap_inner()(threading.py:525)
    at self.run()(threading.py:552)
    at conn = self.server.requests.get()(__init__.py:1367)
    at self.not_empty.wait()(Queue.py:168)
    at waiter.acquire()(threading.py:244)

"CP Server Thread-3" tid=4535021568
    at self.__bootstrap_inner()(threading.py:525)
    at self.run()(threading.py:552)
    at conn = self.server.requests.get()(__init__.py:1367)
    at self.not_empty.wait()(Queue.py:168)
    at waiter.acquire()(threading.py:244)

"CP Server Thread-6" tid=4547641344
    at self.__bootstrap_inner()(threading.py:525)
    at self.run()(threading.py:552)
    at conn = self.server.requests.get()(__init__.py:1367)
    at self.not_empty.wait()(Queue.py:168)
    at waiter.acquire()(threading.py:244)


核心代码:
# pystack
def pystack():
    for tid, stack in sys._current_frames().items():
        info = []
        t = _get_thread(tid)
        info.append('"%s" tid=%d' % (t.name, tid))
        for filename, lineno, _, line in traceback.extract_stack(stack):
            info.append('    at %s(%s:%d)' % (line, filename[filename.rfind('/') + 1:], lineno))
        print '\r\n'.join(info)
        print ''

def _get_thread(tid):
    for t in threading.enumerate():
        if t.ident == tid:
            return t
    return None

def _pystack(sig, frame):
    pystack()

def enable_pystack():
    signal.signal(signal.SIGUSR1, _pystack)

有需要的朋友,赶紧拿走吧.

stone2083 2013-08-19 13:15 发表评论
]]>rpdb更名为pdbx并发布到pypihttp://www.blogjava.net/stone2083/archive/2013/03/23/396903.htmlstone2083stone2083Sat, 23 Mar 2013 08:11:00 GMThttp://www.blogjava.net/stone2083/archive/2013/03/23/396903.htmlhttp://www.blogjava.net/stone2083/comments/396903.htmlhttp://www.blogjava.net/stone2083/archive/2013/03/23/396903.html#Feedback0http://www.blogjava.net/stone2083/comments/commentRss/396903.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/396903.htmlrpdb更名为pdbx，发布到pypi


stone2083 2013-03-23 16:11 发表评论
]]>RPDB V0.2.0 Release (值得推广)http://www.blogjava.net/stone2083/archive/2013/03/22/396862.htmlstone2083stone2083Fri, 22 Mar 2013 09:23:00 GMThttp://www.blogjava.net/stone2083/archive/2013/03/22/396862.htmlhttp://www.blogjava.net/stone2083/comments/396862.htmlhttp://www.blogjava.net/stone2083/archive/2013/03/22/396862.html#Feedback0http://www.blogjava.net/stone2083/comments/commentRss/396862.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/396862.html软件已更新，最新请查看：https://code.google.com/p/stonelab/wiki/pdbx
原文：https://code.google.com/p/stonelab/wiki/RemotePDB

软件介绍

rpdb:远程PDB调试工具，是对pdb的扩展。 

在pdb基础上，做了功能加强，主要特性如下：

1. 兼容pdb一切语法和使用习惯 

2. 增加了远程调试功能， 允许你客户端通过telnet连接到指定调试端口，进行远程调试 

3. 增加了rq/rquit命令，支持安全退出模式，避免默认的quik会导致python程序异常退出的情况 

4. 允许多次调试 

5. 增加suspend模式，在启动时强制或者非强制进入断点 



stone2083 2013-03-22 17:23 发表评论
]]>RPDB-让PDB（Python调试工具）支持远程调试功能http://www.blogjava.net/stone2083/archive/2013/03/21/396812.htmlstone2083stone2083Thu, 21 Mar 2013 08:19:00 GMThttp://www.blogjava.net/stone2083/archive/2013/03/21/396812.htmlhttp://www.blogjava.net/stone2083/comments/396812.htmlhttp://www.blogjava.net/stone2083/archive/2013/03/21/396812.html#Feedback0http://www.blogjava.net/stone2083/comments/commentRss/396812.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/396812.html

软件已更新，最新请查看：https://code.google.com/p/stonelab/wiki/pdbx

软件介绍

rpdb扩展了pdb，让pdb支持远程调试功能。

使用了rpdb的python脚本在远程启动，本地通过telnet方式连接上rpdb提供的调试端口，接下来的操作和本地完全一致。

使用说明

  • 下载
    • wget https://stonelab.googlecode.com/files/rpdb-0.1.0.tar.gz 

    有两个文件：rpdb.py：扩展pdb的类库； example.py 演示程序
  • 安装
    • 将rpdb.py拷贝到PYTHONPATH即可，或者直接拷贝rpdb.py上内容到你的python脚本即可（程序非常小巧，30+代码行）
  • 演示
    • pdb = Rpdb()         # 类似于pdb=Pdb()
    pdb = Rpdb(8787) # 指定远程调试端口号
    pdb.set_trace() #设置断点
    如example.py中程序：
    #!/usr/bin/python

    from rpdb import Rpdb
    from random import randint
    from time import sleep

    def add(i, j):
        r     = i + j
            return r

    def main():
        pdb     = Rpdb()
            # pdb = Rpdb(9999) # debug port:9999
        pdb    .set_trace()
            while True:
            i     = randint(1,10)
            j     = randint(1,10)
            r     = add(i, j)
                print r
            sleep    (1)

    if __name__ == '__main__':
        main    ()
    本地终端输入： telnet xxx.xxx.xxx.xxx 8787
    telnet 127.0.0.1 8787
    Trying 127.0.0.1...
    Connected to localhost.
    Escape character is '^]'.
    > /Users/stone/Tmp/baidu/rpdb/example.py(15)main()
    -> while True:
    (Pdb) l 
         10     
         11     def main():
         12         pdb = Rpdb()
         13         # pdb = Rpdb(9999) # debug port:9999
         14         pdb.set_trace()
         15 ->     while True:
         16             i = randint(1,10)
         17             j = randint(1,10)
         18             r = add(i, j)
         19             print r
         20             sleep(1)
    (Pdb) n
    > /Users/stone/Tmp/baidu/rpdb/example.py(16)main()
    -> i = randint(1,10)
    (Pdb) b 19
    Breakpoint 1 at /Users/stone/Tmp/baidu/rpdb/example.py:19
    (Pdb) c
    > /Users/stone/Tmp/baidu/rpdb/example.py(19)main()
    -> print r
    (Pdb) p r
    11
    (Pdb) q
    Connection closed by foreign host.
    操作和pdb完全一致。

PDB常用命令

命令介绍
h(elp) command?输入h或者help 列出pdb支持的所有命令， h command? 介绍指定命令
w(here)列出当前调试所在行，一般会使用 l(ist)
l(ist) [first[, last]]列出源代码信息
s(tep)进入函数体
n(ext)执行下一行代码
c(ont(inue))继续，直到遇到下一个断点
r(eturn)执行到函数体结束那行
b(reak)设置断点，可以是代码行号，方法名， 还可以加进入条件
tbreak设置临时断点，进入一次后，自动消失
cl(ear)取消断点
disable让断点失效
enable让断点生效
ignore忽略断点n次
condition给断点添加条件，符合条件的才进入断点
j(ump) lineno跳掉指定行
a(rgs)打印函数体参数信息
p expression打印变量
pp expression同上，打印得漂亮一些
! statement执行代码，非常有用，可用来修改变量值
q(uit)退出调试（pdb的quit很黄很暴力）



stone2083 2013-03-21 16:19 发表评论
]]>分享几个小工具--推荐给Linux的用户http://www.blogjava.net/stone2083/archive/2013/03/19/396660.htmlstone2083stone2083Tue, 19 Mar 2013 07:12:00 GMThttp://www.blogjava.net/stone2083/archive/2013/03/19/396660.htmlhttp://www.blogjava.net/stone2083/comments/396660.htmlhttp://www.blogjava.net/stone2083/archive/2013/03/19/396660.html#Feedback0http://www.blogjava.net/stone2083/comments/commentRss/396660.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/396660.html自己写的几个小工具，分享给需要的人：

https://code.google.com/p/stonelab/wiki/BaiduMp3
百度MP3批量下载工具

https://code.google.com/p/stonelab/wiki/FileConvertor
文件编码转换工具

https://code.google.com/p/stonelab/wiki/MyZip
扩展zip命令，支持文件名编码

https://code.google.com/p/stonelab/wiki/Translate
命令行下的翻译软件

https://code.google.com/p/stonelab/wiki/HostsX
扩展Hosts，别名DnsProxy，DNS代理服务


stone2083 2013-03-19 15:12 发表评论
]]>BaiduMp3--基于命令行的百度MP3批量下载工具http://www.blogjava.net/stone2083/archive/2013/03/19/396645.htmlstone2083stone2083Tue, 19 Mar 2013 03:28:00 GMThttp://www.blogjava.net/stone2083/archive/2013/03/19/396645.htmlhttp://www.blogjava.net/stone2083/comments/396645.htmlhttp://www.blogjava.net/stone2083/archive/2013/03/19/396645.html#Feedback0http://www.blogjava.net/stone2083/comments/commentRss/396645.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/396645.html

软件介绍

BaiduMp3，基于命令行下的百度MP3歌曲批量下载工具。

主要支持功能：

  • 搜索 根据关键词搜索匹配的歌曲
  • 下载 根据搜索出来的歌曲ID，下载到本地指定目录
  • 批量下载 根据关键词，批量下载匹配的歌曲，到本地指定目录

软件使用

  • 命令参数介绍

    • Usage: baidump3.py [options]

    Options:
      -h, --help            show this help message and exit
      -m MODE, --mode=MODE  specifies the command mode
                            [list|download|multidownload]
      -o OUTPUT, --output=OUTPUT
                            specifies the output dir for download
      -p PAGE, --page=PAGE  specifies the list page
      -k KEY, --key=KEY     specifies the mp3 keyworld
      -f FROMPAGE, --from=FROMPAGE
                            specifies the from page for multidownload
      -t TOPAGE, --to=TOPAGE
                            specifies the end page for multidownload
  • 搜索
    • 通过-m list指定为搜索模式 -k参数指定搜索关键词，-p关键词指定分页页面号，默认一页显示20条数据。

    比如：./baidump3.py -m list -k 70后 -p 2 

    效果：
    ./baidump3.py -m list -k 70后 -p 2
    Total: 1000 Page:2
    1007797 刘若英                   为爱痴狂
    2067170 姜育恒                   别让我一个人醉
    209442    彭佳慧                   相见恨晚
    2121730 杨钰莹,毛宁                心雨
    216206    许美静                   蔓延
    226444    陈淑桦                   问
    253833    张学友                   秋意浓
    274172    张学友                   三天两夜
    580824    孟庭苇                   伤了你的心的我伤心
    582858    莫文蔚                   电台情歌
    650924    姜育恒                   其实我真的很在乎
    7274415 满文军                   我需要你
    7277793 林志炫                   单身情歌
    7280177 林志炫                   离人
    7302437 李寿全                   张三的歌
    844889    陈淑桦                   流光飞舞
    1039139 王菲                    容易受伤的女人
    1243712 罗大佑                   恋曲1980
    2076242 李宗盛                   我是一只小小鸟
    2121739 杨钰莹                   轻轻的告诉你
  • 下载
    • 通过-m download指定为下载模式 -k参数指定下载歌曲ID号 -o参数指定下载路径，默认为当前目录。

    比如：./baidump3.py -m download -k 1007797 -o ~/Tmp/ 

    效果：
    Downloading >>> 为爱痴狂.mp3
  • 批量下载
    • 通过-m multidownload指定为批量下载模式 -k参数指定歌曲关键词， -o参数指定下载路径（默认位为当前目录）， -f参数指定下载开始页面（默认为第一页）， -t参数指定下载结束页面（默认为搜索到的最后一页）

    比如：./baidump3.py -m multidownload -k 70后 -o ~/Tmp/baidu -f 2 -t 3 

    效果：
     MultiDownloading Page 2
    Downloading >>> 为爱痴狂.mp3
    Downloading >>> 别让我一个人醉.mp3
    Downloading >>> 相见恨晚.mp3
    Downloading >>> 蹇冮洦.mp3
    Downloading >>> 蔓延.mp3
    Downloading >>> 问.mp3
    Downloading >>> 秋意浓.mp3
    Downloading >>> 三天两夜.mp3
    Downloading >>> 伤了你的心的我伤心.mp3
    Downloading >>> 电台情歌.mp3
    Downloading >>> 其实我真的很在乎.mp3
    Downloading >>> 鎴戦渶瑕佷綘.mp3
    Downloading >>> 单身情歌.mp3
    Downloading >>> 离人.mp3
    Downloading >>> 张三的歌.mp3
    Downloading >>> 流光飞舞.mp3
    Downloading >>> 容易受伤的女人.mp3
    Downloading Fail.
    Downloading >>> 我是一只小小鸟.mp3
    Downloading >>> 轻轻的告诉你.mp3
    MultiDownloading Page 3
    Downloading >>> 孟婆汤.mp3
    Downloading >>> 情书.mp3
    Downloading >>> 橄榄树.mp3
    Downloading >>> 选择.mp3
    Downloading >>> 结束不是我要的结果.mp3
    Downloading >>> 鍛抽亾.mp3
    Downloading >>> 来生缘.mp3
    Downloading >>> 相思风雨中.mp3
    Downloading >>> 你我的爱只能擦肩而过.mp3
    Downloading >>> 忘情水.mp3
    Downloading >>> 爱如潮水.mp3
    Downloading >>> 特别的爱给特别的你.mp3
    Downloading >>> 千千阙歌.mp3
    Downloading >>> 涛声依旧.mp3
    Downloading >>> Hotel California.mp3
    Downloading >>> Roll Away The Stone.mp3
    Downloading >>> Peace Train.mp3
    Downloading >>> Have You Never Been Mellow.mp3
    Downloading >>> Hot Stuff.mp3
    Downloading >>> Rock The Boat.mp3
    备注： 有小概率会出现乱码，以及小小概率出现下载失败。


stone2083 2013-03-19 11:28 发表评论
]]>RaspCTL V0.1.0 Releasedhttp://www.blogjava.net/stone2083/archive/2013/01/16/394311.htmlstone2083stone2083Wed, 16 Jan 2013 08:23:00 GMThttp://www.blogjava.net/stone2083/archive/2013/01/16/394311.htmlhttp://www.blogjava.net/stone2083/comments/394311.htmlhttp://www.blogjava.net/stone2083/archive/2013/01/16/394311.html#Feedback0http://www.blogjava.net/stone2083/comments/commentRss/394311.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/394311.html转自：https://code.google.com/p/stonelab/wiki/RaspCTL
COPY过来格式比较乱，将就地看吧。原文直接看googlecode wiki吧 ：）

什么是RaspCTL
RaspCTL是Raspberry Pi和Control字母的组合，表示树莓派控制端。 RaspCTL是一款通过手机终端（泛义上包括手机，平板，电脑等设备）控制树莓派的软件。
目前，通过Raspberry&RaspCTL组合，打造成家庭多媒体播放机顶盒，在此场景中，RaspCTL非常类似XBMC平台。未来，会不断扩展RaspCTL功能，成为控制家庭物联网的设备中心，比如控制摄像头，空调开关等。此乃后话，按下不表。


为什么选择Raspberry Pi&RaspCTL
为什么选择Raspberry Pi

我们先来看看Raspberry Pi的相关参数：

CPU 700 MHz， ARM1176JZF-S
GPU（显卡） Broadcom VideoCore? IV，OpenGL ES 2.0， 1080p30 h.264/MPEG-4 AVC high-profile decoder
MEM（内存） 512M
分辨率 1080P
输出接口 1*SD口 2*USB口 1*音频口 1*HDMI口 1*网卡
尺寸 85.6 x 53.98 x 17mm （一张信用卡大小）
价格 $35


好吧，一起来总结下Raspberry Pi的优势吧

  • 小巧：只有一张信用卡大小
  • GPU强悍： 硬解1080P，30帧/S，通俗地将，差不多是iphone4S手机的2倍性能
  • 输出接口丰富： 包括2*USB，1*HDMI
  • 性价比高：$35

    从这些特性看，Raspberry非常合适充当高清视频播放机顶盒，来替代目前的华数机顶盒（华数官方垄断，费用高，质量差）。 家庭中，只要购置了Raspberry Pi和宽带，高清电影电视，免费看。 ：）

为什么选择RaspCTL
只有一个原因：Raspberry Pi CPU很弱：700MHZ。 同样，我们来看一组数据：

  • Raspbian Terminal下 CPU LOAD在0.2左右
  • Raspbian XWindows下， CPU占用率差不多在70%以上
  • XBian下，CPU占用率在95%以上
    如果，Raspberry Pi CPU能强悍那么一点点，那么XBian一定是首选，我也不会重新创造RaspCTL这个轮子了。只是目前，XBMC在Raspberry Pi（XBian）上的性能太糟糕了。 从数据看，只有在Raspbian Terminal下的性能，才能符合用户的期望，所以作者编写了RaspCTL这个控制端。通过手机终端的界面，来操作Raspbian Terminal，实现多媒体播放的功能。

RaspCTL(V0.1.0)功能特性

  1. 支持视屏，音频播放
    • 支持播放，暂停，停止，快进，快退，播放列表，上一首，下一首等
  2. 支持本地文件查看
    • 查看多媒体文件
  3. 配置系统信息
    • 配置多媒体文件根路径等
  4. 视频网站真实URL分析
    • 支持包括优酷，土豆，迅雷，百度等82个网站视频URL分析
  5. 制定Plugins规范
    • 可非常方便开发RaspCTL Pugin

使用者文档

如何安装RaspCTL

  1. 下载RaspCTL
    1. 下载，解压到指定目录
    2. 或者直接使用svn地址： svn co https://stonelab.googlecode.com/svn/tags/raspctl-0.1.0 RaspCTL
  2. 安装RaspCTL
    1. chmox +x bin/install.sh; bin/install.sh
    2. 会自动安装RaspCTL依赖的第三方库，主要是python-webpy python-jinja2 python-pexpect依赖

如何使用RaspCTL

  1. 启动RaspCTL服务
  2. 关闭RaspCTL服务
    • bin/shutdown.sh

常见问题

  • Q：如何自启动RaspCTL服务
    • 将 bin/start.sh 配置到树莓派的/etc/rc.local exit之前。 同理，你在rc.local中可以启动其他任何服务；
  • Q：如何使用80端口
    • debian系统禁用了小于1024的端口，所以RaspCTL只有使用8000端口。可以通过iptable将80端口请求转发到8000端口： iptables -t nat -A PREROUTING -p tcp --dport 81 -j REDIRECT --to-ports 8080

开发者文档

类库API

Omxplayer

play 播放，可以指定播放列表中任一一个资源
pause 暂停播放
resume 恢复播放
stop 停止播放
lseek 快退， 快退30秒， 参数为True的话，快退10分钟
rseek 快进， 快进30秒，参数为True的话，快进10分钟
prev 播放上一首
next 播放下一首
set_playlist 设置播放列表
add_playitem 添加多媒体资源到播放列表中, 参数为 ('url', 'name') 资源地址， 资源显示名
del_playitem 清空播放列表
sort_playitem 播放列表排序
set_dev 设置输出设备， hdmi接口 或者 本地音频接口
set_loop 设置播放模式：顺序，循环
get_info 获取播放器信息，如播放状态等

LocalFile?

get_mediapath 获得多媒体文件根目录路径
list 获取一个目录下的所有资源
list_all 递归获取一个目录下的所有资源

Config

load 获取raspctl.cnf中的配置信息
save 更新raspctl.cnf中的配置信息

MediaUrl?

get_urls 获取网站url对应的真实视屏url地址信息， fmt=high 获取高清视屏地址

Ajax规范

使用Ajax的目的：为了RaspCTL提供的服务可以同时被WAP， Android APP, IOS APP使用，RaspCTL服务均以Ajax形式提供。希望Plugins开发者也遵照这个规约，但不强制。
类库中，只要被标志@classmethod的方法，会直接暴露成Ajax服务，如：

class Foo:

    @classmethod

    def hello(cls, arg1, arg2): 

        return {msg: 'Hello Ajax[%s %s]' % (arg1, arg2)}


Ajax服务地址为：http://xxx.xxx.xxx.xxx:8000/api?data={"name":"Foo.hello", "args":["stone2083", "connie2083"]} 服务信息为：

{

  status: "Success",

  message: "Success",

  api: {

    args: [ ],

    name: "Foo.hello"

  },

  result: {

    msg: "Hello Ajax[stone2083 connie2083]"

  }

}

Plugins规范

youku --> 插件名字

    __init__.py --> 插件程序

    index.html --> 插件模板 【可选择】

init.py 内容为：

from rasplib import Plugin

urls = (

    '/', 'Index',

)



# 必须创建plugin实例，参数分别为插件名，作者名，版本号， 支持功能的urls

#其中，plugin中包含RaspCTL类库的所有方法，可直接调用

plugin = Plugin('youku','stone2083', '0.1', urls)



#web.py写法，插件规范并不引入新的学习成本。

class Index:

    def GET(self):

        return 'youku-NotSupported.'  #可以直接输出

        #return plugin.render.index()  #可以渲染某个模板信息

写在最后

  • RaspCTL作者联系信息：stone2083#yahoo.cn 程序的任何问题可直接联系这个邮箱
  • 招募UED设计前端界面 0.1.0前端非常糟糕，急待重构
  • 招募Plugin开发者，丰富RaspCTL
  • 期待小白鼠适用RaspCTL


stone2083 2013-01-16 16:23 发表评论
]]>SAE Python 支持web.py (非官方支持)http://www.blogjava.net/stone2083/archive/2011/11/24/364738.htmlstone2083stone2083Thu, 24 Nov 2011 07:48:00 GMThttp://www.blogjava.net/stone2083/archive/2011/11/24/364738.htmlhttp://www.blogjava.net/stone2083/comments/364738.htmlhttp://www.blogjava.net/stone2083/archive/2011/11/24/364738.html#Feedback3http://www.blogjava.net/stone2083/comments/commentRss/364738.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/364738.html 首次倒腾SAE，不熟悉，瞎搞，第一件干的事情，就是尝试如何让SAE支持web.py.

1. svn check out
svn co https://svn.sinaapp.com/stone2083 sae

2. 创建版本目录
mkdir 1
cd 1/

3. copy web.py目录到当前目录
scp -r /usr/share/pyshared/web web

4. 编写正常的webpy应用代码
vi webpy.py 
 1 import web
 2 
 3 urls = (
 4     '/', 'Home',
 5 )
 6 
 7 class Home:
 8     def GET(self):
 9         web.header('Content-Type', 'text/html')
10         return 'Hello Web.py'
11 
12 app = web.application(urls, globals())

5. 编写index.wsgi
vi index.wsgi
1 import sae
2 from webpy import app
3 application = sae.create_wsgi_app(app.wsgifunc())

整体目录结构如下：


搞定：


stone2083 2011-11-24 15:48 发表评论
]]>SSL相关命令随记http://www.blogjava.net/stone2083/archive/2011/10/17/361471.htmlstone2083stone2083Mon, 17 Oct 2011 12:22:00 GMThttp://www.blogjava.net/stone2083/archive/2011/10/17/361471.htmlhttp://www.blogjava.net/stone2083/comments/361471.htmlhttp://www.blogjava.net/stone2083/archive/2011/10/17/361471.html#Feedback2http://www.blogjava.net/stone2083/comments/commentRss/361471.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/361471.html背景
之前利用笨重的Java写过内网访问程序（SSL双向认证系统），今天才发现curl等命令对SSL都有良好的支持。
故记录相关点滴。

创建CA根证书

#创建ca私钥
openssl genrsa -out ca.key
#创建证书请求文件（Certificate Secure Request）
openssl req -new -key ca.key -out ca.csr

#创建CA根证书
openssl x509 -req -days 3650 -in ca.csr -signkey ca.key -out ca.crt

创建服务器证书
#创建服务器私钥

openssl genrsa -out server.key

#创建服务器证书请求文件
openssl req -new -key server.key -out server.csr

#创建服务器证书
openssl ca -in server.csr -cert ca.crt -keyfile ca.key -out server.crt

PFX证书转换
#pfx格式证书导出成pem格式证书

openssl pkcs12 -in jinli.pfx -nodes -out jinli.pem
#导出私钥
openssl rsa -in jinli.pem -out jinli.key
#导出证书，公钥
openssl x509 -in jinli.pem -out jinli.crt


curl访问HTTPS命令
curl -E jinli.pem:${password} --cacert ca.crt https://www.cn.alibaba-inc.com/
curl --cacert gmail.pem https://mail.google.com/mail
curl --cert jinli.crt --key jinli.key --cacert ca.crt https://www.cn.alibaba-inc.com/
参数解释：
    --cacert <file> CA certificate to verify peer against (SSL)
    --capath <directory> CA directory to verify peer against (SSL)
 -E/--cert <cert[:passwd]> Client certificate file and password (SSL)
    --cert-type <type> Certificate file type (DER/PEM/ENG) (SSL)
    --key <key>     Private key file name (SSL/SSH)

    --key-type <type> Private key file type (DER/PEM/ENG) (SSL)

python访问HTTPS代码
from httplib import HTTPSConnection

con = HTTPSConnection('www.cn.alibaba-inc.com', cert_file='jinli.pem')
con.connect()
con.request('GET', '/xxx')
res = con.getresponse()
print res.status
print res.read()
res.close()
con.close()

python查看证书信息代码
from OpenSSL import crypto
x509 = crypto.load_certificate(crypto.FILETYPE_PEM, open('cert_file').read())
print x509.get_issuer()

pkcs = crypto.load_pkcs12(open(pkcs_file).read(),passphrase)
print pkcs.get_certificate().get_issuer()

 

HTTPSConnection不理解的地方 

def wrap_socket(sock, keyfile=None, certfile=None,
                server_side=False, cert_reqs=CERT_NONE,
                ssl_version=PROTOCOL_SSLv23, ca_certs=None,
                do_handshake_on_connect=True,
                suppress_ragged_eofs=True, ciphers=None):

    return SSLSocket(sock, keyfile=keyfile, certfile=certfile,
                     server_side=server_side, cert_reqs=cert_reqs,
                     ssl_version=ssl_version, ca_certs=ca_certs,
                     do_handshake_on_connect=do_handshake_on_connect,
                     suppress_ragged_eofs=suppress_ragged_eofs,
                     ciphers=ciphers)

 

ssl wrap的函数是支持ca_certs参数的，但是HTTPSConnection不支持ca_certs参数
class HTTPSConnection(HTTPConnection):
        "This class allows communication via SSL."

        default_port = HTTPS_PORT

        def __init__(self, host, port=None, key_file=None, cert_file=None,
                     strict=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT,
                     source_address=None):
            HTTPConnection.__init__(self, host, port, strict, timeout,
                                    source_address)
            self.key_file = key_file
            self.cert_file = cert_file

        def connect(self):
            "Connect to a host on a given (SSL) port."

            sock = socket.create_connection((self.host, self.port),
                                            self.timeout, self.source_address)
            if self._tunnel_host:
                self.sock = sock
                self._tunnel()
            self.sock = ssl.wrap_socket(sock, self.key_file, self.cert_file)








stone2083 2011-10-17 20:22 发表评论
]]>谁说web.py性能差？http://www.blogjava.net/stone2083/archive/2011/09/30/359860.htmlstone2083stone2083Fri, 30 Sep 2011 06:51:00 GMThttp://www.blogjava.net/stone2083/archive/2011/09/30/359860.htmlhttp://www.blogjava.net/stone2083/comments/359860.htmlhttp://www.blogjava.net/stone2083/archive/2011/09/30/359860.html#Feedback10http://www.blogjava.net/stone2083/comments/commentRss/359860.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/359860.html 对比了一圈python web framework后，还是让我对web.py的simple和它的设计理念念念不忘。

机器介绍
机型：ThinkPad R400 笔记本
CPU：Intel(R) Core(TM)2 Duo CPU     P8700  @ 2.53GHz
Mem： 2G
系统：Ubuntu11.04 32位操作系统
备注：服务器上没有python环境，所以只拿个人电脑做测试。

测试内容
输出当前时间信息
1. <%= new Date() %>
2. time.ctime()

对比测试数据
服务器 并发数量 TPS 平均响应时间
Tomcat6 + JDK6 50 6519.29 7.67MS
CherryPy + Webpy 25 1328.56 18.82MS
CherryPy + Webpy 30 Fail Fail
Lighttpd + Flup(FCGI) + Webpy 25 1535.98 16.28MS
Lighttpd + Flup(FCGI) + Webpy 50 1546.11 32.339MS

测试感受
1. webpy自带的CherryPy服务器性能也比传说的强多了，只是难以支撑高并发的请求。也难怪，本来就是一个用于开发的服务器，也不能要求太多；
2. Flup（FCGI）下，TPS达到1500左右，完全能够支撑一般应用的运营要求了；
3. 在专业服务器下，webpy fcgi tps自信能达到4-5k左右。足够了；
4. 和Java相比，确实存在一定差距，但是在开发效率上，远远快于Java；
5. web.py成为我日后web开发首选；
6. 凡事不要道听途说，需要眼见为实。

附上测试报告图片：


stone2083 2011-09-30 14:51 发表评论
]]>DNS代理服务器http://www.blogjava.net/stone2083/archive/2011/07/04/353664.htmlstone2083stone2083Mon, 04 Jul 2011 12:39:00 GMThttp://www.blogjava.net/stone2083/archive/2011/07/04/353664.htmlhttp://www.blogjava.net/stone2083/comments/353664.htmlhttp://www.blogjava.net/stone2083/archive/2011/07/04/353664.html#Feedback23http://www.blogjava.net/stone2083/comments/commentRss/353664.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/353664.htmlhttp://www.blogjava.net/stone2083/archive/2011/05/23/350875.html
随笔摘自6月13日邮件分享
目前此软件在公司测试环境上运行良好，故分享给大家。

以下为分享内容：

好处：

1.       一个项目、小需求，需要绑定的Hosts，只需要一份Hosts信息即可。不必每个用户自行管理各自电脑的Hosts。达到一人配置，多人使用的目的

2.       绑定的Hosts，支持通配符。方便类似旺铺域名的需求，只需要配置一个带通配符的域名即可

3.       要在不同项目，小需求切换不同的Hosts时，只需要轻轻一点，方便

4.       要想使用代理服务器，只需要本地DNS设置一下即可，方便

5.       本机Hosts配置优先

 

如何使用：（以10.20.131.207环境介绍）备注：公司内部环境，外部无法访问，如果需要，请自行搭建

1.       登陆DNS后台管理页面URL：http://10.20.131.207:8000/，点击Add


2.       添加一个项目的Hosts信息，点击添加


3.       在Hosts信息页面，点击assign，绑定自己电脑IP和某个Hosts的关联


4.       IP List页面上，显示了不同IP和Hosts关联的信息


5.       将本机电脑的DNS服务器设置成DNS代理服务器即可（10.20.131.207）-- 只需要一次操作即可，以后一直能用

左图为windows配置，右图为linux配置

 

此时，你访问域名，如果在2011tp hosts中，则直接返回Hosts中的IP;反之，则返回真实IP。


如何启动服务
1. 启动DNS代理服务器服务
1.1 cd dns/dns
1.2 vi settings.py 修改配置信息
1.3 python -u main.py

2. 启动DNS BackOffice服务
2.1 cd dns/config
2.2 vi settings.py 修改配置信息
2.3 python -u manage.py runserver


软件下载：DNS Proxy Server

============================================================================================
为了满足“邪恶”的人们能更方便的使用这个软件（貌似邪恶的人特别看重这个软件通配符的功能，具体邪恶在哪里，我不具体描述了，给个链接），我特意写了一个standalone的版本：
1. 去除无用的backoffice功能
2. 去除通过事件机制reload hosts文件的功能
3. 去除复杂的settings配置文件，改用简单的命令行方式
4. 特意为windows用户制作了一个exe文件，可以直接使用

linux用户使用方案：
python standalone.py -s xxx.xxx.xxx.xxx (上级dns地址)
python standalone.py -s xxx.xxx.xxx.xxx -f /etc/hosts2 (指定hosts文件，默认是/etc/hosts)

windows用户使用方案，进入dist（exe发布目录）
dns.exe -s xxx.xxx.xxx.xxx (上级dns地址)
dns.exe -s xxx.xxx.xxx.xxx -f d:/hosts （指定hosts文件，默认是c:/windows/system32/drivers/etc/hosts）

对于不放心使用exe的客户来说，可以进入dns目录，通过py2exe工具自行发布成exe软件，方法如下
python setup.py py2exe

standalone版本下载



stone2083 2011-07-04 20:39 发表评论
]]>扩展Python MySQLdb Cursorhttp://www.blogjava.net/stone2083/archive/2011/06/18/352552.htmlstone2083stone2083Fri, 17 Jun 2011 16:41:00 GMThttp://www.blogjava.net/stone2083/archive/2011/06/18/352552.htmlhttp://www.blogjava.net/stone2083/comments/352552.htmlhttp://www.blogjava.net/stone2083/archive/2011/06/18/352552.html#Feedback1http://www.blogjava.net/stone2083/comments/commentRss/352552.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/352552.html 其默认的Cursor Class是使用tuple（元组）作为数据存储对象的，操作非常不便
1 p = cursor.fetchone()
2 print(p[0], p[1])
如果有十几个字段，光是数数位数，就把我数晕了。

当然，MySqldb Cursor Class本身就提供了扩展，我们可以切换成DictCurosor作为默认数据存储对象，如
MySQLdb.connect(host='127.0.0.1', user='sample', passwd='123456', db='sample', cursorclass=DictCursor, charset='utf8')
#
p = cursor.fetchone()
print(p['id'], p['name'])
字典的方式优于元祖。

但是，"[]"这个符号写写比较麻烦，并且我编码风格带有强烈的Java习惯，一直喜欢类似"p.id","p.name"的写法。
于是，扩展之
1. 扩展Dict类，使其支持"."方式：
 1 class Dict(dict):
 2     
 3     def __getattr__(self, key):
 4         return self[key]
 5     
 6     def __setattr__(self, key, value):
 7         self[key] = value
 8     
 9     def __delattr__(self, key):
10         del self[key]
2. 扩展Curosor，使其取得的数据使用Dict类：
 1 class Cursor(CursorStoreResultMixIn, BaseCursor):
 2 
 3     _fetch_type = 1
 4 
 5     def fetchone(self):
 6         return Dict(CursorStoreResultMixIn.fetchone(self))
 7 
 8     def fetchmany(self, size=None):
 9         return (Dict(r) for r in CursorStoreResultMixIn.fetchmany(self, size))
10 
11     def fetchall(self):
12         return (Dict(r) for r in CursorStoreResultMixIn.fetchall(self))

这下，就符合我的习惯了：
1 MySQLdb.connect(host='127.0.0.1', user='sample', passwd='123456', db='sample', cursorclass=Cursor, charset='utf8')
2 #
3 p = cursor.fetchone()
4 print(p.id, p.name)



stone2083 2011-06-18 00:41 发表评论
]]>Hosts绑定新思路之DNS代理服务器实现篇http://www.blogjava.net/stone2083/archive/2011/05/23/350875.htmlstone2083stone2083Mon, 23 May 2011 13:24:00 GMThttp://www.blogjava.net/stone2083/archive/2011/05/23/350875.htmlhttp://www.blogjava.net/stone2083/comments/350875.htmlhttp://www.blogjava.net/stone2083/archive/2011/05/23/350875.html#Feedback0http://www.blogjava.net/stone2083/comments/commentRss/350875.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/350875.html阅读全文

stone2083 2011-05-23 21:24 发表评论
]]>Hosts绑定新思路之DNS代理篇http://www.blogjava.net/stone2083/archive/2011/05/23/350871.htmlstone2083stone2083Mon, 23 May 2011 11:42:00 GMThttp://www.blogjava.net/stone2083/archive/2011/05/23/350871.htmlhttp://www.blogjava.net/stone2083/comments/350871.htmlhttp://www.blogjava.net/stone2083/archive/2011/05/23/350871.html#Feedback0http://www.blogjava.net/stone2083/comments/commentRss/350871.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/350871.html

前言

此文摘自2011年5月23日邮件分享，为《Hosts绑定新思路之HTTP代理篇》续集



电视有续集,电影也有续集,Hosts绑定思路同样有续集.

 

我们先用一句话来回顾下,上集中关于Hosts绑定的思路:

原理:利用Http代理的方式,将分散在各个客户端的Hosts绑定,集中绑定在Http代理服务器上

优点:集中管理

缺点:一台Http代理服务器,只能绑定一组Hosts信息

(详细内容,请见之前的邮件)

 

在当时描述方案邮件的时候,也意识到了方案存在的不足,所以一直在思考改进方案(详见之前邮件中最后一节—改进方案思路).

经过一段时间的思考,改进方案有了大概的雏形: 将之前的HTTP代理方案 替换成 DNS代理方案

 

俗话说得好:有图有真相.先贴上一张架构图,之后再用文字慢慢解释 


 

架构中核心组件是:DNS BackOffice服务器 和DNS代理服务器

DNS BackOffice服务器的作用有:

1.       开发/测试管理员通过BackOffice服务维护各自项目的绑定信息,BackOffice服务将之持久化                (图中 蓝色虚线)

2.       开发/测试人员通过BackOffice服务,告知需要哪个项目的绑定信息,BackOffice服务将之持久化           (图中 黑色虚线)

 

DNS代理服务器的作用有:

1.       拦截Domain Name的解析.通过来源IP判断需要绑定的Hosts信息,通过File/DB得到对应的IP,通过DNS协议返回  (图中 红色实线 和 黑色实线)

2.       如果不在绑定之列,则请求上级DNS服务器,返回其Response.

 

此方案的优势:

1.       本地Hosts绑定优先.

只要本地Hosts有绑定IP,则不会请求DNS代理服务器.只请求本地Hosts文件.能满足个性化需求.

2.       DNS代理服务器支持多种绑定方式,如通配符,正则等

对于目前旺铺,完全可以使用通配符,如 *.cn.alibaba.com,简化配置工作量

3.       操作简单

只要将DNS服务器设置成DNS代理服务器IP即可 (附录中有详细说明)

4.       有效利用现有成果

目前测试同学已经集中维护了Hosts绑定信息,只要部署DNS代理服务器,并做简单的集成即可

5.       DNS代理服务器代码轻量小巧,易于修改扩展

目前一共只有212行代码,其中DNS协议部分130行,DNS代理部分82行.

 

 

附录

I.                    客户端如何设置DNS服务器

Windows用户,见图:


Linux用户,见图:


修改 /etc/resolv.conf文件即可



stone2083 2011-05-23 19:42 发表评论
]]>Hosts绑定新思路之HTTP代理篇http://www.blogjava.net/stone2083/archive/2011/05/23/350868.htmlstone2083stone2083Mon, 23 May 2011 11:41:00 GMThttp://www.blogjava.net/stone2083/archive/2011/05/23/350868.htmlhttp://www.blogjava.net/stone2083/comments/350868.htmlhttp://www.blogjava.net/stone2083/archive/2011/05/23/350868.html#Feedback1http://www.blogjava.net/stone2083/comments/commentRss/350868.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/350868.html

前言

此文摘自2011年3月22日邮件分享


现状

平时开发,测试,功能预演阶段,为了能够正常访问应用,需要做Hosts绑定.随着应用数量的不断增多,绑定量也是急剧上升.例如最近工作平台三期项目,需要绑定的环境多达44个.一旦有变动,需要通知所有人员做本地Hosts的调整,维护成本那是相当地大.

 

用一张图,来描述下目前我们的方案:


 

如果站在面向对象编程的角度,来思考这张图,我们会发现.

1.       利用客户端本地Hosts绑定来实现,并且客户端数量不可控—利用客户端解决需求,但客户端维护不在可控范围内

2.       Hosts绑定是非常不稳定的—需求易变

 

这样的设计,违反了”封装变化”的设计原则,故一旦有变动,维护成本非常大.

 

新方案思路

按照”封装变化”的设计原则,我们就应该把”域名绑定”这个易变需求,进行统一管理.

看上图,我们会发现,DNS的职责就是做域名解析的,并且DNS管理比较可控.

于是第一反应,我们可以使用内部域名解析服务器来绑定这些域名.

但是问题又来了,DNS来做测试环境域名解析,太重量级了.同一个域名,对应测试服务器IP有多个,绑定哪一个好呢?并且域名对应IP不断变化,IT DNS负责人不被我们累死啊? 

 

既然DNS上做文章不可行,又需要统一管理的地方,那么我们只能再抽象出一个新的概念来.

同样,我们利用一张图,来描述下整体架构.



与上图相对,此图多了一个”代理服务器”的概念,即Hosts绑定动作在此概念上完成.

流程如下:

1.       客户端浏览器设置代理服务器,将所有请求发送到代理服务器上

2.       代理服务器检查本地Hosts绑定,如绑定则直接解析,反之进入流程3

3.       代理服务器通过内部域名服务器解析域名

4.       代理服务器发送请求到测试服务器上,并且将响应内容返回给客户端

 

具体尝试性实施方案如下(在XX项目过程中有成功案例)

1.       利用squid搭建代理服务器 (代理地址: 10.20.131.207:3128)

备注:

Squid配置介绍见附录I

 

2.       浏览器配置代理

全局代理: 代理服务器上,直接填写 10.20.131.207 3128

局部代理: 通过pac实现,选择”使用自动配置脚本”,脚本格式内容如下:



备注:

Pac脚本详细介绍见附录II

为了防止将配置工作带给PD,销售等,我们可以使用配置好的绿色浏览器提供直接使用.

推荐一款:GreenBrowser: http://www.morequick.com/indexen.htm

 

IE具体配置,见下图:



Firefox同样支持代理和pac脚本

Chrome需要安装proxy switchy插件来支持.

 

改进方案思路

上述的方案中,有两个比较大的缺陷

1.       代理服务器没有多实例概念

代理服务器通过hosts绑定.hosts是全局性的,意味着一台代理服务器只能服务一组需求.而事实上,我们不同的项目需要的绑定都是不一样的.

2.       特性化需求不能满足

绑定全在代理服务器上做了,客户端本地个性化需求无法支持

 

所以,我理想中整体架构是这样的,见图:


1.       优先查看本地hosts文件

2.       代理服务器支持多实例部署,不同实例有不同的hosts绑定配置.

 

目前具体实现方案,还在构思中.欢迎大家提供实现方案思路.

 

附录I

Squid权威指南(中文版): http://home.arcor.de/pangj/squid/chap01.html

附录II

Pac介绍:               http://en.wikipedia.org/wiki/Proxy_auto-config

Pac函数介绍:        http://findproxyforurl.com/pac_functions_explained.html

 



stone2083 2011-05-23 19:41 发表评论
]]>django框架的几个扩展点http://www.blogjava.net/stone2083/archive/2011/04/20/348662.htmlstone2083stone2083Wed, 20 Apr 2011 14:54:00 GMThttp://www.blogjava.net/stone2083/archive/2011/04/20/348662.htmlhttp://www.blogjava.net/stone2083/comments/348662.htmlhttp://www.blogjava.net/stone2083/archive/2011/04/20/348662.html#Feedback0http://www.blogjava.net/stone2083/comments/commentRss/348662.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/348662.html 作为一个一直来使用java的人来说，初次使用django，真正体会到了简单美学。（一共13个功能，不到500行代码）
此文，主要总结下django框架的一些扩展点:
MIDDLEWARE_CLASSES
在request请求之前，或者response请求之后，做拦截，允许自定义逻辑。有些类似J2EE Servlet中的Filter概念。
TEMPLATE_CONTEXT_PROCESSORS
进入模板渲染之前，允许放入一组用于模板渲染的Key-Value属性。
TEMPLATE FILTER
模板中的管道语法，通过自定义行为，添加用于显示的一些逻辑。
TEMPLATE TAG
模板tag，添加一组行为。有些类似Velocity中的ToolSet功能。
模板tag+指定模板，充当页面组件（widgets）功能

middleware演示
 1 from django.db import connection
 2 from django.http import HttpResponseRedirect
 3 
 4 #拦截response请求之后，打印请求中的所有sql
 5 class SqlLogMiddleware(object):
 6     def process_response(self, req, res):
 7         for sql in connection.queries:
 8             print sql
 9         return res
10 
11 #拦截request请求之前，做权限校验
12 class Auth(object):
13     def process_request(self, req):
14         if req.path == '/admin/':
15             return
16         if not req.user.is_authenticated():
17             return HttpResponseRedirect('/admin/')
18 
1 MIDDLEWARE_CLASSES = (
2     'django.middleware.common.CommonMiddleware',
3     'django.contrib.sessions.middleware.SessionMiddleware',
4     'django.contrib.auth.middleware.AuthenticationMiddleware',
5     'finance.middleware.SqlLogMiddleware',
6     'finance.middleware.Auth',
7 )


template context processor演示
1 def version(request):
2     return {'name':'Stone.J',
3             'version':'1.0-beata',
4             'date':'2011-03-20'}
1 TEMPLATE_CONTEXT_PROCESSORS = (
2     'django.core.context_processors.request',
3     'django.core.context_processors.auth',
4     'django.core.context_processors.debug',
5     'django.core.context_processors.i18n',
6     'django.core.context_processors.media',
7     'finance.example.context_processors.version',
8 )

template filter演示
 1 def row(value):
 2     if not value:
 3         return 'row1'
 4     if value % 2 == 1:
 5         return 'row1'
 6     else:
 7         return 'row2'
 8     
 9 def math_mul(value, num):
10     return value * num
11 
12 def math_add(value, num):
13     return value + num
14 
15 register = template.Library()    
16 register.filter('row', row)
17 register.filter('math_add', math_add)
18 register.filter('math_mul', math_mul)
1 {% load my_filter %}
2 {% for c in page.object_list %}
3 <tr class="{{ forloop.counter|row }}">
4 <td>{{ c.amount | math_add:c.amount2}}</td>
5 <td>{{ c.amount | math_mul:12}}</td>
6 </tr>
7 {% endfor %}
通过约定的方式，在任意一个app下，建立一个templatetags目录，会自动寻找到。（不过没有命名空间，是一个比较猥琐的事情，容易造成不同app下的冲突）

template tag演示
 1 register = template.Library()
 2 
 3 class AccountNode(template.Node):
 4     def __init__(self, name):
 5         self.name = name
 6         
 7     def render(self, context):
 8         context[self.name] = Account.objects.get()
 9         return ''
10     
11 def get_account(parser, token):
12     try:
13         tag_name, name = token.split_contents()
14     except ValueError:        
15         raise template.TemplateSyntaxError, "%s tag requires argument" % tag_name
16     return AccountNode(name)
17 
18 register.tag('get_account', get_account)

1 {% load my_tag %}
2 {% get_account account %}<!-- 通过tag取到内容赋值给account变量 -->
3 {{ account.amount }}

template tag + template file演示
1 from django import template
2 register = template.Library()
3 
4 def version(context):
5     return {'name':'Stone.J',
6             'version':'1.0-beata',
7             'date':'2011-03-20'}
8 
9 register.inclusion_tag('example/version.html', takes_context=True)(version)
1 <!-- 这份内容可以被当成widget复用 -->
2 <table>
3     <tr>
4         <td>{{ name }}</td>
5         <td>{{ version }}</td>
6         <td>{{ data }}</td>
7     </tr>
8 </table>
9 
tag寻找模式等同于filter。


stone2083 2011-04-20 22:54 发表评论
]]>命令行下翻译工具http://www.blogjava.net/stone2083/archive/2011/04/17/348449.htmlstone2083stone2083Sun, 17 Apr 2011 11:49:00 GMThttp://www.blogjava.net/stone2083/archive/2011/04/17/348449.htmlhttp://www.blogjava.net/stone2083/comments/348449.htmlhttp://www.blogjava.net/stone2083/archive/2011/04/17/348449.html#Feedback3http://www.blogjava.net/stone2083/comments/commentRss/348449.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/348449.html （利用了google 翻译 json api:http://translate.google.cn/translate_a/t?client=t&text=%s&hl=zh-CN&sl=%s&tl=%s）

特性：
1. 自动识别中翻英/英翻中
2. 翻译

涉及技术：
1. python
2. urllib
3. json
4. re

截图：


对应代码：
 1 '''
 2 Created on 2010-11-28
 3 
 4 @author: stone
 5 '''
 6 import json
 7 import re
 8 import sys
 9 import urllib2
10 import types
11 
12 res = 'http://translate.google.cn/translate_a/t?client=t&text=%s&hl=zh-CN&sl=%s&tl=%s'
13 agent = 'Mozilla / 5.0 (X11; U; Linux i686; en - US) AppleWebKit / 534.7 (KHTML, like Gecko) Chrome / 7.0.517.44 Safari / 534.7'
14 
15 def get_data(text, sl='en', tl='zh-CN'):
16     req = urllib2.Request(res % (urllib2.quote(text), sl, tl))
17     req.add_header('user-agent', agent)
18     content = urllib2.urlopen(req).read()
19     return json.loads(to_standard_json(content))
20 
21 def show(data):
22     #step1
23     print u'翻译：\n  %s' % (data[4][0][0])
24     #step2
25     if types.ListType == type(data[1]):
26         print u'\n字典：'
27         for word in data[1]:
28             print word[0]
29             if len(word) > 1:
30                 for i, w in enumerate(word[1]):
31                     print '  %s.%s' % (i + 1, w) 
32 
33 def to_standard_json(json):
34     p = re.compile(r',([,\]])')
35     while(p.search(json)):
36         json = p.sub(lambda m:',null%s' % (m.group(1)), json)
37     return json
38 
39 def contains_cn(text):
40     for c in text:
41         if ord(c) > 127:
42             return True
43     return False
44 
45 if __name__ == '__main__':
46     if not len(sys.argv) == 2 or not sys.argv[1].strip():
47         print 'Useage:translate.py word'
48         sys.exit()
49     word = sys.argv[1].strip()
50     if contains_cn(word):
51         show(get_data(word, 'zh-CN', 'en'))
52     else:
53         show(get_data(word, 'en', 'zh-CN'))




stone2083 2011-04-17 19:49 发表评论
]]>Linux下基于命令行的音乐播放器http://www.blogjava.net/stone2083/archive/2011/04/17/348447.htmlstone2083stone2083Sun, 17 Apr 2011 11:32:00 GMThttp://www.blogjava.net/stone2083/archive/2011/04/17/348447.htmlhttp://www.blogjava.net/stone2083/comments/348447.htmlhttp://www.blogjava.net/stone2083/archive/2011/04/17/348447.html#Feedback4http://www.blogjava.net/stone2083/comments/commentRss/348447.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/348447.html 利用最近项目通宵发布的空闲时间中，写了一个命令行下的音乐播放器，以满足我在linux命令下的需求。

播放器利用技术：
Python+GST（http://gstreamer.freedesktop.org/modules/gst-python.html）+Console解析

播放器自持操作：
1. 播放
2. 下一首
3. 上一首
4. 暂停
5. 查看播放列表信息
6. 查看当前播放信息
7. 停止（退出）

看一张截图：


通过分析meliae dump出来的内存信息，差不做占用2.5M内存，算的上比较小巧了。

对应代码：（需要安装py-gst，ubuntu下：sudo apt-get install python-gst0.10）
  1 #!/usr/bin/env python
  2 
  3 import gst
  4 import gobject
  5 import sys
  6 #to avoid eclipse'warning
  7 eval('gobject.threads_init()') 
  8 from threading import Thread
  9 
 10 class AudioPlayer:
 11     
 12     EVENT_PLAY_NEW = 1
 13     
 14     def __init__(self, advisor):
 15         self.main = gobject.MainLoop()
 16         self.player = gst.element_factory_make('playbin', 'player')
 17         self.index = -1
 18         self.list = None
 19         self.advisor = advisor
 20         
 21         bus = self.player.get_bus()
 22         bus.add_signal_watch()
 23         bus.connect('message', self.on_message)
 24         
 25         Thread(target=self.main.run).start()
 26        
 27     def add_list(self , list=[]):
 28         if list is None:
 29             list = []
 30         self.list = [(i, l.strip(), l[l.rfind('/') + 1:]) for (i, l) in enumerate(list)]
 31         
 32     def play(self, index=None):
 33         #play specified tracks
 34         if 0 <= index < len(self.list):
 35             self.index = index
 36             self.player.set_state(gst.STATE_NULL)
 37             self.player.set_property('uri', self.list[index][1])
 38             self.player.set_state(gst.STATE_PLAYING)
 39             if self.advisor:
 40                 self.advisor.on_message(AudioPlayer.EVENT_PLAY_NEW, (self.index, self.get_title()))
 41         #resume playing
 42         if index is None:
 43             if self.index > -1:
 44                 self.player.set_state(gst.STATE_PLAYING)
 45     
 46     def pause(self):
 47         self.player.set_state(gst.STATE_PAUSED)
 48         
 49     def stop(self):
 50         self.player.set_state(gst.STATE_NULL)
 51         self.main.quit()
 52     
 53     def get_title(self):
 54         if self.index == -1 or len(self.list) == 0:
 55             return None
 56         return self.list[self.index][2] 
 57     
 58     def get_previous(self):
 59         if self.index == -1 or len(self.list) == 0:
 60             return - 1
 61         if self.index == 0:
 62             return 0
 63         return self.index - 1
 64     
 65     def get_next(self):
 66         if  len(self.list) == 0:
 67             return - 1
 68         if self.index + 1 == len(self.list):
 69             return 0
 70         return self.index + 1
 71     
 72     def on_message(self, bus, message):
 73         t = message.type
 74         if t == gst.MESSAGE_ERROR:
 75             self.play(self.get_next())
 76         elif t == gst.MESSAGE_EOS:
 77             self.play(self.get_next())
 78 
 79 class Console:
 80     
 81     def __init__(self, list):
 82         self.player = AudioPlayer(self)
 83         self.player.add_list(list)
 84         self.player.play(0)
 85 
 86         Thread(target=self.run).start()
 87         
 88     def run(self):
 89         while(True):
 90             self.on_cmd(raw_input())
 91     
 92     def on_cmd(self, cmd):
 93         if cmd is None:
 94             return
 95         if cmd.startswith('play'):
 96             self.player.play()
 97         elif cmd.startswith('next'):
 98             self.player.play(self.player.get_next())
 99         elif cmd.startswith('previous'):
100             self.player.play(self.player.get_previous())
101         elif cmd.startswith('pause'):
102             self.player.pause()
103         elif cmd.startswith('list'):
104             print '====================================='
105             for info in self.player.list:
106                 print '%s. %s' % (info[0], info[2])
107             print '====================================='
108         elif cmd.startswith('info'):
109             print '====================================='
110             print '%s. %s' % (self.player.index, self.player.get_title())
111             print '====================================='
112         elif cmd.startswith('stop'):
113             self.player.stop()
114             sys.exit(0)
115         elif cmd.startswith('dump'):
116             from meliae import scanner
117             scanner.dump_all_objects('./dump.txt')
118         else:
119             print '''=====================================
120 Usage:
121 play
122 next
123 previous
124 pause
125 list
126 info
127 stop
128 dump
129 ====================================='''
130     
131     def on_message(self, event, info):
132         if event == AudioPlayer.EVENT_PLAY_NEW:
133             print '====================================='
134             print 'Tracks: %s.%s' % (info[0], info[1])
135             print '====================================='
136 
137 
138 if len(sys.argv) != 2:
139     print 'player.py mp3.list'
140     sys.exit(-1)
141 list = [l.strip() for l in open(sys.argv[1]).readlines() if l.strip() != '']
142 Console(list)

下载



stone2083 2011-04-17 19:32 发表评论
]]>ubuntu下安装Python Imaging Library (PIL)http://www.blogjava.net/stone2083/archive/2009/10/27/299946.htmlstone2083stone2083Tue, 27 Oct 2009 09:25:00 GMThttp://www.blogjava.net/stone2083/archive/2009/10/27/299946.htmlhttp://www.blogjava.net/stone2083/comments/299946.htmlhttp://www.blogjava.net/stone2083/archive/2009/10/27/299946.html#Feedback1http://www.blogjava.net/stone2083/comments/commentRss/299946.htmlhttp://www.blogjava.net/stone2083/services/trackbacks/299946.html 这是我最近在学习python的一丝体会，好多lib都无法通过easy_install安装，比如:Python Imaging Library (PIL)

只能通过手工安装方式安装：
＊download the pil_1.1.6
＊tar xvf Imaging-1.1.6.tar.gz & chmox +x setup.py
＊python setup.py build

结果，居然：
 _imagingtk.c -o build/temp.linux-i686-2.6/_imagingtk.o
_imagingtk.c:20:16: error: tk.h: No such file or directory
_imagingtk.c:23: error: expected ‘)’ before ‘*’ token
_imagingtk.c:31: error: expected specifier-qualifier-list before ‘Tcl_Interp’
_imagingtk.c: In function ‘_tkinit’:
_imagingtk.c:37: error: ‘Tcl_Interp’ undeclared (first use in this function)
_imagingtk.c:37: error: (Each undeclared identifier is reported only once
_imagingtk.c:37: error: for each function it appears in.)
_imagingtk.c:37: error: ‘interp’ undeclared (first use in this function)
_imagingtk.c:45: error: expected expression before ‘)’ token
_imagingtk.c:51: error: ‘TkappObject’ has no member named ‘interp’
_imagingtk.c:55: warning: implicit declaration of function ‘TkImaging_Init’
error: command 'gcc' failed with exit status 1

tk.h No such file or directory

事实上，tk-dev包我已经安装了，查看setup.py代码，发现：
# Library pointers.
#
# Use None to look for the libraries in well-known library locations.
# Use a string to specify a single directory, for both the library and
# the include files.  Use a tuple to specify separate directories:
# (libpath, includepath).  Examples:
#
# JPEG_ROOT = "/home/libraries/jpeg-6b"
# TIFF_ROOT = "/opt/tiff/lib", "/opt/tiff/include"
#
# If you have "lib" and "include" directories under a common parent,
# you can use the "libinclude" helper:
#
# TIFF_ROOT = libinclude("/opt/tiff")

FREETYPE_ROOT = None
JPEG_ROOT = None
TIFF_ROOT = None
ZLIB_ROOT = None
TCL_ROOT = None

将TCL_ROOT = None 修改成：TCL_ROOT = '/usr/include/tk'，即可

python setup.py build
python setup.py install

成功 ：）



stone2083 2009-10-27 17:25 发表评论
]]>