分类： service

为何用swoole来实现 Yar server

提升Yar服务端执行效率
学习swoole, yar(在此感谢laruence,rango及swoole开发团队)

Requirements

php5.4+
ext-swoole 1.8.8+
ext-msgpack 如果yar使用msgpack编码方式

Installation

composer require stcer/syar

1	composer require stcer/syar

简单性能测试

测试脚本 example/benchmark.php, 测试环境(虚拟机)

cpu: i5 – 4460
mem: 4G
os: centos6.5
php: php7(fpm: 20进程, swoole: 18进程(8 worker + 10 task)

脚本一共完成44次接口调用：

简单接口调用 2次
数据库查询接口调用2次
并发简单接口调用 20次
并发数据库查询接口调用 20次

function test($type, $times = 5, $limit = 5){
    $timer = new Timer();
    $benchmark = new Benchmark($type);
    $rs[] = $benchmark-&gt;simpleTest(); // 2
    $rs[] = $benchmark-&gt;dbTest($limit); // 2
    $rs[] = $benchmark-&gt;batchTest($times, $limit); // 20
    $rs[] = $benchmark-&gt;concurrentTest($times, $limit); // 20
    $stop = $timer-&gt;stop();

    // 44 calls, 22 db, 22 normal
    foreach($rs as $v){
        var_dump($v);
    }

    return $stop;
}

// start test
$times['syar'] = test('syar');
$times['fpm'] = test('fpm');
var_dump($times);

---------------------------
output: 

array(2) {
  ["syar"]=&gt;
  float(0.01271)
  ["fpm"]=&gt;
  float(0.08602)
}

function test($type, $times = 5, $limit = 5){

$timer = new Timer();

$benchmark = new Benchmark($type);

$rs[] = $benchmark->simpleTest(); // 2

$rs[] = $benchmark->dbTest($limit); // 2

$rs[] = $benchmark->batchTest($times, $limit); // 20

$rs[] = $benchmark->concurrentTest($times, $limit); // 20

$stop = $timer->stop();

// 44 calls, 22 db, 22 normal

foreach($rs as $v){

var_dump($v);

}

return $stop;

}

// start test

$times['syar'] = test('syar');

$times['fpm'] = test('fpm');

var_dump($times);

---------------------------

output:

array(2) {

["syar"]=>

float(0.01271)

["fpm"]=>

float(0.08602)

}

在当前测试环境下，fpm环境下的执行时间大概是syar下的4 — 6倍左右，稍后做更详细的压力测试，服务器、客户端资源占用情况测试

github:https://github.com/stcer/syar

swoole task中的数据返回

2016年6月8日 by admin·0评论

task中能返回的数据通过php的Serialization函数返回到worker进程，因此像Closure等不能被序列化的对象不能返回，包括$exception中可能包括Closure

    function onTask($serv, $task_id, $from_id, $data){
        if(!is_array($data) || !$data['id']){
            return new Exception("Invalid task data");
        }

        $id = $data['id'];
        if(!isset($this->callbacks[$id])){
            return new Exception("Invalid task id");
        }

        try{
            $callback = $this->callbacks[$id][0];
            $rs = call_user_func_array($callback, $data['data']);
            return $rs;
        } catch(Exception $e){
            return $e; // 可能出错，使work进程不能正常运行
        }
    }

function onTask($serv, $task_id, $from_id, $data){

if(!is_array($data) || !$data['id']){

return new Exception("Invalid task data");

}

$id = $data['id'];

if(!isset($this->callbacks[$id])){

return new Exception("Invalid task id");

}

try{

$callback = $this->callbacks[$id][0];

$rs = call_user_func_array($callback, $data['data']);

return $rs;

} catch(Exception $e){

return $e; // 可能出错，使work进程不能正常运行

}

1，十进制转二进制 decbin() 函数，如下实例
echo decbin(12); //输出 1100
echo decbin(26); //输出 11010
decbin
(PHP 3, PHP 4, PHP 5)
decbin — 十进制转换为二进制
说明
string decbin ( int number )
返回一字符串，包含有给定 number 参数的二进制表示。所能转换的最大数值为十进制的 4294967295，其结果为 32 个 1 的字符串。

2，十进制转八进制 decoct() 函数

echo decoct(15); //输出 17
echo decoct(264); //输出 410
decoct
(PHP 3, PHP 4, PHP 5)
decoct — 十进制转换为八进制
说明
string decoct ( int number )
返回一字符串，包含有给定 number 参数的八进制表示。所能转换的最大数值为十进制的 4294967295，其结果为 “37777777777”。

3，十进制转十六进制 dechex() 函数

echo dechex(10); //输出 a
echo dechex(47); //输出 2f
dechex
(PHP 3, PHP 4, PHP 5)
dechex — 十进制转换为十六进制
说明
string dechex ( int number )
返回一字符串，包含有给定 number 参数的十六进制表示。所能转换的最大数值为十进制的 4294967295，其结果为 “ffffffff”。

二，二进制（binary system）转换函数说明

1，二进制转十六制进 bin2hex() 函数

$binary = “11111001”;
$hex = dechex(bindec($binary));
echo $hex;//输出f9
bin2hex
(PHP 3 >= 3.0.9, PHP 4, PHP 5)
bin2hex — 将二进制数据转换成十六进制表示
说明
string bin2hex ( string str )
返回 ASCII 字符串，为参数 str 的十六进制表示。转换使用字节方式，高四位字节优先。

2，二进制转十制进 bindec() 函数

echo bindec(‘110011’); //输出 51
echo bindec(‘000110011’); //输出 51
echo bindec(‘111’); //输出 7
bindec
(PHP 3, PHP 4, PHP 5)
bindec — 二进制转换为十进制
说明
number bindec ( string binary_string )
返回 binary_string 参数所表示的二进制数的十进制等价值。
bindec() 将一个二进制数转换成 integer。可转换的最大的数为 31 位 1 或者说十进制的 2147483647。PHP 4.1.0 开始，该函数可以处理大数值，这种情况下，它会返回 float 类型。

三，八进制（octal system）转换函数说明

八进制转十进制 octdec() 函数

echo octdec(’77’); //输出 63
echo octdec(decoct(45)); //输出 45
octdec
(PHP 3, PHP 4, PHP 5)
octdec — 八进制转换为十进制
说明
number octdec ( string octal_string )
返回 octal_string 参数所表示的八进制数的十进制等值。可转换的最大的数值为 17777777777 或十进制的 2147483647。PHP 4.1.0 开始，该函数可以处理大数字，这种情况下，它会返回 float 类型

四，十六进制（hexadecimal）转换函数说明

十六进制转十进制 hexdec()函数

var_dump(hexdec(“See”));
var_dump(hexdec(“ee”));
// both print “int(238)”

var_dump(hexdec(“that”)); // print “int(10)”
var_dump(hexdec(“a0”)); // print “int(160)”
hexdec
(PHP 3, PHP 4, PHP 5)
hexdec — 十六进制转换为十进制
说明
number hexdec ( string hex_string )
返回与 hex_string 参数所表示的十六进制数等值的的十进制数。hexdec() 将一个十六进制字符串转换为十进制数。所能转换的最大数值为 7fffffff，即十进制的 2147483647。PHP 4.1.0 开始，该函数可以处理大数字，这种情况下，它会返回 float 类型。
hexdec() 将遇到的所有非十六进制字符替换成 0。这样，所有左边的零都被忽略，但右边的零会计入值中。

五，任意进制转换 base_convert() 函数

$hexadecimal = ‘A37334’;
echo base_convert($hexadecimal, 16, 2);//输出 101000110111001100110100
base_convert
(PHP 3 >= 3.0.6, PHP 4, PHP 5)

base_convert — 在任意进制之间转换数字
说明
string base_convert ( string number, int frombase, int tobase )
返回一字符串，包含 number 以 tobase 进制的表示。number 本身的进制由 frombase 指定。frombase 和 tobase 都只能在 2 和 36 之间（包括 2 和 36）。高于十进制的数字用字母 a-z 表示，例如 a 表示 10，b 表示 11 以及 z 表示 35。

这里主要是把PHP进制转换函数进行整理，便于开发查找，相关具体函数说明请参考PHP手册。请关注下一期中文字符编码研究系列。

二进制字节表示长度的转换

2016年4月20日 by admin·0评论

在处理mysql协议时或一些二进制流(pack生成)，经常用一1,N个字字来表示长度，需做如下转化

// test one
$length = substr($data, 0, 1);
$length = bin2hex($length);
$length = hexdec($length);

// test two
$len = 192;
$byte = pack("C", $len);
$len = bin2hex($byte);
$len = hexdec($len);

echo "length:" . $len ."\n";

// test one

$length = substr($data, 0, 1);

$length = bin2hex($length);

$length = hexdec($length);

// test two

$len = 192;

$byte = pack("C", $len);

$len = bin2hex($byte);

$len = hexdec($len);

echo "length:" . $len ."\n";

参考：http://blog.csdn.net/wind520/article/details/43964821

mysql client验证报文解析

            // 包长
            $length = substr($data, 0, 1);
            $length = bin2hex($length);
            $length = hexdec($length);
            echo $length . "\n";

            // 登录用户名
            $body = substr($data, 36);
            $userName = $this->getChars($body);
            $i = strlen($userName) + 1;
            echo $userName . "\n";

            // 数据库名[可选]
            $lengthByte = substr($body, $i, 1);
            $len = bin2hex($lengthByte);
            $len = hexdec($len);
            echo $len . "\n";
            if($len <= 250){
                $i = $i + $len + 1;
                $dbName = $this->getChars($body, $i);
                echo $dbName . "\n";
            }


    protected function getChars($data, $start = 0){
        $i = $start; $length = strlen($data);
        while($i < $length){
            $char = substr($data, $i, 1);
            if(ord($char) === 0){
                return substr($data, $start, $i - $start);
            }
            $i++;
        }
        return $data;
    }

// 包长

$length = substr($data, 0, 1);

$length = bin2hex($length);

$length = hexdec($length);

echo $length . "\n";

// 登录用户名

$body = substr($data, 36);

$userName = $this->getChars($body);

$i = strlen($userName) + 1;

echo $userName . "\n";

// 数据库名[可选]

$lengthByte = substr($body, $i, 1);

$len = bin2hex($lengthByte);

$len = hexdec($len);

echo $len . "\n";

if($len <= 250){

$i = $i + $len + 1;

$dbName = $this->getChars($body, $i);

echo $dbName . "\n";

}

protected function getChars($data, $start = 0){

$i = $start; $length = strlen($data);

while($i < $length){

$char = substr($data, $i, 1);

if(ord($char) === 0){

return substr($data, $start, $i - $start);

}

$i++;

}

return $data;

}

再谈socket编程

2016年2月24日 by admin·0评论

以久没有进行socket编程，记录下供以后查阅

阻塞与非阻塞, 针对io过程中进(线)程状态，是否再分配cpu时间片
同步与异步，针对调用功能返回结果而言
多路复用，对于 Socket 来说，能同时处理多个连接的模型都应该被称为多路复用，目前比较常用的有 select/poll/epoll/kqueue 这些 IO 模型
php的socket编程，了解以下扩展
- Sockets 主要函数：socket_create， socket_bind， socket_listen， socket_accept， socket_read， socket_write， socket_set_nonblock， socket_select
  参考：http://blog.csdn.net/shagoo/article/details/6396089
- Streams
- libevent, swoole

简单的推送消息服务

2015年12月18日 by admin·0评论

订阅者注册推送地址，关注的事件
服务端将消息存储redis队列
服务端开N个进程，读取redis队列并推送到订阅者url
推送错误进入错误队列
服务定时发送错误队列消息

原型

ini_set('default_socket_timeout', -1);
$server = new swoole_http_server('0.0.0.0', 8081);

$n = 5;
for($i = 0; $i < $n; $i++){
    $server->addProcess(new swoole_process(function($process) {
        $redis = getRedis();
        while($data = $redis->blPop('test_list', 0)){
            echo $process->pid . " work : " .  $data[1] . "\n";
            sleep(1);
        }
    }));
}

function getRedis(){
    static $redis;
    if(!isset($redis)){
        $redis = new Redis();
        $redis->connect('127.0.0.1', 6379, 0);
        $redis->setOption(Redis::OPT_SERIALIZER, Redis::SERIALIZER_NONE);
    }
    return $redis;
}

$server->on('request', function(swoole_http_request $request, swoole_http_response $response) {
    getRedis()->lPush('test_list', "test info");
    $response->end("<h1>hello swoole. #" . rand(1000, 9999) . "</h1>");
});

$server->start();

ini_set('default_socket_timeout', -1);

$server = new swoole_http_server('0.0.0.0', 8081);

$n = 5;

for($i = 0; $i < $n; $i++){

$server->addProcess(new swoole_process(function($process) {

$redis = getRedis();

while($data = $redis->blPop('test_list', 0)){

echo $process->pid . " work : " . $data[1] . "\n";

sleep(1);

}

}));

}

function getRedis(){

static $redis;

if(!isset($redis)){

$redis = new Redis();

$redis->connect('127.0.0.1', 6379, 0);

$redis->setOption(Redis::OPT_SERIALIZER, Redis::SERIALIZER_NONE);

}

return $redis;

}

$server->on('request', function(swoole_http_request $request, swoole_http_response $response) {

getRedis()->lPush('test_list', "test info");

$response->end("<h1>hello swoole. #" . rand(1000, 9999) . "</h1>");

});

$server->start();

swoole->addProcess(swoole_process)增加的进程不能start()
process结束后会被master进程再次创建，所以要么阻塞或进epoll循环
参考 http://wiki.swoole.com/wiki/page/390.html
与worker或task进程通信参考 http://wiki.swoole.com/wiki/page/363.html

swoole的注意事项

2015年12月16日 by admin·0评论

在server->start()之前，不要将资源连接用于共用(static或设置到server->var中) worker或task是从主进程中fork，进程间不能共用资源连接
尽可能在start前加载足够少的文件、对象

php redis的连接被关闭

2015年12月10日 by admin·0评论

php使用blpop时，隔一段时间连接被关闭，做以下检查

redis.conf 配置 timeout = 0
php设置配置 default_socket_timeout，如 ini_set(‘default_socket_timeout’, -1);

sphinx索引与搜索分离

2015年11月11日 by admin·0评论

当数据量与搜索并发增大后，服务压力明显，通过以下方式改进

将索引分段分布到几台服务器，使用 index:local/agent合并索引索引
将建索引分离到单独服务器，使用indexer –nohup建立.tmp索引文件，使用–check创建 .new索引文件，将.new索引文件复制到搜索服务器，重启搜索服务 seached –stopwait && searchd
如果是随时间增量，分断索引更新频率
使用lvs进行负载均衡
增量索引使用
部分不好实现的业务使用其它搜索引擎，如 Elasticsearch

极简的Api处理

2015年9月18日 by admin·0评论

根据请求的api获取class, 即需要一个Api class loader, api格式如 xxx.xxx.xx

/**
     * @param $api
     * @param string $oldApi
     * @return Base
     * @throws Exception
     */
    function getClass($api, $oldApi = ''){
        if(isset(self::$classCaches[$api])){
            return self::$classCaches[$api];
        }

        if(!$oldApi){
            $oldApi = $api;
        }

        if(isset($this->apiMap[$api])){
            return new $this->apiMap[$api];
        }

        $path = explode('.', $api);
        $className = array_pop($path);
        $apiClass = $this->nsPrefix . ($path ? (implode('\\', $path)) . "\\" : '') . ucfirst($className);
        if(!class_exists($apiClass)){
            if($path){
                return $this->getClass(implode('.', $path), $oldApi);
            }else{
                throw new Exception("Invalid api({$api})", Exception::API);
            }
        }

        if($api != $oldApi)
            $action = str_replace($api . '.', '', $oldApi);
        else {
            $action = '';
        }

        /** @var Base $class */
        $class = new $apiClass();
        $class->setAction($action);
        self::$classCaches[$api] = $class;
        return $class;
    }

/**

* @param $api

* @param string $oldApi

* @return Base

* @throws Exception

function getClass($api, $oldApi = ''){

if(isset(self::$classCaches[$api])){

return self::$classCaches[$api];

}

if(!$oldApi){

$oldApi = $api;

}

if(isset($this->apiMap[$api])){

return new $this->apiMap[$api];

}

$path = explode('.', $api);

$className = array_pop($path);

$apiClass = $this->nsPrefix . ($path ? (implode('\\', $path)) . "\\" : '') . ucfirst($className);

if(!class_exists($apiClass)){

if($path){

return $this->getClass(implode('.', $path), $oldApi);

}else{

throw new Exception("Invalid api({$api})", Exception::API);

}

if($api != $oldApi)

$action = str_replace($api . '.', '', $oldApi);

else {

$action = '';

}

/** @var Base $class */

$class = new $apiClass();

$class->setAction($action);

self::$classCaches[$api] = $class;

return $class;

}

需要一个api 的基类，根据请求参数返回结果

    public function handle($args, $request = []){
        if($this->action){
            $method = str_replace('.', '_', $this->action);
            if($this->action != 'handle' && method_exists($this, $method)){
                return call_user_func(array($this, $method), $args);
            }

            if(method_exists($this, 'getModel')){
                $model = $this->getModel();
                if(method_exists($model, $method)){
                    return call_user_func_array(array($model, $method), $args);
                }
            }

        } else if(method_exists($this, 'execute')){
            return call_user_func(array($this, 'execute'), $args);
        }

        throw new Exception("Method not found");
    }

public function handle($args, $request = []){

if($this->action){

$method = str_replace('.', '_', $this->action);

if($this->action != 'handle' && method_exists($this, $method)){

return call_user_func(array($this, $method), $args);

}

if(method_exists($this, 'getModel')){

$model = $this->getModel();

if(method_exists($model, $method)){

return call_user_func_array(array($model, $method), $args);

}

} else if(method_exists($this, 'execute')){

return call_user_func(array($this, 'execute'), $args);

}

throw new Exception("Method not found");

}

弄个js客户端

    apiUrl : 'http://api.' + location.host + '/index.php?q=%action%&callback=?',
    api : function(api, args){
        if(!args){
            args = {};
        }
        var deferred = $.Deferred();
        var url = this.apiUrl.replace(/%action%/, api);
        $.getJSON(url, args, function(response){
                if(jc001.papi.is_succ(response)){
                    deferred.resolve(response.data);
                } else {
                    deferred.reject(response);
                }
            }
        );
        return deferred;
    }

apiUrl : 'http://api.' + location.host + '/index.php?q=%action%&callback=?',

api : function(api, args){

if(!args){

args = {};

}

var deferred = $.Deferred();

var url = this.apiUrl.replace(/%action%/, api);

$.getJSON(url, args, function(response){

if(jc001.papi.is_succ(response)){

deferred.resolve(response.data);

} else {

deferred.reject(response);

}

);

return deferred;

}

    papi.api('comm.region.name', 2747).done(function(rs){
        console.log(rs);
    }).fail(function(rs){
        console.log(rs);
    });

papi.api('comm.region.name', 2747).done(function(rs){

console.log(rs);

}).fail(function(rs){