(工作小记)phpredis Redis::SERIALIZER_IGBINARY 自增字段

最近项目中的统计出现了问题,统计数使用redis的incr 自增。修复数据后使用set xxx value 将新的数据替换老数据 发现set更新后数据又从1开始重新增加 最后发现问题出在 [php]$this->setOption ( \Redis::OPT_SERIALIZER, \Redis::SERIALIZER_IGBINARY );[/php] Redis::SERIALIZER_IGBINARY这个参数 Redis::SERIALIZER_IGBINARY [php] $redis->set("a", 3); $redis->incr("a"); // 1 echo $redis->get("a"); // output 1 [/php] Redis::SERIALIZER_PHP [php] $redis->set("a", 3); $redis->incr("a"); // false echo $redis->get("a"); // output 3 [/php] 解决方案 在保存之前临时将参数改为Redis::SERIALIZER_NONE 取消序列化 最后别忘了把它改回来 参考 https://github.com/phpredis/phpredis/issues/246

PHP里的尾递归及其优化

不同的语言对尾递归的支持都有所不同,编译器的优化也不尽相同。我们之前看了C语言的尾递归,那么在PHP里又是如何的呢?

PHP对尾递归没有优化效果

先来看下实验。 [php] <?php function factorial($n) { if($n == 0) { return 1; } return factorial($n-1) * $n; } var_dump(factorial(100)); ?> [/php] 如果安装了XDebug的话,可能会遇到如下错误: Fatal error: Maximum function nesting level of '100' reached, aborting! 这是XDebug的一个保护机制,可以通过max_nesting_level选项来设置。放开设置的话,程序还是能够正常运行的。 即便代码能正常运行,只要我们不断增大参数,程序迟早会报错: Fatal error:  Allowed memory size of … bytes exhausted 为什么呢?简单点说就是递归造成了栈溢出。按照之前的思路,我们可以试下用尾递归来消除递归对栈的影响,提高程序的效率。 [php] <?php function factorial($n, $acc) { if($n == 0) { return $acc; } return factorial($n-1, $acc * $n); } var_dump(factorial(100, 1)); ?> [/php] XDebug同样报错,并且程序的执行时间并没有明显变化。 Fatal error: Maximum function nesting level of '100' reached, aborting! 事实证明,尾递归在php中是没有任何优化效果的。

PHP如何消除递归

先看看下面的源代码: [php] <?php function factorial($n, $accumulator = 1) { if ($n == 0) { return $accumulator; } return function() use($n, $accumulator) { return factorial($n - 1, $accumulator * $n); }; } function trampoline($callback, $params) { $result = call_user_func_array($callback, $params); while (is_callable($result)) { $result = $result(); } return $result; } var_dump(trampoline('factorial', array(100))); ?> [/php] 现在XDebug不再警报效率问题了。 注意到trampoline()函数没?简单点说就是利用高阶函数消除递归。想更进一步了解 call_user_func_array,可以参看这篇文章:PHP函数补完:call_user_func()与call_user_func_array() 还有很多别的方法可以用来规避递归引起的栈溢出问题,比如说Python中可以通过装饰器和异常来消灭尾调用,让人有一种别有洞天的感觉。

小结

在C中的尾递归优化是gcc编译器做的。一般的线性递归修改成为尾递归最大的优势在于减少了递归调用栈的开销。从php那个例子就明显看出来递归开销对程序的影响。但是并不是所有语言都支持尾递归的,即使支持尾递归的语言也一般是在编译阶段对尾递归进行优化,比如C语言对尾递归的优化。在使用尾递归对代码进行优化的时候,必须先了解这门语言对尾递归的支持。 在PHP里,除非能提升代码可读性,否则没有必要使用递归;迫不得已之时,最好考虑使用Tail Call或Trampoline等技术来规避潜在的栈溢出问题。 原文地址 http://www.nowamagic.net/librarys/veda/detail/2334

PHP显示所有错误信息

最近遇到一个坑 ,由于系统环境关闭了所有错误提示并且只能在非debug模式下调试 ,所以最后采用如下方法
ini_set('display_errors',1);            //错误信息
ini_set('display_startup_errors',1);    //php启动错误信息
error_reporting(-1);                    //打印出所有的 错误信息
//如果要输出到文件就加这一句
ini_set('error_log',  '/data/runtime/error_log.txt'); //将出错信息输出到一个文本文件

PHP kafka 客户端

安装 php zookeeper 扩展 http://www.frankway.net/archives/1213 下载 https://github.com/nmred/kafka-php.git 生产者 [php] // 连接服务 $produce = \Kafka\Produce::getInstance('120.27.***.**:****,120.27.***.**:****,120.27.***.**:****', 6000); // 获取topic test-2 下可用的分区(test-2 下有2个分区) $partitions = $produce->getAvailablePartitions('test-2'); var_dump($partitions); $produce->setRequireAck(-1); // 在分区1中 添加数据 $produce->setMessages('test-2', 0, array( 'hello world 1', 'hello world 2', )); // 在分区2中 添加数据 $produce->setMessages('test-2', 1, array( 'hello world 3', 'hello world 4', )); // 插入 $result = $produce->send(); var_dump($result); [/php] 7F2E98AA-1A1A-4898-9C55-0486941FD935 消费者 [php]// 连接服务 $consumer = \Kafka\Consumer::getInstance('120.27.***.**:****,120.27.***.**:****,120.27.***.**:****'); // 设置访问用户组的名称(可以设置不同的用户组访问不同的分区内的消息) $group = 'group2'; $consumer->setGroup($group); $consumer->setFromOffset(true); //$consumer->setTopic('test-2'); //直接访问topic下分区内的所有消息 // 访问topic test-2 下的分区1 $consumer->setPartition('test-2', 1); $consumer->setMaxBytes(102400); $result = $consumer->fetch(); foreach ($result as $topicName => $partition) { foreach ($partition as $partId => $messageSet) { foreach ($messageSet as $message) { var_dump((string)$message); } } } [/php] 8CD1B648-A94C-4FF0-B51F-3B33FF8B92C4

yii2 Unable to find debug data tagged with '567ca3908875f'.

把项目迁移后 发现yii2d的debug不能用了 http://local.adv.com/debug/default/toolbar?tag=567ca3908875f 显示404 查看错误信息 显示Unable to find debug data tagged with '567ca3908875f'. 解决方案 http://www.yiiframework.com/forum/index.php/topic/61689-yii-20-error-in-debug/ 将runtime目录 权限改为777

PHP-Beast 加密你的PHP源代码

有时候我们的代码会放到代理商上, 所以很有可能代码被盗取,或者我们写了一个商业系统而且不希望代码开源,所以这时候就需要加密我们的代码。 另外PHP-Beast是完全免费和开源的, 当其不能完成满足你的需求时, 可以修改其代码而满足你的要求。 wget https://github.com/liexusong/php-beast/archive/master.zip unzip master.zip cd php-beast-master phpize ./configure --with-php-config=/usr/local/php/bin/php-config make sudo make install 注意!编译前一定要修改key.c里的authkey这个加密key,可以避免被 破解: 当然DES加密也是可以被破解的,但耗时耗力,并不容易,所以说php-beast加密的代码相对来说还是比较安全的. authkey不同,生成的beast.so也就不同,beast.so加密的代码必须使用它自己才能运行. 不知道authkey,就算拿到对应的beast.so,应该也是无法破解PHP文件的. 修改php.ini配置文件,加入配置项:extension=beast.so 重启php-fpm sudo kill -USR2 `/usr/local/php/var/run/php-fpm.pid` 用工具包中的encrypt_project.php工具来加密你的项目,你只需要输入项目的路径和输出的项目路径即可(这个工具只会加密PHP文件,其他文件只会简单的复制)加密完之后 php-beast 当然你可能不希望加密项目的所有PHP源文件,所以你可以使用PHP-Beast模块提供的beast_encode_file()函数来加密其中的某个 文件,使用方法:beast_encode_file($input_file, $output_file),$input_file是要加密的文件,$output_file是要输出加密后的文件。 把源码加密后就可以放到服务器上运行了。另外PHP-Beast模块提供缓存功能,我们可以在php.ini文件中修改缓存的大小来控制PHP-Beast模块可以使用的缓存。如: [beast] beast.cache_size = 20000   们可以使用beast_cache_status()函数来查看缓存的状态。 最新的PHP-Beast 0.6主要修改了一些bug和增加了一些配置项: 1. 设置缓存大小可以使用单位, 例如: beast.cache_size = 10m; 2. 可以在配置文件中禁止beast模块, 例如: beast.enable = Off; 3. 增加了日志记录功能, 可以使用beast.log_file配置项指定日志文件. 4. 使用文件锁解决原来信号量锁导致的bug, 可以使用beast.lock_path来指定锁路径.   转自 http://ju.outofmemory.cn/entry/47761

PHP 查找附近点 geohash(转)

随着移动终端的普及,很多应用都基于LBS功能,附近的某某(餐馆、银行、妹纸等等)。 基础数据中,一般保存了目标位置的经纬度;利用用户提供的经纬度,进行对比,从而获得是否在附近。 目标: 查找附近的XXX,由近到远返回结果,且结果中有与目标点的距离。 针对查找附近的XXX,提出两个方案,如下: 一、方案A: ================================================================================================= 抽象为球面两点距离的计算,即已知道球面上两点的经纬度; 点(纬度,经度),A($radLat1,$radLng1)、B($radLat2,$radLng2); 优点:通俗易懂,部署简单便捷 缺点:每次都会查询数据库,性能堪忧 1、推导 通过余弦定理以及弧度计算方法,最终推导出来的算式A为: $s = acos(cos($radLat1)*cos($radLat2)*cos($radLng1-$radLng2)+sin($radLat1)*sin($radLat2))*$R; 目前网上大多使用Google公开的距离计算公司,推导算式B为: $s = 2*asin(sqrt(pow(sin(($radLat1-$radLat2)/2),2)+cos($radLat1)*cos($radLat2)*pow(sin(($radLng1-$radLng2)/2),2)))*$R; 其中 : $radLat1、$radLng1,$radLat2,$radLng2 为弧度 $R 为地球半径 2、通过测试两种算法,结果相同且都正确,但通过PHP代码测试,两点间距离,10W次性能对比,自行推导版本计算时长算式B较优,如下: //算式A 0.56368780136108float(431) 0.57460689544678float(431) 0.59051203727722float(431) //算式B 0.47404885292053float(431) 0.47808718681335float(431) 0.47946381568909float(431) 3、所以采用数学方法推导出的公式: 4、在实际应用中,需要从数据库中遍历取出符合条件,以及排序等操作, 将所有数据取出,然后通过PHP循环对比,筛选符合条件结果,显然性能低下;所以我们利用下Mysql存储函数来解决这个问题吧。 4.1、创建Mysql存储函数,并对经纬度字段建立索引 4.2、查询SQL 通过SQL,可设置距离以及排序;可搜索出符合条件的信息,以及有一个较好的排序 1 SELECT *,latitude,longitude,GETDISTANCE(latitude,longitude,30.663262,104.071619) AS distance FROM mb_shop_ext where 1 HAVING distance<1000 ORDER BY distance ASC LIMIT 0,10 二、方案B ================================================================================================= Geohash算法;geohash是一种地址编码,它能把二维的经纬度编码成一维的字符串。 比如,成都永丰立交的编码是wm3yr31d2524 优点: 1、利用一个字段,即可存储经纬度;搜索时,只需一条索引,效率较高 2、编码的前缀可以表示更大的区域,查找附近的,非常方便。 SQL中,LIKE ‘wm3yr3%’,即可查询附近的所有地点。 3、通过编码精度可模糊坐标、隐私保护等。 缺点: 距离和排序需二次运算(筛选结果中运行,其实挺快) 1、geohash的编码算法 成都永丰立交经纬度(30.63578,104.031601) 1.1、纬度范围(-90, 90)平分成两个区间(-90, 0)、(0, 90),如果目标纬度位于前一个区间,则编码为0,否则编码为1。 由于30.625265属于(0, 90),所以取编码为1。 然后再将(0, 90)分成 (0, 45), (45, 90)两个区间,而39.92324位于(0, 45),所以编码为0, 然后再将(0, 45)分成 (0, 22.5), (22.5, 45)两个区间,而39.92324位于(22.5, 45),所以编码为1, 依次类推可得永丰立交纬度编码为101010111001001000100101101010。 1.2、经度也用同样的算法,对(-180, 180)依次细分,(-180,0)、(0,180) 得出编码110010011111101001100000000000 1.3、合并经纬度编码,从高到低,先取一位经度,再取一位纬度;得出结果 111001001100011111101011100011000010110000010001010001000100 1.4、用0-9、b-z(去掉a, i, l, o)这32个字母进行base32编码,得到(30.63578,104.031601)的编码为wm3yr31d2524。 11100 10011 00011 11110 10111 00011 00001 01100 00010 00101 00010 00100 => wm3yr31d2524 十进制 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 base32 0 1 2 3 4 5 6 7 8 9 b c d e f g 十进制 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 base32 h j k m n p q r s t u v w x y z 2、策略 1、在纬度和经度入库时,数据库新加一字段geohash,记录此点的geohash值 2、查找附近,利用 在SQL中 LIKE ‘wm3yr3%’;且此结果可缓存;在小区域内,不会因为改变经纬度,而重新数据库查询 3、查找出的有限结果,如需要求距离或者排序,可利用距离公式和二维数据排序;此时也是少量数据,会很快的。 3、PHP基类 geohash.class.php codingMap[substr($this->coding,$i,1)]=str_pad(decbin($i), 5, "0", STR_PAD_LEFT); } } public function decode($hash) { $binary=""; $hl=strlen($hash); for($i=0; $i<$hl; $i++) { $binary.=$this->codingMap[substr($hash,$i,1)]; } $bl=strlen($binary); $blat=""; $blong=""; for ($i=0; $i<$bl; $i++) { if ($i%2) $blat=$blat.substr($binary,$i,1); else $blong=$blong.substr($binary,$i,1); } $lat=$this->binDecode($blat,-90,90); $long=$this->binDecode($blong,-180,180); $latErr=$this->calcError(strlen($blat),-90,90); $longErr=$this->calcError(strlen($blong),-180,180); $latPlaces=max(1, -round(log10($latErr))) - 1; $longPlaces=max(1, -round(log10($longErr))) - 1; $lat=round($lat, $latPlaces); $long=round($long, $longPlaces); return array($lat,$long); } public function encode($lat,$long) { $plat=$this->precision($lat); $latbits=1; $err=45; while($err>$plat) { $latbits++; $err/=2; } $plong=$this->precision($long); $longbits=1; $err=90; while($err>$plong) { $longbits++; $err/=2; } $bits=max($latbits,$longbits); $longbits=$bits; $latbits=$bits; $addlong=1; while (($longbits+$latbits)%5 != 0) { $longbits+=$addlong; $latbits+=!$addlong; $addlong=!$addlong; } $blat=$this->binEncode($lat,-90,90, $latbits); $blong=$this->binEncode($long,-180,180,$longbits); $binary=""; $uselong=1; while (strlen($blat)+strlen($blong)) { if ($uselong) { $binary=$binary.substr($blong,0,1); $blong=substr($blong,1); } else { $binary=$binary.substr($blat,0,1); $blat=substr($blat,1); } $uselong=!$uselong; } $hash=""; for ($i=0; $icoding[$n]; } return $hash; } private function calcError($bits,$min,$max) { $err=($max-$min)/2; while ($bits--) $err/=2; return $err; } private function precision($number) { $precision=0; $pt=strpos($number,'.'); if ($pt!==false) { $precision=-(strlen($number)-$pt-1); } return pow(10,$precision)/2; } private function binEncode($number, $min, $max, $bitcount) { if ($bitcount==0) return ""; $mid=($min+$max)/2; if ($number>$mid) return "1".$this->binEncode($number, $mid, $max,$bitcount-1); else return "0".$this->binEncode($number, $min, $mid,$bitcount-1); } private function binDecode($binary, $min, $max) { $mid=($min+$max)/2; if (strlen($binary)==0) return $mid; $bit=substr($binary,0,1); $binary=substr($binary,1); if ($bit==1) return $this->binDecode($binary, $mid, $max); else return $this->binDecode($binary, $min, $mid); } } ?> 三、测试 '127.0.0.1', 'port' => 3306, 'user' => 'root', 'password' => '123456', 'database' => 'mocube', 'charset' => 'utf8', 'persistent' => false ); $mysql = new Db_Mysql($conf); $geohash=new Geohash; //经纬度转换成Geohash //获取附近的信息 $n_latitude = $_GET['la']; $n_longitude = $_GET['lo']; //开始 $b_time = microtime(true); //方案A,直接利用数据库存储函数,遍历排序 //方案B geohash求出附近,然后排序 //当前 geohash值 $n_geohash = $geohash->encode($n_latitude,$n_longitude); //附近 $n = $_GET['n']; $like_geohash = substr($n_geohash, 0, $n); $sql = 'select * from mb_shop_ext where geohash like "'.$like_geohash.'%"'; echo $sql; $data = $mysql->queryAll($sql); //算出实际距离 foreach($data as $key=>$val) { $distance = getDistance($n_latitude,$n_longitude,$val['latitude'],$val['longitude']); $data[$key]['distance'] = $distance; //排序列 $sortdistance[$key] = $distance; } //距离排序 array_multisort($sortdistance,SORT_ASC,$data); //结束 $e_time = microtime(true); echo $e_time - $b_time; var_dump($data); //根据经纬度计算距离 其中A($lat1,$lng1)、B($lat2,$lng2) function getDistance($lat1,$lng1,$lat2,$lng2) { //地球半径 $R = 6378137; //将角度转为狐度 $radLat1 = deg2rad($lat1); $radLat2 = deg2rad($lat2); $radLng1 = deg2rad($lng1); $radLng2 = deg2rad($lng2); //结果 $s = acos(cos($radLat1)*cos($radLat2)*cos($radLng1-$radLng2)+sin($radLat1)*sin($radLat2))*$R; //精度 $s = round($s* 10000)/10000; return round($s); } ?> 四、总结 方案B的亮点在于: 1、搜索结果可缓存,重复使用,不会因为用户有小范围的移动,直接穿透数据库查询。 2、先缩小结果范围,再运算、排序,可提升性能。 254条记录,性能对比, 在实际应用场景中,方案B数据库搜索可内存缓存;且如数据量更大,方案B结果会更优。 方案A: 0.016560077667236 0.032402992248535 0.040318012237549 方案B 0.0079810619354248 0.0079669952392578 0.0064868927001953 五、其他 两种方案,根据应用场景以及负载情况合理选择,当然推荐方案B; 不管哪种方案,都记得,给列加上索引,利于数据库检索。 原文 http://blog.sina.com.cn/s/blog_7c05385f0101eofb.html

php分治法

任何一个可以用计算机求解的问题所需的计算时间都与其规模N有关。问题的规模越小,越容易直接求解,解题所需的计算时间也越少。例如,对于n个元素的排序问题,当n=1时,不需任何计算;n=2时,只要作一次比较即可排好序;n=3时只要作3次比较即可,…。而当n较大时,问题就不那么容易处理了。要想直接解决一个规模较大的问题,有时是相当困难的。 分治法的设计思想是,将一个难以直接解决的大问题,分割成一些规模较小的相同问题,以便各个击破,分而治之。 如果原问题可分割成k个子问题(1<k≤n),且这些子问题都可解,并可利用这些子问题的解求出原问题的解,那么这种分治法就是可行的。由分治法产生的子问题往往是原问题的较小模式,这就为使用递归技术提供了方便。在这种情况下,反复应用分治手段,可以使子问题与原问题类型一致而其规模却不断缩小,最终使子问题缩小到很容易直接求出其解。这自然导致递归过程的产生。分治与递归像一对孪生兄弟,经常同时应用在算法设计之中,并由此产生许多高效算法。 分治法所能解决的问题一般具有以下几个特征: (1)该问题的规模缩小到一定的程度就可以容易地解决; (2)该问题可以分解为若干个规模较小的相同问题,即该问题具有最优子结构性质; (3)利用该问题分解出的子问题的解可以合并为该问题的解; (4)该问题所分解出的各个子问题是相互独立的,即子问题之间不包含公共的子子问题。 上述的第一条特征是绝大多数问题都可以满足的,因为问题的计算复杂性一般是随着问题规模的增加而增加;第二条特征是应用分治法的前提,它也是大多数问题可以满足的,此特征反映了递归思想的应用;第三条特征是关键,能否利用分治法完全取决于问题是否具有第三条特征,如果具备了第一条和第二条特征,而不具备第三条特征,则可以考虑贪心法或动态规划法。第四条特征涉及到分治法的效率,如果各子问题是不独立的,则分治法要做许多不必要的工作,重复地解公共的子问题,此时虽然可用分治法,但一般用动态规划法较好。 分治法在每一层递归上都有三个步骤: (1)分解:将原问题分解为若干个规模较小,相互独立,与原问题形式相同的子问题; (2)解决:若子问题规模较小而容易被解决则直接解,否则递归地解各个子问题; (3)合并:将各个子问题的解合并为原问题的解。 php代码示例: $b ? $a : $b; } function getMax( $ary, $l, $u ) { if ( $u === $l ) { return $ary[$u]; } else { return mymax( getMax( $ary, $l, intval( ( $u + $l ) / 2 ) ), getMax( $ary, intval( ( $u + $l ) / 2 ) + 1, $u ) ); } } $ary = array(1,2,3,4,5,6,7,8,9,21,11,12,13,14,15,16,17,18,19,20,17); echo getMax( $ary, 0, count( $ary ) - 1 ); ?> 原文 http://home.51.com/chenjiuchuan/diary/item/10049599.html