php对gb编码动态转utf-8编码的几种方法评测
在《IP地址->地理位置转换的测评》一文中提到用ip2addr函数直接读取IP数据库文件是效率最高的，相比用MySQL数据库存储IP数据，用SQL查询是效率最低的。但是IP数据库文件QQWry.dat是GB2312编码的。现在我需要UTF-8编码的地理位置结果。如果用MySQL方法，可以在数据存入数据库时就转换为UTF-8编码，一劳永逸。但是QQWry.dat文件又无法修改，只能把ip2addr函数的输出结果再进行动态转换。
动态转换GB->UTF-8编码至少有四种方法：
用PHP的iconv扩展转换
用PHP的mb_string扩展转换
用对换表转换，对换表存储在MySQL数据库中
用对换表转换，对换表存储在文本文件中
前两种方法要服务器作了相应设置（编译安装了相应扩展）才能使用。我的虚拟主机没有这两个扩展，只好考虑后两种方法。前两个方法本文也不进行测评。
测评程序如下（func_ip.php参见《IP地址->地理位置转换的测评》一文）：
require_once("func_ip.php");
functionu2utf8($c){
$str="";
if($c<0x80){
$str.=$c;
}elseif($c<0x800){
$str.=chr(0xC0|$c>>6);
$str.=chr(0x80|$c&0x3F);
}elseif($c<0x10000){
$str.=chr(0xE0|$c>>12);
$str.=chr(0x80|$c>>6&0x3F);
$str.=chr(0x80|$c&0x3F);
}elseif($c<0x200000){
$str.=chr(0xF0|$c>>18);
$str.=chr(0x80|$c>>12&0x3F);
$str.=chr(0x80|$c>>6&0x3F);
$str.=chr(0x80|$c&0x3F);
}
return$str;
}
functionGB2UTF8_SQL($strGB){
if(!trim($strGB))return$strGB;
$strRet="";
$intLen=strlen($strGB);
for($i=0;$i<$intLen;$i++){
if(ord($strGB{$i})>127){
$strCurr=substr($strGB,$i,2);
$intGB=hexdec(bin2hex($strCurr))-0x8080;
$strSql="SELECTcode_unicodeFROMnnstats_gb_unicode
WHEREcode_gb=".$intGB."LIMIT1"
;
$resResult=mysql_query($strSql);
if($arrCode=mysql_fetch_array($resResult))$strRet.=u2utf8($arrCode["code_unicode"]);
else$strRet.="??";
$i++;
}else{
$strRet.=$strGB{$i};
}
}
return$strRet;
}
functionGB2UTF8_FILE($strGB){
if(!trim($strGB))return$strGB;
$arrLines=file("gb_unicode.txt");
foreach($arrLinesas$strLine){
$arrCodeTable[hexdec(substr($strLine,0,6))]=hexdec(substr($strLine,7,6));
}
$strRet="";
$intLen=strlen($strGB);
for($i=0;$i<$intLen;$i++){
if(ord($strGB{$i})>127){
$strCurr=substr($strGB,$i,2);
$intGB=hexdec(bin2hex($strCurr))-0x8080;
if($arrCodeTable[$intGB])$strRet.=u2utf8($arrCodeTable[$intGB]);
else$strRet.="??";
$i++;
}else{
$strRet.=$strGB{$i};
}
}
return$strRet;
}
functionEncodeIp($strDotquadIp){
$arrIpSep=explode(''.'',$strDotquadIp);
if(count($arrIpSep)!=4)return0;
$intIp=0;
foreach($arrIpSepas$k=>$v)$intIp+=(int)$vpow(256,3-$k);
return$intIp;
//returnsprintf(''%02x%02x%02x%02x'',$arrIpSep[0],$arrIpSep[1],$arrIpSep[2],$arrIpSep[3]);
}
functionGetMicroTime(){
list($msec,$sec)=explode("",microtime());
return((double)$msec+(double)$sec);
}
for($i=0;$i<100;$i++){//随机产生100个ip地址
$strIp=mt_rand(0,255).".".mt_rand(0,255).".".mt_rand(0,255).".".mt_rand(0,255);
$arrAddr[$i]=ip2addr(EncodeIp($strIp));
}
$resConn=mysql_connect("localhost","netnest","netnest");
mysql_select_db("test");
//测评MySQL查询的编码转换
$dblTimeStart=GetMicroTime();
for($i=0;$i<100;$i++){
$strUTF8Region=GB2UTF8_SQL($arrAddr[$i]["region"]);
$strUTF8Address=GB2UTF8_SQL($arrAddr[$i]["address"]);
}
$dblTimeDuration=GetMicroTime()-$dblTimeStart;
//测评结束并输出结果
echo$dblTimeDuration;echo"";
//测评文本文件查询的编码转换
$dblTimeStart=GetMicroTime();
for($i=0;$i<100;$i++){
$strUTF8Region=GB2UTF8_FILE($arrAddr[$i]["region"]);
$strUTF8Address=GB2UTF8_FILE($arrAddr[$i]["address"]);
}
$dblTimeDuration=GetMicroTime()-$dblTimeStart;
//测评结束并输出结果
echo$dblTimeDuration;echo"";
?>
测评两次结果（精确到3位小数，单位是秒）：
MySQL查询转换：0.112
文本查询转换：10.590
MySQL查询转换：0.099
文本查询转换：10.623
可见这次是MySQL方法遥遥领先于文件查询法。但是现在还不急于使用MySQL方法，因为文本文件方法之所以如此耗时，主要因为它每次转换都要把整个gb_unicode.txt读入内存，而gb_unicode.txt又是文本文件，格式如下：
0x21210x3000#IDEOGRAPHICSPACE
0x21220x3001#IDEOGRAPHICCOMMA
0x21230x3002#IDEOGRAPHICFULLSTOP
0x21240x30FB#KATAKANAMIDDLEDOT
0x21250x02C9#MODIFIERLETTERMACRON(MandarinChinesefirsttone)
厖x
0x552A0x6458#
0x552B0x658B#
0x552C0x5B85#
0x552D0x7A84#
厖
0x777B0x9F37#
0x777C0x9F3D#
0x777D0x9F3E#
0x777E0x9F44#
文本文件效率较低，于是考虑把文本文件转换为二进制文件，然后用折半法查找这个文件，而不需要把整个文件读入内存。文件格式为：文件头2字节，存储记录数；接着一条接一条记录存入文件，每条记录4字节，前2字节对应GB代码，后2字节对应Unicode代码。转换程序如下：
$arrLines=file("gb_unicode.txt");
foreach($arrLinesas$strLine){
$arrCodeTable[hexdec(substr($strLine,0,6))]=hexdec(substr($strLine,7,6));
}
ksort($arrCodeTable);
$intCount=count($arrCodeTable);
$strCount=chr($intCount%256).chr(floor($intCount/256));
$fileGBU=fopen("gbu.dwww.shanxiwang.netat","wb");
fwrite($fileGBU,$strCount);
foreach($arrCodeTableas$k=>$v){
$strData=chr($k%256).chr(floor($k/256)).chr($v%256).chr(floor($v/256));
fwrite($fileGBU,$strData);
}
fclose($fileGBU);
?>
执行程序后就获得了二进制的GB->Unicode对照表gbu.dat，并且数据记录按GB代码排了序，便于折半法查找。使用gbu.dat进行转码的函数如下：
functionGB2UTF8_FILE1($strGB){
if(!trim($strGB))return$strGB;
$fileGBU=fopen("gbu.dat","rb");
$strBuf=fread($fileGBU,2);
$intCount=ord($strBuf{0})+256ord($strBuf{1});
$strRet="";
$intLen=strlen($strGB);
for($i=0;$i<$intLen;$i++){
if(ord($strGB{$i})>127){
$strCurr=substr($strGB,$i,2);
$intGB=hexdec(bin2hex($strCurr))-0x8080;
$intStart=1;
$intEnd=$intCount;
while($intStart<$intEnd-1){//折半法查找
$intMid=floor(($intStart+$intEnd)/2);
$intOffset=2+4($intMid-1);
fseek($fileGBU,$intOffset);
$strBuf=fread($fileGBU,2);
$intCode=ord($strBuf{0})+256ord($strBuf{1});
if($intGB==$intCode){
$intStart=$intMid;
break;
}
if($intGB>$intCode)$intStart=$intMid;
else$intEnd=$intMid;
}
$intOffset=2+4($intStart-1);
fseek($fileGBU,$intOffset);
$strBuf=fread($fileGBU,2);
$intCode=ord($strBuf{0})+256ord($strBuf{1});
if($intGB==$intCode){
$strBuf=fread($fileGBU,2);
$intCodeU=ord($strBuf{0})+256ord($strBuf{1});
$strRet.=u2utf8($intCodeU);
}else{
$strRet.="??";
}
$i++;
}else{
$strRet.=$strGB{$i};
}
}
return$strRet;
}
把其加到原来的测评程序，对三种方法同时测评2次得到数据（精确到3位小数，单位：秒）：
MySQL方法：0.125
文本文件方法：10.873
二进制文件折半法：0.106
MySQL方法：0.102
文本文件方法：10.677
二进制文件折半法：0.092
可见二进制文件折半法还比MySQL法略有优势。但是上述测评都是对短的地理位置进行转码，如果对较长的文本转码又如何呢？我找来5个Blog的RSS2.0文件，都是GB2312编码。测评三种方法对5个文件编码耗费的时间，2次测量数据如下（精确到3位小数，单位：秒）：
MySQL方法：7.206
文本文件方法：0.772
二进制文件折半法：5.022
MySQL方法：7.440
文本文件方法：0.766
二进制文件折半法：5.055
可见对长的文本是用文本文件的方法最优，因为转码对照表读入内存后，转码就可以很高效了。既然如此，我们还可以尝试改进一下，把文本文件方法改为：转码对照表从二进制文件gbu.dat读入内存，而不是文本文件。测评数据如下（精度和单位同上）：
从文本文件读入对照表：0.766
从二进制文件读入对照表：0.831
从文本文件读入对照表：0.774
从二进制文件读入对照表：0.833
表明这次改进失败了，从文本文件读入转码对照表更高效。
总结：用PHP对GB编码到UTF-8编码的动态转换，如果每次转换的文本很小，适宜用二进制文件结合折半法转换；如果每次转换的文本较大，适宜用文本文件存储转码对照表，并在转换前一次性把对照表读入内存。
|
|
