PHP利用ICU扩展intl快速实现汉字转拼音以及按拼音首字母分组排序

原创
2016/07/21 18:22
阅读数 2.4K

ICU(International Components for Unicode)里提供了transliterator(直译器),
可以很方便把其他语言(比如简体中文)转为拉丁文表示:
http://cn2.php.net/manual/zh/transliterator.transliterate.php
Transliterator: allows getting latin representation of strings in various languages.

<?php
//文件编码要求是Unicode
header('Content-Type: text/html; charset=utf-8');

echo transliterator_transliterate('Any-Latin', '中华有为');
//输出 zhōng huá yǒu wèi

echo transliterator_transliterate('Any-Latin; Latin-ASCII; Lower()', '中华有为');
//输出 zhong hua you wei

echo transliterator_transliterate('Any-Latin; Latin-ASCII; Upper()', '中华有为');
//输出 ZHONG HUA YOU WEI

echo transliterator_transliterate('Any-Latin', '重阳');
//输出 zhòng yáng (错误,多音字还是坑)

苹果上的CFStringTransform/kCFStringTransformToLatin汉字转拼音也是通过ICU transform实现的:
http://userguide.icu-project.org/transforms/general#TOC-ICU-Transliterators
http://nshipster.com/cfstringtransform/

使用php5-intl(依赖ICU:libicu52)的简体中文(zh_CN)排序器collator按拼音排序:
http://cn2.php.net/manual/zh/collator.sort.php
php-src/ext/intl --enable-intl --with-icu-dir=DIR
相关: MySQL数据表排序规则COLLATE=utf8_general_ci

<?php
header('Content-Type: text/html; charset=utf-8');
$coll = collator_create('zh_CN');
$arr = array('中国','华山','华夏','中华','重阳','重量','b','a',2,1);
collator_sort($coll, $arr);
var_export($arr);
//输出(可见汉字按照拼音排序,但不能识别多音字"重"):
array (
  0 => 'a',
  1 => 'b',
  2 => '华山',
  3 => '华夏',
  4 => '中国',
  5 => '中华',
  6 => '重量',
  7 => '重阳',
  8 => 1,
  9 => 2,
)

如果元素1和2加上引号变成字符串类型的话,则1和2排序后会出现在开头.
查看已经安装的软件包目录文件结构:
dpkg -L libicu52:amd64
/usr/lib/x86_64-linux-gnu/libicu*
/usr/lib/x86_64-linux-gnu/libicudata.so.52.1 动态库23MB
/usr/lib/x86_64-linux-gnu/libicudata.a       静态库23MB
Windows上则是:
php\icu*.dll
php\ext\php_intl.dll

下面实现了常用的按汉字拼音首字母分组排序的功能:

<?php
header('Content-Type: text/html; charset=utf-8');
$arr = array('百度知道','阿里云','百度百科','阿里巴巴');
$coll = collator_create('zh_CN');
collator_sort($coll, $arr);
var_export($arr);
//输出 array ( 0 => '阿里巴巴', 1 => '阿里云', 2 => '百度百科', 3 => '百度知道', )
$tmp = array();
foreach($arr as $v) {
	$pinyin = transliterator_transliterate('Any-Latin; Latin-ASCII; Upper()', $v);
	$tmp[substr($pinyin, 0, 1)][] = $v;
}
var_export($tmp);
//输出
array (
  'A' => 
  array (
    0 => '阿里巴巴',
    1 => '阿里云',
  ),
  'B' => 
  array (
    0 => '百度百科',
    1 => '百度知道',
  ),
)

附:
ls命令,Linux和Windows的文件管理器,显示如下:
1  2  a  b  华山  华夏  中国  中华  重量  重阳
数字,字母,汉字(按拼音排序,但不能识别多音字)
汉字方面,下面的自然排序跟上面有所不同:

<?php
header('Content-Type: text/plain; charset=utf-8');
$arr = array('中国','华山','华夏','中华','重阳','重量','b','a',2,1);
natsort($arr); // 等价于 uasort($arr, function($a, $b) { return strnatcmp($a, $b); });
var_export($arr);
//输出(自然排序下汉字并没有按照拼音进行排序):
array (
  9 => 1,
  8 => 2,
  7 => 'a',
  6 => 'b',
  3 => '中华',
  0 => '中国',
  2 => '华夏',
  1 => '华山',
  5 => '重量',
  4 => '重阳',
)

几种排序的比较:

<?php
header('Content-Type: text/plain; charset=utf-8');
$arr = explode(' ', '1 11 111 112 12 121 122 a aa aaa aab ab aba abb 阿里 百度 中 中国 中国国 中国中 中中 中中国 中中中');
shuffle($arr); //打乱数组
//collator_sort(collator_create('zh_CN'), $arr);
//usort($arr, function($a, $b) { return strnatcmp($a, $b); });
usort($arr, function($a, $b) { return strcmp($a, $b); });
echo implode(' ',$arr);
exit();
?>
ls排序:
1 11 111 112 12 121 122 a aa aaa aab ab aba abb 阿里 百度 中 中国 中国国 中国中 中中 中中国 中中中
collator_sort(zh_CN)排序(类似Windows/Linux桌面文件管理器里的默认按名称上升排列):
1 11 12 111 112 121 122 a aa aaa aab ab aba abb 阿里 百度 中 中国 中国国 中国中 中中 中中国 中中中
strnatcmp排序:
1 11 12 111 112 121 122 a aa aaa aab ab aba abb 中 中中 中中中 中中国 中国 中国中 中国国 百度 阿里
strcmp排序:
1 11 111 112 12 121 122 a aa aaa aab ab aba abb 中 中中 中中中 中中国 中国 中国中 中国国 百度 阿里

 

展开阅读全文
打赏
2
19 收藏
分享
加载中
eechen博主

引用来自“杨维杰”的评论

如何用这个 简体转繁体 或者 1234转繁体数字呢?
这个库支持简繁转换么?我也不知道.
可以去找一个简体字到繁体字的PHP数组映射,对字符串循环进行转换.
2017/03/03 15:48
回复
举报
如何用这个 简体转繁体 或者 1234转繁体数字呢?
2017/03/02 09:30
回复
举报
eechen博主

引用来自“会员”的评论

如果不能识别多音字,那也无外乎就一个根据UNICODE字序弄拼音的class就可以解决的问题,何必还弄个SO
欢迎你根据你所谓的"UNICODE字序"来解析汉字拼音写一篇博文来给大家看看.
在GB(国家标准)编码(GB2312)中,一级汉字按音序排列,收字3755个,二级汉字按部首排列,收字3008个.网上很多不扫字典的转法都是用这招,同样不支持多音字,而且还不支持二级汉字.
另外ICU库是Linux上系统自带的库呀,很多程序都依赖,并不需要你额外安装.
Ubuntu上你只需 sudo apt-get install php5-intl 即可.
2016/07/23 13:02
回复
举报
如果不能识别多音字,那也无外乎就一个根据UNICODE字序弄拼音的class就可以解决的问题,何必还弄个SO
2016/07/23 12:43
回复
举报
虽然看不懂,但也过了看看
2016/07/21 18:30
回复
举报
更多评论
打赏
6 评论
19 收藏
2
分享
在线直播报名
返回顶部
顶部