php开发中处理emoji表情和颜文字的兼容问题

全栈程序员-用户IM • 2021年11月3日下午10:00 • 未分类

背景：
随着手机的普及，现在移动开发很火爆，已经远远超过了pc端。
在移动设备经常会发生用户发送的内容中包含emoji表情，在显示时就是乱码。
一般是因为Mysql表设计时，都是用UTF8字符集的。把带有emoji的昵称字段往里面insert一下就没了，整个字段变成了空字符串。
这是因为Mysql的utf8字符集是3字节的，而emoji是4字节，这样整个昵称就无法存储了。

现在介绍在PHP开发中涉及到emoji表情的三种处理方法：
1)使用utf8mb4字符集
如果你的mysql版本>=5.5.3，你大可直接将utf8直接升级为utf8mb4字符集
这种4字节的utf8编码可完美兼容旧的3字节utf8字符集，并且可以直接存储emoji表情，是最好的解决方案
至于字节增大带来的性能损耗，我看过一些评测，几乎是可以忽略不计的

2)使用base64编码
如果你因为某些原因无法使用utf8mb4的话，你还可以使用base64来曲线救国
使用例如base64_encode之类的函数编码过后的emoji可以直接存储在utf8字节集的数据表中，取出时base64_decode一下即可

3)去掉emoji表情
在iOS以外的平台上，例如PC或者android。如果你需要显示emoji，就得准备一大堆emoji图片并使用第三方前端类库才行。
emoji表情是个麻烦的东西，即使你能存储，也不一定能完美显示，所以我们可以将它过滤掉。
在google里找到能用的过滤的代码，如下：

// 过滤掉emoji表情
function filterEmoji($str)
{
 $str = preg_replace_callback(
   '/./u',
   function (array $match) {
    return strlen($match[0]) >= 4 ? '' : $match[0];
   },
   $str);
  return $str;
 }

当然你也可以直接在客户端过滤，禁止输入表情和颜文字。这样更加直接有效。

总结：
我个人在App开发中也遇到了这个问题，权衡对比了一下三个方法。
方法一是改字符集编码，这个成本有一点高，而且怕改了后影响其他的程序，所以忽略了这个方法。
方法三，可以过滤Emoji表情，但是不能对颜文字进行过滤，也不能满足所有需求。因为Mysql的utf8字符集是3字节的，而emoji是4字节，数据库还是不能保存。
综合考虑所以最后选择base64编码。这个方法比较简单，对于Emoji表情和颜文字也都兼容。
只是写入的时候要base64_encode,读取的时候要base64_decode一下。
base64的缺点就是每次读数据还得base64_decode一下，而且保存的数据不直观。
但是相对我们的情况，这个方法是最靠谱的。风险小也能解决问题。
当然也可以直接在客户端过滤，禁止输入表情和颜文字，这样更加直接有效。但是这得重新发包，不能及时解决问题。

效果图如下：

ios:
php开发中处理emoji表情和颜文字的兼容问题