|
作者：busyboxs
本项目主要使用的 API 是人脸关键点检测。因为给人脸加眼镜特效其实只需要眼睛相关的关键点即可，所以本项目为了简单，使用的是百度 AI 人脸检测 API 中的 landmark4（左眼中心、右眼中心、鼻尖、嘴中心），所以也不算是一个新品体验吧。但是呢可以在更多的关键点上加更多的特效，等后期有时间再完善吧。
本项目主要基于 python3 实现。代码地址：https://github.com/busyboxs/baiduAIFace/blob/master/face_landmarks_simple.py
人脸检测与属性分析 API 介绍
本部分参考自官方文档，更多细节参考 http://ai.baidu.com/docs#/Face-Detect-V3/top
接口能力
·人脸检测：检测图片中的人脸并标记出位置信息;
·人脸关键点：展示人脸的核心关键点信息，及150个关键点信息。
·人脸属性值：展示人脸属性信息，如年龄、性别等。
·人脸质量信息：返回人脸各部分的遮挡、光照、模糊、完整度、置信度等信息。
请求参数
·max_face_num: 为了能够检测多个人脸，这个参数最好设置为 10；
·image: 图像信息，依据 image_type 不同而不同；
·image_type: (BASE64, image 为图片的 base64 编码), (URL, image 为图片的URL地址)，(FACE_TOKEN, image 为一个唯一的标志)
·face_field：包括（age, beauty, expression, face_shape,gender, glasses, landmark, landmark72, landmark150, race, quality, eye_status, emotion, face_type），可以根据具体需求进行设置。
其他两个参数保持默认就行，若是有特殊需要，也可进行修改。
如果 image_type 设置为 BASE64，则图像需要进行 base64 编码，python3 中 base64 编码的具体代码如下：
import base64
def pic_base64(image_path):
with open(image_path, 'rb') as f:
base64_data = base64.b64encode(f.read())
return base64_data
输出的 base64_data 的 type 为 。
返回参数
根据 face_field 的不同返回的结果不同。具体的返回结果参数及描述参见 http://ai.baidu.com/docs#/Face-Detect-V3/top 。接下来对不同的 face_field 进行讨论。
默认返回字段
默认情况下，即不论 face_field 为什么，都一定会输出的字段。这些字段包括 angle, face_probability, face_token 和 location，分别代表人脸在三维中的角度，人脸置信度，人脸图片的唯一标识和人脸在框。其中一个输出样例如下：
{'face_list': [{'angle': {'pitch': 9.28, 'roll': 20.87, 'yaw': 5.92},
'face_probability': 1,
'face_token': 'a8b2a513ffa1f726ec15818d81583861',
'location': {'height': 198,
'left': 436.45,
'rotation': 24,
'top': 98.36,
'width': 214}}],
'face_num': 1}
其他返回字段注：以下展示的返回不包括上面的四个默认字段，但是这四个字段是一定会返回的。
·face_field 包含 age 时，代表年龄，返回包含 'face_list’: [{'age’: 25}]
·face_field 包含 beauty 时，代表美丑打分，返回包含 'face_list’: [{'beauty’: 63.9,}]
·face_field 包含 expression 时，代表表情，返回包含 'face_list’: [{'expression’: {'probability’: 0.64, 'type’: 'none’},}]
·face_field 包含 face_shape 时，代表脸型，返回包含 'face_list’: [{'face_shape’: {'probability’: 0.44, 'type’: 'oval’},}]
·face_field 包含 gender 时，代表性别，返回包含 'face_list’: [{'gender’: {'probability’: 1, 'type’: 'female’},}]
·face_field 包含 glasses 时，代表是否带眼镜，返回包含 'face_list’: [{'glasses’: {'probability’: 1, 'type’: 'none’},}]
·face_field 包含 landmark 时，会返回 4 点 landmark 和 72 点 landmark，
face_list': [{'landmark': [{'x': 465.13, 'y': 146.17},
{'x': 550.82, 'y': 184.07},
{'x': 481.01, 'y': 212.33},
{'x': 464.83, 'y': 260.26}],
'landmark72': [{'x': 422.01, 'y': 130.14},
{'x': 410.94, 'y': 158.96},
{'x': 403.67, 'y': 184.87},
.
.
.
{'x': 462.4, 'y': 263.8},
{'x': 447.01, 'y': 254.79}],}]
·face_field 包含 landmark72 时，竟然没有对应的返回值，这可能是个 bug。
·face_field 包含 landmark150 时，返回对应 150 个关键点，
'face_list': [{'landmark150': {'cheek_left_1': {'x': 623.08, 'y': 219.69},
'cheek_left_10': {'x': 497.4, 'y': 323.65},
.
.
.
'nose_tip': {'x': 477.8, 'y': 210.79}},}]
·face_field 包含 race 时，代表人种，返回包含
'face_list': [{'race': {'probability': 1, 'type': 'white'}}],}]
·face_field 包含 quality 时，代表人脸质量信息，返回包含
'face_list': [{'quality': {'blur': 0,
'completeness': 1,
'illumination': 157,
'occlusion': {'chin_contour': 0,
'left_cheek': 0.1,
'left_eye': 0.59,
'mouth': 0,
'nose': 0,
'right_cheek': 0.02,
'right_eye': 0.33}}}]
·face_field 包含 eye_status 时，代表双眼状态（睁开/闭合），返回包含 'face_list’: [{'eye_status’: {'left_eye’: 1, 'right_eye’: 1},}]
·face_field 包含 emotion 时，代表情绪，返回包含 'face_list’: [{'emotion’: {'probability’: 0.71, 'type’: 'happy’},}]
·face_field 包含 face_type 时，代表真实人脸/卡通人脸，返回包含 'face_list’: [{'face_type’: {'probability’: 0.98, 'type’: 'human’},}]
关于人脸关键点的更多信息参考 http://ai.baidu.com/docs#/Face-Detect-V3/top
利用关键点实现戴眼镜特效
获取 access_token
要调用百度 AI API 的接口，需要创建对应的应用并获取 access_token.
创建应用
首先登陆百度 AI 控制台（https://console.bce.baidu.com/?fromai=1#/aip/overview ） ，然后点击右侧导航栏里面的 “人脸识别”。
然后点击创建应用，好像有些接口在 V3 版本中才有，具体的参考文档。
填好“应用名称”和“应用描述”后点击“创建应用”。
创建好应用之后，进入“应用列表”，就能看到应用的相关信息，我们需要的是 API Key 和 Secret Key。
获取 access token
通过 API Key 和 Secret Key 获取的 access_token。更多关于 access_token 的获取方法参考 http://ai.baidu.com/docs#/Auth/top 。
下面代码是 python3 获取 access_token 的代码
from urllib.request import urlopen, Request
import json
def get_token_key():
token_key = ''
client_id = '填写上面获取的 API key' # API key
client_secret = '填写上面获取的 Secret key' # Secret key
host = f'https://aip./oauth/2.0/token?grant_type=client_credentials' f'&client_id={client_id}&client_secret={client_secret}'
request = Request(host)
request.add_header('Content-Type', 'application/json; charset=UTF-8')
response = urlopen(request)
token_content = response.read()
if token_content:
token_info = json.loads(token_content)
token_key = token_info['access_token']
return token_key
调用人脸检测接口
调用人脸检测接口的 python3 实现代码如下：
from urllib.request import urlopen, Request
import json
def get_face_info(image_base64, token_key):
request_url = 'https://aip./rest/2.0/face/v3/detect'
params_d = dict()
params_d['image'] = str(image_base64, encoding='utf-8')
params_d['image_type'] = 'BASE64'
params_d['face_field'] = 'landmark'
params_d['max_face_num'] = 10
params = json.dumps(params_d).encode('utf-8')
access_token = token_key
request_url = request_url + '?access_token=' + access_token
request = Request(url=request_url, data=params)
request.add_header('Content-Type', 'application/json')
response = urlopen(request)
content = response.read()
if content:
data = json.loads(content)
assert data['error_code'] == 0, data
# pprint(data)
return data['result']
这里将具体的几个字段直接通过字符串指定在函数内，你也可以通过传递参数来实现。注意，该函数参数 image_base64 的 type 为 byte，需要转换为 str 才能序列化为 json。通过指定不同的 face_field 值能够得到前面说明的返回字段，该项目只需要使用人脸关键点，并且使用的是 4 个人脸关键点，所以指定 face_field 为 landmrak。
得到返回结果后，我们还需要将人脸关键点结构化，下面是 python3 获取 landmark 的代码：
def get_face_num(data):
return data['face_num']
def get_landmark4(data):
landmarks = list()
face_num = get_face_num(data)
for i in range(face_num):
landmark = list()
for j in range(4):
x = data['face_list'][i]['landmark'][j]['x']
y = data['face_list'][i]['landmark'][j]['y']
landmark.append(list(map(int, (x, y))))
landmarks.append(landmark)
return landmarks
因为可能一张图像中含有多个人脸，因此需要对每个人脸的关键点进行结构化。
4个关键点位置分别为左眼中心、右眼中心、鼻尖、嘴中心，我们只需要左眼中心和右眼中心，即 landmark[0] 和 landmark[1]。
加眼镜特效
首先通过两个坐标点（左眼中心、右眼中心）可以计算出两点所在直线相对于水平线的夹角，同时可以计算出两点之间的距离。
lmk0 = np.array(landmark[0]) # right eye center
lmk1 = np.array(landmark[1]) # left eye center
# for j in range(len(landmark))[:2]:
# cv2.circle(image, (landmark[j][0], landmark[j][1]), 1, (0, 255, 0), 2)
glasses_center = np.mean([lmk0, lmk1], axis=0) # the center of glasses mask
glasses_size = np.linalg.norm(lmk0 - lmk1) * 2 # the width of glasses mask
angle = -util.angle_between(lmk0, lmk1)
这里认为两点间线段的中点坐标为需要带上的眼镜图像（glasses mask）的中心，将线段间的距离的2倍认为是需要带上眼镜图像的宽（width，带有一定角度）。
然后我们这里默认输入的眼镜图像是透明的（png）和水平的，例如
glasses_h, glasses_w = glasses.shape[:2]
glasses_c = (glasses_w / 2, glasses_h / 2)
M = cv2.getRotationMatrix2D(glasses_c, angle, 1)
cos = np.abs(M[0, 0])
sin = np.abs(M[0, 1])
# compute the new bounding dimensions of the image
nW = int((glasses_h * sin) + (glasses_w * cos))
nH = int((glasses_h * cos) + (glasses_w * sin))
# adjust the rotation matrix to take into account translation
M[0, 2] += (nW / 2) - glasses_c[0]
M[1, 2] += (nH / 2) - glasses_c[1]
rotated_glasses = cv2.warpAffine(glasses, M, (nW, nH))
这段代码也可以直接使用 rotated_glasses = imutils.rotate_bound(glasses, -angle) 来替换，不过需要安装 imutils，关于该函数和该库的说明可以参见 https://blog.csdn.net/u011511601/article/details/79529318
比如一个旋转一定角度的眼镜图像为
然后将旋转后的眼镜图像与人脸图像在指定的眼镜 mask 区域进行融合，融合代码如下：
def overlay_transparent(background_img, img_to_overlay_t, x, y, overlay_size=None):
bg_img = background_img.copy()
# convert 3 channels to 4 channels
if bg_img.shape[2] == 3:
bg_img = cv2.cvtColor(bg_img, cv2.COLOR_BGR2BGRA)
if overlay_size is not None:
img_to_overlay_t = cv2.resize(img_to_overlay_t.copy(), overlay_size)
b, g, r, a = cv2.split(img_to_overlay_t)
mask = cv2.medianBlur(a, 5)
h, w, _ = img_to_overlay_t.shape
roi = bg_img[int(y - h / 2):int(y + h / 2), int(x - w / 2):int(x + w / 2)]
img1_bg = cv2.bitwise_and(roi.copy(), roi.copy(), mask=cv2.bitwise_not(mask))
img2_fg = cv2.bitwise_and(img_to_overlay_t, img_to_overlay_t, mask=mask)
bg_img[int(y - h / 2):int(y + h / 2), int(x - w / 2):int(x + w / 2)] = cv2.add(img1_bg, img2_fg)
# convert 4 channels to 3 channels
bg_img = cv2.cvtColor(bg_img, cv2.COLOR_BGRA2BGR)
return bg_img
这个代码来自 https://github.com/kairess/cat_hipsterizer/blob/master/test.py, 【这是一个不错的项目】。
原图和戴眼镜后的效果如下：
|
