1.1 簡介
深層神經(jīng)網(wǎng)絡一般都需要大量的訓練數(shù)據(jù)才能獲得比較理想的結果。在數(shù)據(jù)量有限的情況下，可以通過數(shù)據(jù)增強（Data Augmentation）來增加訓練樣本的多樣性， 提高模型魯棒性，避免過擬合。
在計算機視覺中，典型的數(shù)據(jù)增強方法有翻轉(zhuǎn)（Flip），旋轉(zhuǎn)（Rotat ），縮放（Scale），隨機裁剪或補零（Random Crop or Pad），色彩抖動（Color jittering），加噪聲（Noise）
筆者在跟進視頻及圖像中的人體姿態(tài)檢測和關鍵點追蹤（Human Pose Estimatiion and Tracking in videos）的項目。因此本文的數(shù)據(jù)增強僅使用――翻轉(zhuǎn)（Flip），旋轉(zhuǎn)（Rotate ），縮放以及縮放（Scale）
2.1 裁剪（Crop）
-
image.shape--([3, width, height])一個視頻序列中的一幀圖片,裁剪前大小不統(tǒng)一
-
bbox.shape--([4,])人體檢測框，用于裁剪
-
x.shape--([1,13]) 人體13個關鍵點的所有x坐標值
- y.shape--([1,13])人體13個關鍵點的所有y坐標值
def crop(image, bbox, x, y, length):
x, y, bbox = x.astype(np.int), y.astype(np.int), bbox.astype(np.int)
x_min, y_min, x_max, y_max = bbox
w, h = x_max - x_min, y_max - y_min
# Crop image to bbox
image = image[y_min:y_min + h, x_min:x_min + w, :]
# Crop joints and bbox
x -= x_min
y -= y_min
bbox = np.array([0, 0, x_max - x_min, y_max - y_min])
# Scale to desired size
side_length = max(w, h)
f_xy = float(length) / float(side_length)
image, bbox, x, y = Transformer.scale(image, bbox, x, y, f_xy)
# Pad
new_w, new_h = image.shape[1], image.shape[0]
cropped = np.zeros((length, length, image.shape[2]))
dx = length - new_w
dy = length - new_h
x_min, y_min = int(dx / 2.), int(dy / 2.)
x_max, y_max = x_min + new_w, y_min + new_h
cropped[y_min:y_max, x_min:x_max, :] = image
x += x_min
y += y_min
x = np.clip(x, x_min, x_max)
y = np.clip(y, y_min, y_max)
bbox += np.array([x_min, y_min, x_min, y_min])
return cropped, bbox, x.astype(np.int), y.astype(np.int)
2.2 縮放（Scale）
-
image.shape--([3, 256, 256])一個視頻序列中的一幀圖片，裁剪后輸入網(wǎng)絡為256*256
-
bbox.shape--([4,])人體檢測框，用于裁剪
-
x.shape--([1,13]) 人體13個關鍵點的所有x坐標值
-
y.shape--([1,13])人體13個關鍵點的所有y坐標值
- f_xy--縮放倍數(shù)
def scale(image, bbox, x, y, f_xy):
(h, w, _) = image.shape
h, w = int(h * f_xy), int(w * f_xy)
image = resize(image, (h, w), preserve_range=True, anti_aliasing=True, mode='constant').astype(np.uint8)
x = x * f_xy
y = y * f_xy
bbox = bbox * f_xy
x = np.clip(x, 0, w)
y = np.clip(y, 0, h)
return image, bbox, x, y
2.3 翻轉(zhuǎn)（fillip）
這里是將圖片圍繞對稱軸進行左右翻轉(zhuǎn)（因為人體是左右對稱的，在關鍵點檢測中有助于防止模型過擬合）
def flip(image, bbox, x, y):
image = np.fliplr(image).copy()
w = image.shape[1]
x_min, y_min, x_max, y_max = bbox
bbox = np.array([w - x_max, y_min, w - x_min, y_max])
x = w - x
x, y = Transformer.swap_joints(x, y)
return image, bbox, x, y
翻轉(zhuǎn)前：
翻轉(zhuǎn)后：
2.4 旋轉(zhuǎn)（rotate）
angle--旋轉(zhuǎn)角度
def rotate(image, bbox, x, y, angle):
# image - -(256, 256, 3)
# bbox - -(4,)
# x - -[126 129 124 117 107 99 128 107 108 105 137 155 122 99]
# y - -[209 176 136 123 178 225 65 47 46 24 44 64 49 54]
# angle - --8.165648811999333
# center of image [128,128]
o_x, o_y = (np.array(image.shape[:2][::-1]) - 1) / 2.
width,height = image.shape[0],image.shape[1]
x1 = x
y1 = height - y
o_x = o_x
o_y = height - o_y
image = rotate(image, angle, preserve_range=True).astype(np.uint8)
r_x, r_y = o_x, o_y
angle_rad = (np.pi * angle) /180.0
x = r_x + np.cos(angle_rad) * (x1 - o_x) - np.sin(angle_rad) * (y1 - o_y)
y = r_y + np.sin(angle_rad) * (x1 - o_x) + np.cos(angle_rad) * (y1 - o_y)
x = x
y = height - y
bbox[0] = r_x + np.cos(angle_rad) * (bbox[0] - o_x) + np.sin(angle_rad) * (bbox[1] - o_y)
bbox[1] = r_y + -np.sin(angle_rad) * (bbox[0] - o_x) + np.cos(angle_rad) * (bbox[1] - o_y)
bbox[2] = r_x + np.cos(angle_rad) * (bbox[2] - o_x) + np.sin(angle_rad) * (bbox[3] - o_y)
bbox[3] = r_y + -np.sin(angle_rad) * (bbox[2] - o_x) + np.cos(angle_rad) * (bbox[3] - o_y)
return image, bbox, x.astype(np.int), y.astype(np.int)
旋轉(zhuǎn)前：
旋轉(zhuǎn)后：
3 結果（output）
數(shù)據(jù)增強前的原圖：
數(shù)據(jù)增強后：
以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
更多文章、技術交流、商務合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯(lián)系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
