本期文章中，让我们一起来学习以下内容。
- 通过PIL和OpenCV来使用一些常见的图像处理技术，例如将RGB图像转换为灰度图像、旋转图像、对图像进行消噪、检测图像中的边缘以及裁剪图像中的感兴趣区域。
- 使用OpenCV中的模板匹配搜索图像中的对象。
所需安装的库：PIL、OpenCV、imutils
为什么我们需要学习图像处理技术？
深度学习对于图像的分析、识别以及语义理解具有重要意义。“图像分类”、“对象检测”、“实例分割”等是深度学习在图像中的常见应用。为了能够建立更好的训练数据集，我们必须先深入了解基本的图像处理技术，例如图像增强，包括裁剪图像、图像去噪或旋转图像等。其次基本的图像处理技术同样有助于光学字符识别（OCR）。
图像处理技术通过识别关键特征或读取图像中的文本信息，来提高图像的可解释性，以便对图像中存在的对象进行分类或检测。
图片来源于Unsplash
此处提供代码和图像
导入所需的库
import cv2
from PIL import Image首先我们使用OpenCV和PIL显示图像
使用OpenCV读取和显示图像
image = cv2.imread(r'love.jpg')
cv2.imshow("Image", image)
cv2.waitKey(0)如果图像太大，图像的窗口将不匹配屏幕显示比例。
那么如何在屏幕上显示完整的图像？
默认情况下，显示超大图像时图像都会被裁剪，不能被完整显示出来。为了能够查
看完整图像，我们将使用OpenCV中的namedWindow(name, flag)来创建一个新的显示图像窗口。
第一个参数name是窗口的标题，将被用作标识符。 当您将flag设置为cv2.WINDOW_NORMAL时，将显示完整图像，并可以调整窗口大小。当然flag参数还有选择。
image = cv2.imread(r'love.jpg')
cv2.namedWindow('Normal Window', cv2.WINDOW_NORMAL)
cv2.imshow('Normal Window', image)
cv2.waitKey(0)调整图像的尺寸
当我们调整图像大小时，我们可以更改图像的高度或宽度，或在保持宽高比不变的情况下同时变化高度和宽度。图片的宽高比是图片的宽度与高度的比。
image= cv2.imread(r'taj.jpg')
scale_percent =200 # percent of original size
width = int(image.shape[1] * scale_percent / 100)
height = int(image.shape[0] * scale_percent / 100)
dim = (width, height)
resized = cv2.resize(image, dim, interpolation = cv2.INTER_AREA)
cv2.imshow("Resize", resized)
cv2.waitKey(0)使用PIL读取和显示图像
我们将使用open()加载图像，然后使用show()进行显示。
使用image.show()创建一个临时文件
pil_image= Image.open(r'love.jpg')
pil_image.show("PIL Image")如果我们对图像中目标的边缘或其他特征感兴趣，要如何对他们进行识别呢？
灰度图像常常用于识别目标物体的边缘，因为灰度图像不仅助于理解图像中对比度、阴影渐变，而且有助于理解图像特征。
与灰度图像的2D通道相比，RGB图像具有三个通道：红色，绿色和蓝色。与彩色图像相比，灰度图像每个像素的信息更少，因此灰度图像的处理时间将更快。
使用OpenCV对彩色图像进行灰度缩放
以下是使用cvtColor()将彩色图像转换为灰度图像的方法及转换结果。
image = cv2.imread(r'love.jpg')
gray_image= cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)
cv2.namedWindow('Gray Image', cv2.WINDOW_NORMAL)
cv2.imshow('Gray Image', gray_image)
cv2.waitKey(0)完成转换的灰度图
使用PIL对彩色图像进行灰度缩放
convert()提供了此图像转换的另一种方式， “ L”模式用于转换为灰度图像，“ RGB”模式用于转换为彩色图像。
pil_image= Image.open(r'love.jpg')
gray_pil=pil_image.convert('L')
gray_pil.show()使用OpenCV进行边缘检测
我们将使用Canny算子对图像中的边缘进行检测。Canny边缘检测是通过灰度图像，使用高阶算法完成的。
Canny():第一个参数是输入图像，第二个和第三个参数是阈值1和阈值2的值。
强度梯度大于threshold2的边缘被视为边缘，低于threshold1的边缘被视为非边缘。非边缘将被删除。两个阈值之间的任何梯度强度值都根据它们的连通性被分类为边缘或非边缘。
image= cv2.imread(r'taj.jpg')
cv2.namedWindow("Edge", cv2.WINDOW_NORMAL)
denoised_image = cv2.Canny(image, 100,200 )
cv2.imshow("Edge", denoised_image)
cv2.waitKey(0)Canny边缘处理
如果图像发生一定的倾斜或旋转，应该怎样进行调整？
OCR对倾斜文本的提取效果不佳，因此我们需要对原图像进行校正。可以使用OpenCV和PIL中的rotate()对图像进行角度校正。
使用OpenCV旋转图像
rotate()会依据函数中的第二个参数rotationCode的值来旋转图像。
旋转参数值有以下几种：
- cv2.ROTATE_90_CLOCKWISE
- cv2. ROTATE_90_COUNTERCLOCKWISE
- cv2.ROTATE_180
image = cv2.imread(r'love.jpg')
cv2.namedWindow("Rotated Image", cv2.WINDOW_NORMAL)
rotated_img= cv2.rotate(image,cv2.ROTATE_90_CLOCKWISE )
cv2.imshow("Rotated Image", rotated_img)
cv2.waitKey(0)使用OpenCV将图像顺时针旋转90度
如果我们想将图像旋转特定角度怎么办？
根据特定角度旋转图像
在下面的代码中，图像以60度为增量旋转
使用 imutils中的rotate()
import imutils
import numpy as npimage = cv2.imread(r'love.jpg')# loop over the rotation angles
for angle in np.arange(0, 360, 60):
cv2.namedWindow("Rotated", cv2.WINDOW_NORMAL)
rotated = imutils.rotate(image, angle)
cv2.imshow("Rotated", rotated)
cv2.waitKey(0)使用imutils以60度为增量旋转图像
使用PIL旋转图像
此处使用PIL将图像旋转110度
pil_image= Image.open(r'love.jpg')
rotate_img_pil=pil_image.rotate(110)
rotate_img_pil.show()使用PIL将图像旋转110度
当图像因噪声而变差并影响图像分析时，我们应该如何提高图像质量？
使用OpenCV对图像进行除噪
噪声并不是我们想得到的信号，就图像而言，它会使图像受到干扰而失真。
使用OpenCV最小化图像中出现的噪声，首先输入含有噪声的图像
image= cv2.imread(r'taj.jpg')
cv2.namedWindow("Noised Image", cv2.WINDOW_NORMAL)
cv2.imshow("Noised Image", image)
cv2.waitKey(0)OpenCV有多种方法可以消除图像中的噪点。我们将使用cv.fastNlMeansDenoisingColored()，来消除彩色图像中的噪点。
fastNIMeansDenoising函数的常见参数：
- src: 源图像
- dst: 输出与src具有相同大小和类型的图像
- h: 调节过滤器强度。 较高的h值可以完全消除噪点和图像细节，较小的h值可以保留图像细节以及一些噪点。
- hForColorComponents: 与h相同，但仅用于彩色图像，通常与h相同
- templateWindowSize: 默认0（推荐7）
- searchWindowSize: 默认0（推荐21）
image= cv2.imread(r'taj.jpg')
cv2.namedWindow("Denoised Image", cv2.WINDOW_NORMAL)
denoised_image = cv2.fastNlMeansDenoisingColored(image,None, h=5)
cv2.imshow("Denoised Image", denoised_image)
cv2.waitKey(0)如何从图像中提取某些感兴趣的区域？
裁剪图像
裁剪图像可让我们提取图像中的兴趣区域。
我们将裁剪泰姬陵的图像，从图像中删除其他细节，使图像仅保留泰姬陵。
使用OpenCV裁剪图像
在OpenCV中裁剪是通过将图像数组切成薄片来进行的，我们先传递y坐标的起点和终点，然后传递x坐标的起点和终点。
image[y_start:y_end, x_start:x_end]
image= cv2.imread(r'taj.jpg')
resized_img= image[15:170, 20:200]
cv2.imshow("Resize", resized_img)
cv2.waitKey(0)使用PIL裁剪图像
PIL的crop()允许我们裁剪图像的矩形区域。crop()的参数是矩形左上角和右下角的像素坐标。
pil_image = Image.open(r'taj.jpg')
# Get the Size of the image in pixels
width, height = pil_image.size
# Setting the cropped image co-ordinates
left = 3
top = height /25
right = 200
bottom = 3 * height / 4
# Crop the image based on the above dimension
cropped_image = pil_image.crop((left, top, right, bottom))
# Shows the image in image viewer
cropped_image.show()
模板匹配
我们可以提供模板和OpenCV中的matchTemplate()在图像中搜索该模板并提取其位置。
这个模板会像卷积神经网络一样在整个图像上滑动，并尝试将模板与输入图像进行匹配。
minMaxLoc()用于获取最大值/最小值，它是通过矩形的左上角开始沿着宽度和高度获取值。
模板匹配有6种方法：
- cv2.TM_SQDIFF
- cv2.TM_SQDI
- cv2.TM_C
- cv2.TM_CCORR_NORMED
- cv2.TM_CCOEFF
- cv2.TM_CCOEFF_NORMED
在下面的示例中，我们将从主图中裁剪一小部分创建模板。
用于模板匹配的方法是TM_CCOEFF_NORMED。匹配的阈值设置为0.95。当匹配概率大于0.95时，该函数将会在与该匹配相对应的区域周围绘制一个矩形。
import cv2
import numpy as np
from matplotlib import pyplot as plt
img = cv2.imread(r'love.jpg',0)cv2.imshow("main",img)
cv2.waitKey(0)template = cv2.imread(r'template1.png',0)
cv2.imshow("Template",template)
cv2.waitKey(0)w, h = template.shape[::-1]
methods = [ 'cv2.TM_CCOEFF_NORMED']for meth in methods:
method = eval(meth)# Apply template Matching
res = cv2.matchTemplate(img,template,method)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
threshold=0.95
loc=np.where(res>threshold)
if len(loc[0])>0:# If the method is TM_SQDIFF or TM_SQDIFF_NORMED, take minimum
if method in [ cv2.TM_SQDIFF_NORMED]:
top_left = min_loc
bottom_right = (top_left[0] + w, top_left[1] + h)cv2.rectangle(img,top_left, bottom_right,100,20)plt.subplot(121),plt.imshow(res,cmap = 'gray')
plt.title('Matching Result'), plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(img,cmap = 'gray')
plt.title('Detected Point'), plt.xticks([]), plt.yticks([])
plt.suptitle(meth)plt.show()
else:
print("Template not matched")结论
我们所讨论的最常见图像处理技术可用于分析图像，例如图像分类，目标检测以及OCR。