使用 OpenCV 和 PaddleOCR 自动纠正图像中的文本倾斜
前言
在日常工作中，我们经常需要从扫描的文档图片中提取文本数据，并转换成规范格式的Excel和文本文件。然而，由于部分图片来源于扫描仪，它们往往带有不同程度的倾斜，这严重影响了文本识别的准确性和后续处理的效率。传统的图像处理方法虽多，但常常难以达到理想的矫正效果。
面对这一挑战，我灵光一现，想到了使用 PaddleOCR 来识别图片中的文本位置，其返回结果包括文本的四个角点，这让计算文本的倾斜角度成为可能。有了这些角度信息，我可以使用 OpenCV 进行精确的图像旋转，以矫正文本的倾斜。实践证明，这种方法不仅提高了文本识别的准确性，也极大地优化了整个文件处理流程。
完整代码
import math
import os
import cv2
import numpy as np
import paddlehub as hub
def calculate_angle(point1, point2):
"""
计算两点构成的斜线与水平线的夹角。
参数:
point1 (list): 第一个点的坐标 [x1, y1]
point2 (list): 第二个点的坐标 [x2, y2]
返回:
float: 两点之间的角度，正值表示第二个点在第一个点上方，负值表示在下方。
"""
# 计算水平和垂直距离
dx = point2[0] - point1[0]
dy = point2[1] - point1[1]
# 使用atan2计算角度（返回值是弧度）
angle_rad = math.atan2(dy, dx)
# 将弧度转换为度
angle_deg = math.degrees(angle_rad)
# 根据y坐标判断返回正角度还是负角度
if dy < 0:
# 第二个点在第一个点的下方
return -abs(angle_deg)
else:
# 第二个点在第一个点的上方或同一水平线上
return abs(angle_deg)
def rotate_image_without_cropping(img, angle, scale=1.0):
(h, w) = img.shape[:2]
center = (w // 2, h // 2)
# 计算旋转矩阵（考虑不裁剪的情况）
M = cv2.getRotationMatrix2D(center, angle, scale)
# 计算旋转后图像的新边界
cos = np.abs(M[0, 0])
sin = np.abs(M[0, 1])
# 新的边界尺寸
nW = int((h * sin) + (w * cos))
nH = int((h * cos) + (w * sin))
# 调整旋转矩阵以考虑平移
M[0, 2] += (nW / 2) - center[0]
M[1, 2] += (nH / 2) - center[1]
# 旋转整个图像
rotated = cv2.warpAffine(img, M, (nW, nH))
return rotated
def rotate_image(img, angle):
# 获取图像维度和中心点
(h, w) = img.shape[:2]
center = (w // 2, h // 2)
# 计算旋转矩阵
M = cv2.getRotationMatrix2D(center, angle, 1.0) # 旋转中心，旋转角度，缩放因子
# 执行旋转
rotated_img = cv2.warpAffine(img, M, (w, h))
return rotated_img
if __name__=="__main__":
# 图片所在文件夹的路径
folder_path = r'.\img'
# mkldnn加速仅在CPU下有效 引入ocr深度学习模型
ocr = hub.Module(name="ch_pp-ocrv3", enable_mkldnn=True)
offset = 0
# 遍历文件夹中的所有文件
for filename in os.listdir(folder_path):
if filename.endswith('.jpg') or filename.endswith('.png'):
# 打开图片文件
image_path = os.path.join(folder_path, filename)
img = cv2.imread(image_path)
# 获取图片宽高
height, width, = img.shape[:2]
#识别文字
results = ocr.recognize_text(images=[img])
angleTotal=0
angleNum = 0
# img_rect=img
for result in results:
data = result['data']
angleNum=len(data)
for infomation in data:
# img_rect=cv2.rectangle(img_rect,infomation['text_box_position'][0],infomation['text_box_position'][2],(255,0,0),2)
angleTotal+=calculate_angle(infomation['text_box_position'][0],infomation['text_box_position'][1])
# angleTotal+=calculate_angle(infomation['text_box_position'][2],infomation['text_box_position'][3])
# print(infomation['text_box_position'][0][0],infomation['text_box_position'][1][0])
angle=angleTotal/(angleNum)
img=rotate_image(img,angle)
# cv2.imwrite(r"./rect/" +filename, img_rect)
cv2.imwrite(r"./rotate/" +filename, img)
print(angle)
print(image_path)
效果
以下是旋转前后对比，效果我还是很满意。
总结
通过结合 PaddleOCR 的高效文本检测功能与 OpenCV 的强大图像处理能力，本方法有效解决了扫描图像文本倾斜的问题。这不仅使得从图像到文本的转换更加高效、准确，还大大提升了后续数据处理的流畅性。实际应用中，该技术表现出了优越的性能和广泛的适用性，为类似的图像处理任务提供了一个可靠的解决方案。
希望这篇博客能激发更多同行在面对图像处理挑战时，采用创新的解决方案。对于想要深入了解和应用这些技术的朋友，我建议亲自动手实验不同类型的图像样本，以获得更全面的经验和理解，转载请附明出处。