Dự án: đọc và xác minh số seri in trên linh kiện (OCR + OCV)

Lời giải gồm cấu hình (lệnh sản xuất, vị trí cài đặt), bốn hàm theo thiết kế ở mục 3, và vòng xử lý thư mục ảnh ghi bao_cao.csv. Mẫu ký tự được vẽ bằng cùng font với "máy in"; trên dây chuyền thật, hãy cắt mẫu từ ảnh chữ in thật (mỗi ký tự lấy trung bình vài mẫu).

import csv
import re
import string
import time

import cv2
import numpy as np

# ---------- Cấu hình (nhận từ MES khi đổi lệnh; vị trí cài đặt đo trên ảnh chuẩn) ----------
LENH_SX = {"so_lenh": "PO-2610-017", "ma_sp": "AB", "stt_tu": 12340, "stt_den": 12399}
MAT_NA = "AA-999999"                        # 'A' chữ cái, '9' chữ số, khác: cố định (5 số thứ tự + 1 số kiểm tra)
LOGO = cv2.imread("mau_logo.png", cv2.IMREAD_GRAYSCALE)
LOGO_CHUAN = (94, 84)                       # góc trên-trái của logo trên ảnh chuẩn
DONG_CHUAN = (90 + 12, 80 + 92 - 26)        # góc trên-trái ô ký tự đầu tiên trên ảnh chuẩn
BUOC, CAO_O, LE = 20, 34, 3                 # bước chữ, chiều cao ô, cho phép lệch ±3 px
NGUONG_DINH_VI, NGUONG_DIEM, NGUONG_CACH = 0.6, 0.70, 0.04
SANG_SO = {"O": "0", "D": "0", "Q": "0", "I": "1", "L": "1", "Z": "2", "S": "5", "B": "8", "G": "6", "T": "7"}
SANG_CHU = {"0": "O", "1": "I", "2": "Z", "5": "S", "8": "B", "6": "G"}


def ve_o(c):
    """Mẫu một ô ký tự, giống cách máy in đặt ký tự giữa ô."""
    o = np.full((CAO_O, BUOC), 225, np.uint8)
    (tw, _), _ = cv2.getTextSize(c, cv2.FONT_HERSHEY_SIMPLEX, 0.9, 2)
    cv2.putText(o, c, ((BUOC - tw) // 2, 26), cv2.FONT_HERSHEY_SIMPLEX, 0.9, 30, 2, cv2.LINE_AA)
    return cv2.GaussianBlur(o, (0, 0), 0.6)


MAU = {c: ve_o(c) for c in string.ascii_uppercase + string.digits + "-"}


def dinh_vi(anh):
    kq = cv2.matchTemplate(anh, LOGO, cv2.TM_CCOEFF_NORMED)
    _, diem, _, (x, y) = cv2.minMaxLoc(kq)
    return x, y, diem


def doc_seri(anh, dx, dy):
    """Đọc theo ô, chọn ký tự theo mặt nạ. Trả chuỗi thô, chuỗi theo định dạng, điểm, khoảng cách, vị trí đã sửa."""
    x0, y0 = DONG_CHUAN[0] + dx, DONG_CHUAN[1] + dy
    tho, dinh_dang, diem, cach, da_sua = "", "", [], [], []
    for i, m in enumerate(MAT_NA):
        o = anh[y0 - LE:y0 + CAO_O + LE, x0 + i * BUOC - LE:x0 + (i + 1) * BUOC + LE]
        s = {c: float(cv2.matchTemplate(o, t, cv2.TM_CCOEFF_NORMED).max()) for c, t in MAU.items()}
        tho += max(s, key=s.get)
        hop_le = string.digits if m == "9" else string.ascii_uppercase if m == "A" else m
        xep = sorted(((s[c], c) for c in hop_le), reverse=True)
        dinh_dang += xep[0][1]
        diem.append(xep[0][0])
        cach.append(xep[0][0] - xep[1][0] if len(xep) > 1 else 1.0)
        if xep[0][1] != tho[-1]:
            da_sua.append(f"{i}:{tho[-1]}→{xep[0][1]}")
    return tho, dinh_dang, diem, cach, da_sua


def chu_so_kiem_tra(than):
    tong = sum(int(c) * (3 if i % 2 == 0 else 1) for i, c in enumerate(reversed(than)))
    return str((10 - tong % 10) % 10)


def xac_minh(seri, lenh, da_dung):
    m = re.fullmatch(r"([A-Z]{2})-(\d{5})(\d)", seri)
    if not m:
        return "NG", "sai định dạng"
    if chu_so_kiem_tra(m.group(2)) != m.group(3):
        return "NG", "sai chữ số kiểm tra"
    if m.group(1) != lenh["ma_sp"]:
        return "NG", f"mã sản phẩm {m.group(1)} ≠ {lenh['ma_sp']} của lệnh {lenh['so_lenh']}"
    if not lenh["stt_tu"] <= int(m.group(2)) <= lenh["stt_den"]:
        return "NG", f"số thứ tự {m.group(2)} ngoài dải {lenh['stt_tu']}–{lenh['stt_den']}"
    if seri in da_dung:
        return "NG", f"trùng seri (lần đầu: {da_dung[seri]})"
    return "OK", "đạt"


def kiem_tra(duong_dan, da_dung):
    anh = cv2.imread(duong_dan, cv2.IMREAD_GRAYSCALE)
    t0 = time.perf_counter()
    x, y, diem_dv = dinh_vi(anh)
    kq = {"file": duong_dan, "seri": "", "ket_qua": "NG", "ly_do": "", "do_tin_cay": 0.0,
          "diem_dinh_vi": round(diem_dv, 3), "da_sua": ""}
    if diem_dv < NGUONG_DINH_VI:
        kq["ly_do"] = "không tìm thấy nhãn"
    else:
        tho, seri, diem, cach, da_sua = doc_seri(anh, x - LOGO_CHUAN[0], y - LOGO_CHUAN[1])
        kq.update(seri=seri, do_tin_cay=round(min(diem), 3), da_sua=" ".join(da_sua))
        yeu = [i for i in range(len(seri)) if diem[i] < NGUONG_DIEM or cach[i] < NGUONG_CACH]
        if yeu:
            kq.update(ket_qua="NOREAD", ly_do=f"ký tự không chắc chắn ở vị trí {yeu}")
        else:
            kq["ket_qua"], kq["ly_do"] = xac_minh(seri, LENH_SX, da_dung)
            if kq["ket_qua"] == "OK":
                da_dung[seri] = duong_dan                    # chống trùng: ghi nhận SAU CÙNG
    kq["ms"] = round((time.perf_counter() - t0) * 1000, 2)
    return kq


with open("linh_kien/dap_an.csv", encoding="utf-8") as f:
    DAP_AN = list(csv.DictReader(f))
da_dung, ket_qua = {}, []
for d in DAP_AN:
    ket_qua.append(kiem_tra(d["file"], da_dung))

COT = ["file", "seri", "ket_qua", "ly_do", "do_tin_cay", "diem_dinh_vi", "da_sua", "ms"]
with open("bao_cao.csv", "w", newline="", encoding="utf-8-sig") as f:       # utf-8-sig: Excel đọc đúng tiếng Việt
    ghi = csv.DictWriter(f, fieldnames=COT)
    ghi.writeheader()
    ghi.writerows(ket_qua)

for k in ket_qua:
    print(f"{k['file'][-9:]:9s} {k['seri']:10s} {k['ket_qua']:6s} tin cậy {k['do_tin_cay']:.2f}  "
          f"định vị {k['diem_dinh_vi']:.2f}  {k['ly_do']}")

lk_00.png AB-123402  OK     tin cậy 0.98  định vị 1.00  đạt
lk_01.png AB-123419  OK     tin cậy 0.98  định vị 1.00  đạt
lk_02.png AB-123426  OK     tin cậy 0.98  định vị 1.00  đạt
lk_03.png AB-123433  OK     tin cậy 0.96  định vị 0.96  đạt
lk_04.png AB-123440  OK     tin cậy 0.98  định vị 1.00  đạt
lk_05.png AB-123457  OK     tin cậy 0.95  định vị 0.99  đạt
lk_06.png AB-123464  OK     tin cậy 0.98  định vị 1.00  đạt
lk_07.png AB-123471  NOREAD tin cậy 0.79  định vị 1.00  ký tự không chắc chắn ở vị trí [6]
lk_08.png AB-123488  OK     tin cậy 0.98  định vị 1.00  đạt
lk_09.png            NG     tin cậy 0.00  định vị 0.43  không tìm thấy nhãn
lk_10.png AB-123501  OK     tin cậy 0.98  định vị 1.00  đạt
lk_11.png AC-123518  NG     tin cậy 0.98  định vị 1.00  mã sản phẩm AC ≠ AB của lệnh PO-2610-017
lk_12.png AB-123525  OK     tin cậy 0.98  định vị 1.00  đạt
lk_13.png AB-123426  NG     tin cậy 0.98  định vị 1.00  trùng seri (lần đầu: linh_kien/lk_02.png)
lk_14.png AB-123549  OK     tin cậy 0.98  định vị 1.00  đạt
lk_15.png AB-123559  NG     tin cậy 0.98  định vị 1.00  sai chữ số kiểm tra
lk_16.png AB-123563  OK     tin cậy 0.98  định vị 1.00  đạt
lk_17.png AB-123570  OK     tin cậy 0.98  định vị 1.00  đạt
lk_18.png AB-124553  NG     tin cậy 0.98  định vị 1.00  số thứ tự 12455 ngoài dải 12340–12399
lk_19.png AB-123594  OK     tin cậy 0.98  định vị 1.00  đạt
lk_20.png AB-123600  OK     tin cậy 0.98  định vị 1.00  đạt
lk_21.png AB-123617  OK     tin cậy 0.98  định vị 1.00  đạt
lk_22.png AB-123624  OK     tin cậy 0.98  định vị 1.00  đạt
lk_23.png AB-123631  OK     tin cậy 0.98  định vị 1.00  đạt

Cột thời gian không in ở đây vì phụ thuộc máy; nó nằm trong bao_cao.csv. Đối chiếu từng dòng với kịch bản:

• Ảnh thiếu nhãn có điểm định vị thấp, bị NG "không tìm thấy nhãn" ngay, không cố đọc chữ ở chỗ không có nhãn.
• Ảnh có vết bẩn: ô bị che có điểm thấp, trạm trả NOREAD thay vì đoán. Đó là hành vi đúng theo yêu cầu an toàn.
• Sai mã sản phẩm, sai chữ số kiểm tra, ngoài dải, trùng đều NG với lý do riêng. Linh kiện trùng (ảnh 13) bị bắt vì ảnh 02 đã được ghi nhận trước đó.
• Ảnh mờ, tương phản thấp, lệch nhiều vẫn OK: định vị theo logo dời đúng ROI, NCC không phụ thuộc độ sáng.

Đánh giá so với đáp án (khối này chỉ đọc hai file CSV, chạy độc lập):

import csv
from collections import Counter

with open("linh_kien/dap_an.csv", encoding="utf-8") as f:
    dap_an = {r["file"]: r for r in csv.DictReader(f)}
with open("bao_cao.csv", encoding="utf-8-sig") as f:
    bao_cao = list(csv.DictReader(f))

dem = Counter()
for r in bao_cao:
    mong_doi, thuc_te = dap_an[r["file"]]["mong_doi"], r["ket_qua"]
    if thuc_te == mong_doi:
        dem["đúng kết luận"] += 1
    elif thuc_te == "OK":
        dem["ESCAPE (lỗi bị cho qua)"] += 1
        print("  ESCAPE:", r["file"], dap_an[r["file"]]["ghi_chu"])
    elif mong_doi == "OK":
        dem["overkill (tốt bị loại)"] += 1
        print("  overkill:", r["file"], r["ly_do"])
    else:
        dem["lỗi nhưng khác loại (NG/NOREAD)"] += 1
ms = sorted(float(r["ms"]) for r in bao_cao)
print(dict(dem))
print(f"Độ tin cậy thấp nhất của ảnh OK: {min(float(r['do_tin_cay']) for r in bao_cao if r['ket_qua'] == 'OK'):.3f}")
print(f"Cycle time: trung bình {sum(ms) / len(ms):.1f} ms, lớn nhất {ms[-1]:.1f} ms (tùy máy)")
print("Ký tự được sửa nhờ định dạng:", [(r["file"][-9:], r["da_sua"]) for r in bao_cao if r["da_sua"]])

{'đúng kết luận': 24}
Độ tin cậy thấp nhất của ảnh OK: 0.954
Cycle time: trung bình 16.9 ms, lớn nhất 20.9 ms (tùy máy)
Ký tự được sửa nhờ định dạng: []

Không có escape và không có overkill trên bộ 24 ảnh. Dòng "độ tin cậy thấp nhất của ảnh OK" là con số cần theo dõi: nó cho biết biên an toàn so với ngưỡng 0,70. Nếu trên ảnh thật con số này sát ngưỡng, hãy cải thiện ảnh (chiếu sáng, lấy nét) trước khi hạ ngưỡng. Thời gian mỗi ảnh khoảng một đến vài chục mili giây tùy máy, dưới yêu cầu 50 ms. Danh sách ký tự được sửa nhờ định dạng rỗng: với font này và các ảnh trong bộ thử, bộ đọc theo ô không nhầm chữ với số ở vị trí nào. Trên ảnh thật (font chấm, mực lem), danh sách này sẽ có phần tử; hãy theo dõi nó, vì một vị trí bị sửa thường xuyên báo hiệu đầu in hoặc nét chữ ở đó có vấn đề.

Sửa nhầm cho chuỗi từ bộ OCR bên ngoài. Khi thay bộ đọc theo ô bằng Tesseract, EasyOCR hoặc PaddleOCR, bạn chỉ có chuỗi, không có điểm từng ký tự cho mọi lớp. Khi đó dùng bảng TO_DIGIT/TO_ALPHA theo vị trí, rồi vẫn đi qua xac_minh (chữ số kiểm tra sẽ chặn phần lớn trường hợp sửa sai):

import re

TO_DIGIT = str.maketrans({"O": "0", "D": "0", "Q": "0", "I": "1", "L": "1", "Z": "2", "S": "5", "B": "8", "G": "6", "T": "7"})
TO_ALPHA = str.maketrans({"0": "O", "1": "I", "2": "Z", "5": "S", "8": "B", "6": "G"})
SERI_RE = re.compile(r"^[A-Z]{2}-\d{6}$")


def chuan_hoa(chuoi_ocr):
    t = chuoi_ocr.strip().upper().replace(" ", "").replace("_", "-").replace("—", "-")
    if len(t) == 8 and t[2] != "-":                      # OCR làm mất dấu gạch ngang
        t = t[:2] + "-" + t[2:]
    if len(t) != 9 or t[2] != "-":
        return None
    sua = t[:2].translate(TO_ALPHA) + "-" + t[3:].translate(TO_DIGIT)
    return sua if SERI_RE.match(sua) else None


def chu_so_kiem_tra(than):
    tong = sum(int(c) * (3 if i % 2 == 0 else 1) for i, c in enumerate(reversed(than)))
    return str((10 - tong % 10) % 10)


for ocr in ("AB-123457", "A8-I2345T", "AB 12345 7", "AB-I2345S", "48-123457", "AB-12345", "AB-128457"):
    s = chuan_hoa(ocr)
    kt = "—" if s is None else ("đúng" if chu_so_kiem_tra(s[3:8]) == s[8] else "SAI → NG/NOREAD")
    print(f"{ocr:10s} → {str(s):10s} chữ số kiểm tra: {kt}")

AB-123457  → AB-123457  chữ số kiểm tra: đúng
A8-I2345T  → AB-123457  chữ số kiểm tra: đúng
AB 12345 7 → AB-123457  chữ số kiểm tra: đúng
AB-I2345S  → AB-123455  chữ số kiểm tra: SAI → NG/NOREAD
48-123457  → None       chữ số kiểm tra: —
AB-12345   → None       chữ số kiểm tra: —
AB-128457  → AB-128457  chữ số kiểm tra: SAI → NG/NOREAD

Dòng 48-123457 cho thấy giới hạn của bảng sửa: "4" không nằm trong TO_ALPHA nên chuỗi bị loại (NOREAD), đúng hơn là đoán "A". Dòng AB-128457 (chữ "3" bị đọc thành "8") vẫn đúng định dạng nhưng chữ số kiểm tra không khớp, nên bị chặn. Không có chữ số kiểm tra, lỗi này sẽ thành seri sai được ghi vào hệ thống.