OCR cho RAG: giữ mã hàng, ô bảng và bản scan

Đăng ngày 27/10/2026

Tóm tắt: chữ đọc được chưa thành căn cứ mua hàng

OCR cho RAG giúp chuyển nội dung ảnh hoặc bản scan thành văn bản có thể tìm và đưa vào ngữ cảnh trả lời. Với phòng mua hàng, rủi ro không chỉ là nhận sai một chữ số. Hệ thống có thể đọc đúng ký tự nhưng gắn vào hàng khác, bỏ đơn vị hoặc tách chú thích khỏi bảng. Khi văn bản sai đã đi vào kho, trợ lý có thể diễn giải rất mạch lạc từ đầu vào ấy. Một câu trả lời có trích dẫn chưa tự chứng minh lớp đọc tài liệu đã đúng.

Bài dùng phòng mua hàng giả định tại Việt Nam xử lý báo giá scan để chuẩn bị bản nháp so sánh. Trợ lý chưa chọn nhà cung cấp, đặt hàng hoặc duyệt chi. Hai công cụ đề xuất là phiếu ô bảng giữ đường về vùng nguồn và ba lớp kiểm: đọc ký tự, gắn quan hệ bảng, suy điều kiện. Người nghiệp vụ xác nhận dữ liệu có thể đổi quyết định trước khi dùng tiếp. Bài chưa chạy OCR, tiếp nhận báo giá thật hoặc đo tỷ lệ nhận dạng ở doanh nghiệp.

Điểm cần chốt trước khi chọn công cụ là phần việc được giao. Tìm nơi tài liệu nhắc một loại hàng có thể chịu được một số sai khác cách trình bày; lập bản nháp so sánh từng dòng đòi hỏi đúng đối tượng, giá trị và điều kiện. Không có một mức “đọc tốt” chung cho cả hai. Nhóm dự án nên ghi những trường phải giữ đúng và hành vi khi chưa đọc được, rồi mới xây bộ thử và tính công kiểm của nhân viên.

Phân loại PDF theo nội dung trang, không theo phần mở rộng

Tài liệu pypdf phân biệt PDF được tạo số, trang chứa ảnh scan và trường hợp ảnh có lớp văn bản OCR phía sau. Thư viện trích văn bản không tự là công cụ OCR; nó có thể lấy một lớp chữ vốn đã nhận sai mà không phát hiện lỗi đó. Tài liệu cũng nêu bảng trong PDF có thể chỉ là các ký tự đặt theo tọa độ. Vì vậy, sao chép được chữ chưa chứng minh bảng đã có quan hệ hàng cột đủ để dùng làm dữ liệu[1].

Một tệp có thể có nhiều loại trang. Trang giới thiệu có chữ số sẵn, phụ lục là ảnh và trang cuối chứa dấu hoặc ghi chú chèn thêm. Quy tắc chọn đường xử lý nên xem theo trang hoặc vùng cần dùng, không chỉ đặt nhãn toàn tệp là PDF. Người tiếp nhận giữ tệp gốc và bản chuyển đổi riêng, cùng thông tin đường xử lý đã chọn. Nếu công cụ chỉ báo có văn bản mà không cho biết nó đến từ đâu, cần thêm bước kiểm trước khi nhập kho.

Đừng tự chuyển mọi tài liệu thành ảnh rồi đọc lại cho đồng nhất. Cách đó có thể bỏ thông tin sẵn có hoặc thêm sai khác, tùy công cụ và cấu hình. Ngược lại, chỉ lấy lớp chữ trong mọi tệp cũng có thể bỏ trang ảnh. Đội thử nên giữ các loại nguồn thực sự dự kiến dùng, gồm tệp hỗn hợp, để xem đường phân loại có bỏ sót vùng cần thiết hay không. Đây là yêu cầu thiết kế, chưa phải kết quả kiểm của một phần mềm cụ thể.

Chất lượng ảnh và ngôn ngữ ảnh hưởng phần chữ nhận được

OCRmyPDF mô tả việc thêm lớp văn bản nhận từ ảnh để PDF có thể tìm kiếm, đồng thời nêu các giới hạn liên quan ngôn ngữ, chất lượng scan và thứ tự đọc khi dùng Tesseract. Ví dụ, hai cột có thể bị đọc nối sai. Công cụ cố giữ nội dung PDF theo cách xử lý của nó, nhưng các lựa chọn xử lý ảnh vẫn cần được xem xét. Tạo được một tệp tìm kiếm được không đồng nghĩa mọi chữ, cấu trúc hoặc điều kiện trong tệp đã được xác nhận[2].

Với nguồn tiếng Việt xen mã hàng và thuật ngữ ngoại ngữ, bộ thử cần có đúng kiểu dữ liệu đó. Không chỉ chọn trang in rõ để đại diện bản chụp nghiêng, mờ hoặc có nền. Khi ảnh không đủ đọc, giữ trạng thái chưa rõ thay vì tự sửa theo từ gần nhất. Một ký tự trong mã có thể phân biệt hai biến thể hàng; cơ chế sửa chính tả hợp lý cho đoạn mô tả có thể làm sai định danh. Mã phải có đường đối chiếu được người quản lý danh mục chấp nhận.

Nên phân biệt việc chỉnh ảnh để đọc với việc thay nguồn. Bản xoay, làm thẳng hoặc cắt vùng phục vụ xử lý cần còn liên hệ với trang gốc và thông số thao tác. Nếu người kiểm chỉ nhận ảnh đã cắt quá hẹp, họ có thể không thấy đơn vị hoặc ghi chú ngoài vùng. Không yêu cầu giữ mọi ảnh trung gian vô thời hạn; cần chính sách lưu phù hợp của đơn vị. Hồ sơ kỹ thuật tối thiểu phải cho phép tái kiểm phần nào đã được nhìn và phần nào không.

Bảng là quan hệ hai chiều, không phải một chuỗi chữ

PubTables-1M tách phát hiện bảng, nhận cấu trúc và phân tích chức năng ô. Nghiên cứu cho thấy việc chia ô hoặc gán tiêu đề không thống nhất làm dữ liệu nhãn mơ hồ; cách chuẩn hóa của nó dựa trên các giả định trong tập bài báo khoa học. Đây là bài học về việc định nghĩa hàng cột và nhãn đúng, không phải bằng chứng công cụ sẽ đọc mọi báo giá Việt Nam. Tác giả cũng ghi chuẩn hóa không bảo đảm toàn bộ nhãn hết lỗi[3].

GriTS phân biệt cấu trúc ô, nội dung ô và vị trí ô trên trang trong một khung đánh giá bảng. Các mặt này có liên hệ nhưng không thay thế nhau: khung hàng cột đúng chưa xác nhận ký tự trong ô đúng; nhận đúng chữ chưa chứng minh nó thuộc đúng dòng. Bài dùng sự phân biệt ấy để xây phép kiểm nội bộ, không tính chỉ số GriTS hoặc sao chép bảng kết quả. Các nghiên cứu của nhóm Microsoft vẫn cần được đọc theo phạm vi dữ liệu và phương pháp đã nêu[4].

Trong báo giá giả định, cần gắn mỗi giá trị với mã hàng, tiêu đề cột, đơn vị và điều kiện kèm. Một ô gộp có thể áp dụng cho nhiều dòng; một ô trống có thể cần hỏi lại và chưa được tự đổi thành không. Dấu lặp hoặc dấu nối cũng không có nghĩa chung cho mọi nhà cung cấp. Người nghiệp vụ cần xác nhận quy ước của nguồn. Trợ lý không nên tự kéo giá trị từ dòng trên xuống chỉ vì định dạng nhìn có vẻ tương tự.

Giữ vị trí nguồn để người kiểm mở đúng ô và phần xung quanh

DoclingDocument được tài liệu dự án mô tả là biểu diễn có văn bản, bảng, hình, cấu trúc phân cấp và thông tin nguồn gốc; thông tin bố cục như hộp vị trí có thể có khi sẵn. Biểu diễn như vậy giúp nối kết quả về vùng tài liệu, nhưng không tự bảo đảm kết quả chuyển đổi đúng hoặc mọi phần tử đều có tọa độ. Nhóm tích hợp cần kiểm các trường thật sự có trong kết quả, thay vì suy từ khả năng định dạng sang chất lượng của từng tệp[5].

Đối với một ô cần xác nhận, chỉ ghi số trang thường chưa đủ. Người kiểm cần tìm đúng hàng, cột, tiêu đề cùng chú thích gần đó. Phiếu có thể giữ mã vùng và liên kết nội bộ tới bản nguồn được phân quyền, kèm bản nhận dạng để đối chiếu. Nếu không tạo được vùng mở lại chính xác, trạng thái đó phải hiện trong hồ sơ. Đừng tạo một tọa độ ước chừng rồi trình bày như vị trí đã được hệ thống xác định chắc chắn.

Nguồn gốc cần đi qua cả bước chia đoạn và truy hồi. Khi một hàng bảng thành đoạn riêng, đoạn ấy vẫn phải giữ đối tượng, cột và đơn vị đủ để hiểu. Nếu văn bản được viết lại cho dễ tìm, phân biệt phần diễn giải với ký tự trích từ nguồn. Một câu “đơn giá của mặt hàng” do mô hình thêm không phải bằng chứng nguồn đã ghi cùng quan hệ ấy. Khi đối chiếu, người kiểm phải thấy dữ liệu gốc và giải thích được phép biến đổi.

Điểm chất lượng hỗ trợ chọn chỗ xem, chưa xác nhận bảng đúng

Trang Confidence scores của Docling mô tả thang đánh giá cho việc chuyển đổi, khuyến nghị chú ý mức chất lượng tổng hợp và lưu ý cách tính số có thể thay đổi. Trong bản tài liệu được đọc, mục điểm chất lượng bảng được ghi chưa triển khai. Do đó không thể mặc định một nhãn chuyển đổi tốt đã kiểm được mọi quan hệ ô. Bài chỉ nêu trạng thái tài liệu ở ngày đọc, không đo phần mềm thực tế hoặc suy rằng mọi công cụ OCR đều có giới hạn giống nhau[6].

Nếu công cụ cung cấp điểm ở cấp trang, vùng hoặc ký tự, đội dự án phải biết điểm nói về thành phần nào trước khi đặt quy tắc chuyển người. Một điểm thấp có thể giúp ưu tiên xem, nhưng điểm cao vẫn cần thử đối với mã hàng, đơn vị và chú thích. Cũng cần phân biệt công cụ không tính điểm với điểm bằng không. Thiếu giá trị đo là trạng thái chưa có thông tin, không nên tự trở thành chứng cứ tài liệu rất kém hoặc hoàn toàn đúng.

Người mua hàng có thể xác định các trường cần kiểm bất kể điểm: đối tượng đặt mua, giá trị ảnh hưởng so sánh, đơn vị và điều kiện quan trọng. Các trường khác có thể dùng cách lấy mẫu theo phạm vi đã được duyệt. Đây là quyết định nghiệp vụ dựa trên hậu quả và công kiểm, không phải một ngưỡng do bài tự đặt. Khi dùng thực tế, cần xem cả lỗi bị lọt ở nhóm điểm cao để đánh giá liệu tín hiệu ưu tiên có còn hữu ích hay không.

Phép chuyển đổi nhiều bước phải giữ được chỗ phát sinh lỗi

Báo cáo Docling v1 năm 2024 mô tả đường xử lý gồm bộ đọc PDF lấy chữ và tọa độ, ảnh trang cho các bước tiếp, mô hình bố cục và bảng, rồi lắp kết quả thành đối tượng tài liệu. OCR là một phần có thể lựa chọn trong phạm vi báo cáo đó. Bài dùng mô tả lịch sử của IBM Research để phân biệt các bước, không xem nó là cấu hình hiện tại của mọi bản Docling hoặc công bố tốc độ, độ chính xác đang dùng ở doanh nghiệp[7].

Hồ sơ chuyển đổi nên giữ bản nguồn, cấu hình các bước và những lỗi khiến trang chưa hoàn thành. Nếu một trang không xử lý được, hệ thống phải đánh dấu thiếu thay vì nhập các trang còn lại rồi gọi toàn hồ sơ đã sẵn. Tương tự, một bảng dựng được hình thức nhưng thiếu chú thích cần trạng thái riêng. Cách ghi này giúp người phụ trách dữ liệu biết cần nhận lại tệp, sửa cách chuyển đổi hay hỏi người cung cấp, thay vì chỉ yêu cầu mô hình trả lời “cẩn thận hơn”.

Không nhất thiết giữ mọi đầu ra trung gian để sử dụng lâu dài, nhưng phép thử cần đủ thông tin chẩn đoán. Khi đổi bộ đọc, mô hình bảng hoặc cách chia đoạn, chạy lại những ca từng có lỗi và ca từng đúng. Một cấu hình mới nhận đẹp phần mô tả có thể làm mất một tiêu đề cột trước đây được giữ. Cần ghi sự đánh đổi theo loại lỗi, không chỉ kiểm một tệp mới có kết quả trông tốt rồi thay cho toàn bộ đường xử lý.

Đánh giá nhận dạng, cấu trúc và trả lời bằng các phép thử riêng

OmniDocBench xây đánh giá nhiều loại trang với chú thích về vùng, nội dung, thứ tự đọc và quan hệ với tiêu đề hoặc phần liên kết. Nghiên cứu nêu hạn chế của việc chỉ so văn bản cả trang mà thiếu xử lý khác biệt nội dung. Bài dùng phương pháp này để chọn các mặt cần kiểm; không xem bộ trang của tác giả đại diện báo giá của phòng mua hàng hoặc lấy thứ hạng công cụ trong nghiên cứu làm lựa chọn mặc định cho hệ thống hiện tại[8].

OCRBench v2 phân biệt nhận chữ, xác định vị trí, trích quan hệ, phân tích bảng và các nhiệm vụ tính toán hoặc suy luận. Bản được đọc tập trung tình huống một ảnh với nội dung tiếng Anh và tiếng Trung, không trực tiếp đánh giá hồ sơ báo giá nhiều trang tiếng Việt. Vì vậy, kết quả tốt trên một nhiệm vụ nhận chữ chưa đủ cho việc nối điều kiện qua trang. Bộ thử nội bộ cần giữ đúng các bước công việc thực sự giao cho trợ lý[9].

Một thiết kế chẩn đoán đề xuất so hai đường đầu vào: văn bản và quan hệ ô đã được người kiểm xác nhận, với đầu ra từ đường OCR đang thử. Giữ câu hỏi, nguồn, cách truy hồi và quy tắc chấm nhất quán; ghi những yếu tố chưa khóa và các lượt biến thiên. Nếu kết quả khác, dùng dấu vết từng bước để điều tra, không vội coi đó là chứng minh nhân quả duy nhất. Cả đường dùng dữ liệu chuẩn vẫn cần được chấm đúng nghĩa câu trả lời.

Phiếu ô bảng xác nhận điều gì đã đọc và điều gì còn chờ

Phiếu đề xuất có sáu phần: bản nguồn; vị trí vùng; nội dung nhận được; quan hệ hàng cột và đơn vị; điều kiện kèm; trạng thái người kiểm. Bản nguồn định danh tệp và bản báo giá đã nhận. Vị trí chỉ được vùng để đối chiếu. Nội dung giữ ký tự đọc được và dấu hiệu chưa rõ. Quan hệ ghi giá trị thuộc mặt hàng và cột nào. Điều kiện giữ chú thích hoặc phần chuyển trang. Trạng thái nêu chưa kiểm, đã đối chiếu hoặc cần hỏi lại, với người nhận phần chờ.

Nếu nhân viên sửa ký tự hoặc quan hệ ô, giữ dấu vết bản nhận ban đầu và nội dung được xác nhận theo quyền. Không cần đưa tên cá nhân hay toàn bộ báo giá vào mọi báo cáo chất lượng; có thể dùng mã nội bộ và phần dữ liệu cần thiết. Khi nguồn mờ đến mức người kiểm không xác định được, phiếu ghi cần nguồn rõ hơn. Thông tin “chưa đọc được đơn vị” hữu ích hơn việc mô hình tự điền đơn vị quen dùng để mọi trường đều có nội dung.

Ba lớp kiểm từ phiếu gồm ký tự, quan hệ và kết luận. Lớp ký tự hỏi mã hoặc số có khớp ảnh không. Lớp quan hệ hỏi nó thuộc đúng dòng, cột, đơn vị và chú thích không. Lớp kết luận hỏi bản nháp có giữ điều kiện và phạm vi nguồn không. Một lỗi có thể xuất hiện ở nhiều lớp. Ghi riêng giúp chọn hành động sửa: nhận lại ảnh, sửa cách dựng bảng, bổ sung ngữ cảnh hoặc sửa cách soạn thay vì mặc định mọi lỗi là suy luận của mô hình.

Ca giả định: số đúng nhưng gắn nhầm dòng hàng

Giả sử báo giá có hai mặt hàng tên gần nhau và một ô đơn vị gộp áp dụng cho nhiều dòng. Bản scan có chú thích ở dưới bảng, còn phần bổ sung điều kiện nằm ở trang sau. Đường nhận dạng đọc được từng chuỗi ký tự nhưng dịch một giá trị sang hàng kế bên. Tình huống này được dựng để thiết kế bộ thử, chưa lấy từ một nhà cung cấp thật. Nếu chỉ chấm độ giống văn bản cả trang, nhóm có thể chưa nhìn rõ lỗi đổi quan hệ quan trọng.

Người nghiệp vụ tạo phiếu cho các ô ảnh hưởng bản nháp so sánh, xác nhận vùng nguồn và quan hệ đúng. Nhân viên xem cả tiêu đề cột, ô gộp cùng chú thích trước khi sửa. Nếu chưa đọc được phần bổ sung ở trang sau, bản nháp giữ mục cần xác minh thay vì coi các mặt hàng có cùng điều kiện. Trợ lý chưa tự kết luận một nhà cung cấp phù hợp hơn từ bảng chưa đủ. Không có quyết định đặt hàng hoặc duyệt chi nào được thực hiện trong ví dụ.

Bộ thử tiếp có trang in rõ cùng nội dung để xem lỗi đến từ chất lượng ảnh hay cách dựng bảng, và một trang đổi bố cục nhưng giữ quan hệ đã xác nhận. Mỗi ca cần lời giải được người hiểu nguồn kiểm trước. Nếu đổi một ô làm điều kiện thật sự khác đi, nhãn cũng phải đổi; không buộc hệ thống trả như cũ để được coi là ổn định. Bài chưa có số lần chạy hoặc kết quả để khẳng định cách thử này đã cải thiện một công cụ cụ thể.

Nhập kho có trạng thái và bàn giao phần cần xác minh

Không nên chỉ có hai trạng thái “đã tải lên” và “đã dùng được”. Kho thử có thể cần ghi trang chưa đọc, bảng chờ đối chiếu hoặc phần đã kiểm đủ cho một mục đích hẹp. Truy hồi cần biết trạng thái nào được phép dùng để lập nháp và trạng thái nào chỉ đưa tới người kiểm nguồn. Một đoạn chữ lấy từ bảng chưa xác nhận không nên tự hiện như dữ liệu đã được nghiệp vụ duyệt. Nhãn trạng thái phải đi cùng đoạn khi chia, tìm và trích dẫn.

Cần tính công người kiểm và thời gian nhận lại nguồn trong phương án vận hành. Đội nhỏ có thể bắt đầu với một mẫu báo giá quen thuộc, giữ nhân viên đối chiếu các trường quan trọng. Nhiều nhà cung cấp và nhiều bố cục đòi hỏi bộ thử cùng người quản lý nguồn rộng hơn. Bài không đặt ngưỡng số trang để tự động hóa hoặc hứa tiết kiệm thời gian. Một đường xử lý chỉ chuyển công đọc sang sửa nhiều ô có thể chưa giải quyết mục tiêu công việc đã giao.

Điểm dừng đề xuất gồm không xác định được bản nguồn, mất quan hệ giữa ô và mặt hàng, chưa đọc rõ trường quan trọng hoặc không mở được vị trí để kiểm. Khi đó giữ đường nhập thủ công hoặc yêu cầu nguồn rõ hơn theo quy trình đơn vị. Sau mỗi thay đổi đường OCR, thử lại các ca ấy và theo dõi phần còn chờ. Chỉ đề nghị dùng cho nhóm tài liệu đã có bằng chứng phù hợp, giữ người quyết định mua hàng cùng quyền xử lý dữ liệu của họ.

Hỏi đáp về bản scan và dữ liệu bảng

Sao chép được chữ trong PDF thì có thể bỏ kiểm OCR không? Chưa thể kết luận. Chữ có thể được tạo từ nguồn số hoặc từ lớp nhận dạng đặt sau ảnh scan, và lớp ấy có thể sai. Cần phân loại trang, xem các trường quan trọng trên ảnh và kiểm quan hệ bảng. Một thư viện lấy được văn bản không tự xác nhận nguồn đã đúng; nó cũng không thay người nghiệp vụ giải thích đơn vị hoặc điều kiện đang áp dụng trong báo giá.

Công cụ báo chất lượng cao thì có dùng thẳng số liệu không? Không nên coi nhãn đó là xác nhận mọi ô. Cần biết điểm được tính cho phần nào và đã được kiểm với loại tài liệu đang dùng chưa. Mã, đơn vị và điều kiện có thể cần đối chiếu riêng theo hậu quả. Nếu công cụ chưa có điểm cho cấu trúc bảng, không tự điền một mức tin cậy giả. Người nhận cần thấy trường nào đã được xác nhận và trường nào vẫn còn chờ.

Hai công cụ OCR đọc giống nhau có đủ chứng minh đúng không? Chưa đủ, chúng có thể cùng gặp một ảnh mờ hoặc cùng dựng sai quan hệ. Sự đồng thuận có thể giúp chọn phần cần xem, nhưng phải đối chiếu vùng nguồn và các tiêu đề liên quan trước khi dùng vào quyết định. Với ký tự người kiểm cũng không đọc được, cần giữ trạng thái chưa rõ hoặc yêu cầu tài liệu tốt hơn. Không chọn một cách đọc chỉ vì cả hai công cụ cùng trả rất chắc chắn.

Có thể dùng mô hình tự sửa ô trống để bản so sánh đầy đủ hơn không? Chỉ nên coi phần được gợi ý là dữ liệu cần xác minh, chưa phải nội dung nguồn. Ô trống không tự có nghĩa bằng không hoặc giống dòng trên. Cần người hiểu quy ước của báo giá xác nhận, đặc biệt khi nó liên quan đơn vị hay điều kiện. Bản nháp nên giữ phần thiếu và đường hỏi lại để người mua hàng xử lý, thay vì tạo cảm giác mọi trường đã được đọc đủ.

Nguồn, phương pháp và giới hạn suy luận

Bài được biên soạn có hỗ trợ AI từ chín nguồn gốc mở đọc ngày 27/10/2026 theo phạm vi hồ sơ nguồn. Năm nghiên cứu được đọc ở các phần đã ghi, không tuyên bố tái lập benchmark; báo cáo Docling v1 lịch sử tách với tài liệu biểu diễn hiện tại. Các nguồn Microsoft, IBM Research và dự án phản ánh bên phát triển. Phiếu, phép thử, sơ đồ và báo giá là đề xuất giả định; chưa chạy OCR, đọc dữ liệu nhà cung cấp thật hoặc được chuyên gia thẩm định. Bài không duyệt mua hàng, giá, chi tiền hay kết luận pháp lý về chứng từ.