LLM-as-judge: dùng giám khảo tự động có căn cứ

Đăng ngày 27/10/2026

LLM-as-judge giúp sàng việc kiểm, chưa tự tạo căn cứ đúng

LLM-as-judge là cách dùng mô hình ngôn ngữ để đánh giá đầu ra theo câu hỏi và tiêu chí được cung cấp. Nó có thể gắn nhãn lỗi, so hai phương án hoặc đề xuất phần cần người xem. Tuy nhiên, giám khảo vẫn là một hệ thống cần được kiểm. Một lời giải thích có vẻ chặt chẽ chưa chứng minh nhãn chấm đúng; nó có thể bỏ sót ngoại lệ trong nguồn hoặc bị thuyết phục bởi bản viết dài và chắc giọng hơn.

Bài dùng ca giả định một nhóm nội dung tại Việt Nam kiểm bản tóm tắt hồ sơ dự án trước khi đưa cho người quản lý đọc. Nhóm cần giữ đúng trạng thái công việc, điều kiện áp dụng và việc còn chờ, chưa dùng mô hình để xác nhận nghĩa vụ hợp đồng hoặc phê duyệt dự án. Hai công cụ đề xuất là hợp đồng chấm có bằng chứng và bản đồ bất đồng với người kiểm. Mục tiêu là giao cho mô hình phần sàng lọc đã có căn cứ, đồng thời giữ người quyết định ở lỗi quan trọng.

Nghiên cứu MT-Bench và Chatbot Arena phân biệt chấm một đáp án, so cặp và chấm có lời giải tham chiếu; đồng thời phân tích các thiên lệch của giám khảo. Đối tượng quan trọng của nghiên cứu là mức phù hợp với sở thích người đánh giá trong bối cảnh được thử. Bài không lấy sự phù hợp đó làm bảo đảm mọi dữ kiện trong hồ sơ doanh nghiệp đều đúng. Chọn phương pháp chấm cần bắt đầu từ điều doanh nghiệp muốn xác nhận, không chỉ từ khả năng tạo một điểm số[1].

Tách đúng dữ kiện, đủ nội dung và dễ đọc thành tiêu chí riêng

Một bản tóm tắt có thể dễ đọc nhưng bỏ điều kiện quan trọng; một bản khác giữ đúng dữ kiện nhưng diễn đạt rối. Nếu gộp tất cả thành “chất lượng tổng thể”, giám khảo có thể đổi cách ưu tiên giữa các lượt. Với hồ sơ dự án, người nghiệp vụ xác định nội dung nào bắt buộc, sai lệch nào phải chặn và phần trình bày nào có thể sửa sau. Người chấm cần biết họ đang kiểm tính phù hợp nguồn, độ đủ theo mục tiêu hay văn phong dành cho người đọc.

SummEval đánh giá bản tóm tắt theo các chiều như mạch lạc, nhất quán với nguồn, chất lượng câu và lựa chọn thông tin quan trọng. Nghiên cứu có ngữ cảnh tóm tắt tin tức, không cung cấp sẵn tiêu chí nghiệm thu hồ sơ dự án. Điểm có thể vận dụng là không dùng một ưu điểm để xóa một lỗi thuộc chiều khác. Một câu viết trôi chảy vẫn có thể sai nguồn; một chi tiết đúng nhưng không cần cho quyết định hiện tại có thể làm bản tóm tắt khó dùng hơn[2].

G-Eval mô tả việc cung cấp nhiệm vụ, tiêu chí và các bước đánh giá, sau đó tạo điểm theo cơ chế nghiên cứu cụ thể. Bài dùng cấu trúc minh bạch nhiệm vụ và tiêu chí, không coi một lời nhắc chấm điểm bất kỳ là đã tái hiện phương pháp đó. Cũng không suy rằng yêu cầu giải thích dài sẽ tự nâng độ đúng. Tiêu chí và cách tính điểm cần được kiểm trên mẫu có người xác nhận trước khi dùng chúng để sàng kết quả hàng loạt[3].

Hợp đồng chấm yêu cầu căn cứ cho từng kết luận quan trọng

Hợp đồng chấm đề xuất có sáu phần: mục tiêu sử dụng, nguồn được xem, tiêu chí riêng, lỗi phải chặn, bằng chứng cần trả và quyền của giám khảo. Nguồn có thể gồm bản hồ sơ cùng quy tắc tóm tắt đã duyệt. Bằng chứng cần chỉ được câu nào trong bản tóm tắt có vấn đề và phần nguồn liên quan. Quyền có thể chỉ là đánh dấu để người kiểm xem, chưa cho tự xóa nội dung hoặc xác nhận bản đủ điều kiện phát hành.

Với nhận định “hạng mục đã hoàn tất”, giám khảo cần đối chiếu chủ thể, trạng thái, mốc thời gian và điều kiện đi kèm. Một dòng nguồn nói “đã hoàn tất kiểm tra sơ bộ” chưa tự hỗ trợ kết luận toàn bộ hạng mục đã hoàn tất. Nếu không tìm được căn cứ, nhãn phù hợp có thể là chưa đủ bằng chứng, chưa nhất thiết là thông tin chắc chắn sai. Hợp đồng cần giữ hai trạng thái đó riêng, vì cách sửa và người cần hỏi tiếp có thể khác nhau.

Không nên bắt mô hình điền bằng chứng bằng một đoạn nguyên văn dài cho mọi nhận xét. Cần vị trí đủ để người kiểm mở đúng phần và một mô tả ngắn điều đang mâu thuẫn hoặc bị bỏ. Đoạn trích do giám khảo tạo cũng phải được kiểm với nguồn; nó không tự trở thành chứng cứ chỉ vì nằm trong trường mang tên căn cứ. Công cụ kiểm hình thức có thể xác nhận trường có nội dung, còn việc nội dung đó hỗ trợ nhãn cần phép đối chiếu phù hợp.

Đổi thứ tự để kiểm thiên lệch, giữ cả kết quả đảo chiều

Nghiên cứu Large Language Models are not Fair Evaluators cho thấy thứ tự trình bày đáp án có thể đổi kết quả so sánh trong điều kiện được thử, và nghiên cứu cách cân bằng vị trí cùng sự tham gia của người chấm. Bài không coi biện pháp đó là loại bỏ mọi thiên lệch. Với thử nội bộ, có thể đổi thứ tự hai bản trong khi giữ nguyên nội dung để tìm ca giám khảo không ổn định. Nếu lựa chọn đổi, giữ cả hai nhãn làm bằng chứng thay vì chỉ lấy lượt thuận lợi[4].

Ẩn tên hệ thống tạo bản và dùng mã trung tính giúp loại bớt dấu hiệu không phục vụ tiêu chí, nhưng chưa chứng minh giám khảo không còn nhận ra văn phong. Cũng cần ca một bản được viết dài thêm mà không thêm ý đúng hoặc điều kiện mới. Nếu bản đó tự nhiên được ưu tiên hơn, người kiểm xem tiêu chí có thưởng độ dài hay mô hình đang bỏ qua lỗi nội dung. Thử này cần giữ nghĩa tương đương; viết lại làm mất hoặc thêm dữ kiện sẽ biến nó thành ca khác.

So cặp cũng chỉ cho biết phương án nào được ưu tiên theo điều kiện chấm, chưa xác nhận phương án thắng đạt mức chấp nhận. Hai bản đều có thể bỏ một ngoại lệ quan trọng. Vì vậy, quyết định phát hành cần các điều kiện tối thiểu riêng bên cạnh thứ hạng. Không chuyển kết quả “tốt hơn bản kia” thành “đủ đúng để dùng”, nhất là khi cả hai đầu ra cùng được tạo từ một phần nguồn thiếu hoặc cùng nhầm trạng thái công việc.

Không mặc định thích bản của mình luôn là thiên lệch sai

Nghiên cứu năm 2024 về tự nhận diện và ưu tiên đầu ra của chính mô hình đặt vấn đề giám khảo có thể đánh giá thuận lợi hơn cho văn bản của mình so với cách người chấm đánh giá. Đây là lý do cần kiểm quan hệ giữa bên tạo và bên chấm, thay vì coi một mô hình tự đọc lại bản của nó là kiểm độc lập hoàn toàn. Bài chỉ dùng phạm vi vấn đề và mô tả nghiên cứu, không gán một mức thiên lệch chung cho mọi mô hình hiện tại[5].

Một nghiên cứu khác ở phiên bản tháng 12/2025 dùng nhiệm vụ có đáp án kiểm được để tách ưu tiên vì chất lượng thật với ưu tiên có hại. Kết quả trong phạm vi đó cho thấy thích đầu ra của mình không phải lúc nào cũng sai, nhưng lỗi ưu tiên vẫn có thể tồn tại khi mô hình tạo đáp án sai. Vì vậy, nên đối chiếu nhãn với căn cứ thay vì chỉ tìm mô hình khác hãng. Khác tên giám khảo chưa tự chứng minh hai bên có lỗi độc lập[6].

Đối với nhóm nội dung, có thể dùng một bộ bản tóm tắt được người có chuyên môn xác nhận, gồm bản đúng, bản sai tinh tế và bản chỉ cần sửa câu. Các bản được trộn dấu hiệu tác giả và chấm theo cùng quy tắc. Người kiểm đọc lỗi theo nội dung và hậu quả, không kết luận tự ưu tiên chỉ từ một lượt mô hình chọn bản của nó. Cũng không coi đồng thuận giữa nhiều giám khảo là bằng chứng cuối nếu tất cả đều thiếu cùng tài liệu ngoại lệ.

Chấm đúng yêu cầu khác với thích giọng văn thuyết phục

LLMBar được thiết kế để kiểm khả năng giám khảo nhận ra đầu ra làm đúng chỉ dẫn, gồm cả cặp mà bản lệch yêu cầu có phẩm chất bề ngoài hấp dẫn. Bài rút ra nhu cầu kiểm tiêu chí theo nhiệm vụ, không lấy điểm trong bộ nghiên cứu để xếp hạng công cụ hiện tại. Một bản tóm tắt được yêu cầu giữ việc chưa hoàn thành cần làm đúng điều đó, kể cả khi một bản khác nghe tự tin, gọn và mang giọng kết luận hơn[7].

Ca nội bộ đề xuất có một bản đổi “đề nghị hoàn tất” thành “đã hoàn tất”, một bản bỏ người chịu trách nhiệm và một bản gộp hai mốc công việc thành cùng thời điểm. Các câu có thể đều đúng ngữ pháp. Giám khảo cần phát hiện thay đổi nghĩa hoặc thiếu nội dung theo mục tiêu, thay vì thưởng bản có vẻ chuyên nghiệp. Các ca do biên tập tự dựng phải có lời giải được người nghiệp vụ kiểm, chưa được kể như lỗi đã xảy ra ở khách hàng thật.

Một số quy tắc có thể kiểm bằng chương trình, như có mã hồ sơ đúng hoặc độ dài nằm trong phạm vi. Dùng kiểm đó để giảm phần việc của giám khảo, nhưng không suy rằng đủ trường hoặc khớp mã là đúng toàn bộ nghĩa. Cần giữ kết quả theo loại kiểm để tìm nguyên nhân thất bại. Mô hình có thể giúp rà phần ngữ nghĩa cần đối chiếu, còn người chấp nhận giữ trách nhiệm về những nhận định ảnh hưởng quyết định trong phạm vi được giao.

Bản được chấm là dữ liệu, không phải nơi đặt quy tắc chấm

JudgeDeceiver nghiên cứu cách chèn chuỗi chỉ dẫn vào một đáp án ứng viên để làm lệch lựa chọn của giám khảo; phần đọc còn nêu khả năng một cách tấn công giữ tác dụng khi đổi vị trí. Bài chỉ dùng nguyên tắc bề mặt rủi ro này, không chạy tấn công hoặc chuyển tỷ lệ nghiên cứu thành nguy cơ của hệ thống cụ thể. Việc đảo thứ tự giúp kiểm một loại thiên lệch nhưng chưa bảo đảm giám khảo không nghe theo nội dung đang cần đánh giá[8].

Trong bộ thử tự dựng, có thể đưa một câu yêu cầu bỏ tiêu chí hoặc tự cho điểm tốt vào bản tóm tắt ứng viên để xem hệ thống giữ ranh giới hay không. Không cần dùng dữ liệu riêng hoặc làm thật một yêu cầu gửi thông tin ra ngoài. Tác tử chấm chỉ nên nhận công cụ cần cho việc kiểm, không có quyền phát hành hoặc sửa hồ sơ thật. Nếu nhãn chấm điều khiển thao tác về sau, cần kiểm riêng ranh giới đó, không đặt toàn bộ tin cậy vào một lời nhắc yêu cầu công bằng.

Nguồn được dùng làm căn cứ cũng cần đúng phạm vi. Nếu bản tóm tắt tự kèm một đoạn được gọi là chính sách rồi yêu cầu chấm theo đoạn ấy, giám khảo phải biết đó là dữ liệu chưa xác nhận. Bên giữ quy trình xác định nguồn nào có thẩm quyền và bản nào đang áp dụng. Một tiêu đề “hướng dẫn chính thức” nằm trong văn bản ứng viên không tự tạo quyền sửa hợp đồng chấm; cần giữ nơi đặt tiêu chí tách khỏi nơi cung cấp đầu ra cần kiểm.

Bản đồ bất đồng tìm lỗi chấp nhận nhầm và loại nhầm

Bản đồ đề xuất giữ bốn trường hợp: cả hai chấp nhận, cả hai chưa chấp nhận, mô hình chấp nhận nhưng người kiểm không chấp nhận và mô hình loại nhưng người kiểm chấp nhận. Nhãn của người kiểm cần có nguồn và quy tắc đã chốt, không chỉ là một sở thích khác. Với lỗi hậu quả lớn, nhóm đặc biệt xem ca mô hình bỏ lọt. Với công việc sàng bản nháp, ca loại nhầm cũng quan trọng vì nó tạo thêm công rà hoặc làm hệ thống bỏ đầu ra có ích.

Một tỷ lệ đồng thuận cao có thể che việc hai bên thường cùng loại những bản dễ nhận ra là sai, trong khi giám khảo vẫn bỏ lọt ngoại lệ hiếm. Vì vậy, báo cáo theo nhóm lỗi cùng số ca được chấp nhận và bị loại, không chỉ tổng số nhãn trùng nhau. Bài không đặt ngưỡng đồng thuận chung. Điều kiện dùng giám khảo phụ thuộc hậu quả của việc lọt lỗi, khả năng phát hiện sau đó và công người kiểm phải bỏ ra ở nhóm tác vụ thực tế.

NIST AIRMF1.0 đề cập đánh giá có chuyên gia không thuộc tuyến phát triển trực tiếp, ghi bộ thử và phương pháp, cùng điều kiện gần bối cảnh sử dụng. Bài vận dụng điều đó để chuẩn bị mẫu người chấm và kiểm chính giám khảo, không coi ý kiến một người là luôn đúng hoặc khung NIST là chứng nhận. Nếu người kiểm bất đồng vì nguồn mâu thuẫn, cần giải quyết căn cứ trước khi dùng ca đó để kết luận mô hình chấm sai[9].

Giữ quyền xem dữ liệu và phần không đủ căn cứ để chấm

Giám khảo cần đủ nguồn để thực hiện tiêu chí, nhưng không cần mặc nhiên đọc mọi hồ sơ của tổ chức. Nhóm dự án xác định bản tóm tắt, tài liệu hỗ trợ và quy tắc nào được đưa vào từng công cụ. Nếu việc chấm dùng một dịch vụ ngoài môi trường hiện có, phải kiểm điều kiện tài khoản và dữ liệu được gửi theo quyền thực tế. Tên gọi giám khảo nội bộ chưa chứng minh quá trình xử lý không đi qua dịch vụ bên ngoài hoặc không tạo bản lưu mới.

Nếu nguồn quá dài hoặc một phần không được cung cấp, kết quả cần giữ giới hạn quan sát. Có thể chấm văn phong trên phần đã thấy nhưng chưa xác nhận độ đủ của toàn hồ sơ. Đừng yêu cầu mô hình trả đạt hoặc không đạt cho mọi trường hợp mà không cho báo thiếu căn cứ. Trạng thái chưa thể chấm có người nhận giúp tránh trộn ca thiếu nguồn với ca nội dung sai. Hai nhóm cần cách sửa khác nhau và có ý nghĩa khác trong báo cáo chất lượng.

Các nhãn và lời giải thích của giám khảo cũng có thể chứa thông tin riêng từ tài liệu. Nhóm xác định ai được xem báo cáo, phần nào được lưu và khi nào cần giảm nội dung hiển thị. Không tự gom mọi bản tóm tắt cùng đoạn nguồn vào một tệp để chia rộng vì chúng chỉ phục vụ kiểm thử. Quyền dùng dữ liệu cho một người rà hồ sơ chưa tự cấp quyền đưa nó sang mọi người chấm hoặc công cụ theo dõi.

Ghi phiên bản giám khảo, tiêu chí và bản đầu vào

Gói đánh giá đề xuất giữ mã phiên bản giám khảo, lời hướng dẫn, tiêu chí, thang nhãn, bản nguồn, đầu ra ứng viên và cách tổng hợp. Nếu có lấy nhiều lượt hoặc đổi thứ tự, giữ quy tắc đã dùng và cả ca không trả được nhãn hợp lệ. Không loại những lượt đó ra khỏi báo cáo mà không nói rõ. Việc một bộ máy tạo được JSON đúng chỉ xác nhận một phần định dạng, chưa xác nhận nó đã đọc đủ hoặc đối chiếu đúng tiêu chí.

Khi đổi giám khảo hoặc cách chấm, điểm tuyệt đối có thể không còn cùng nghĩa. Nhóm dùng một tập đối chiếu có người xác nhận để xem loại lỗi nào được phát hiện khác đi, rồi ghi bản kết quả mới. Không sửa âm thầm thang nhãn để đường điểm nhìn liền mạch. Nếu dùng kết quả chấm để tối ưu bên tạo, cần tách phần giữ kín; nếu không, hệ thống có thể ngày càng hợp cách chấm mà chưa cải thiện nội dung người dùng cần.

Gói phát hành cần nói quyền của giám khảo đã mở đến đâu: chỉ gợi ý ca cần xem, tự loại bản nháp theo quy tắc hẹp hay tham gia một cổng do người quyết định. Mỗi mức có tiêu chí và cơ chế chuyển khi chưa rõ. Không suy từ việc nhãn khớp trên một nhóm bản tóm tắt sang quyền tự duyệt mọi hồ sơ. Phạm vi nguồn và công việc đổi là lý do kiểm lại, cùng với việc đổi mô hình hoặc hướng dẫn.

Ca nhóm nội dung kiểm bản tóm tắt có ngoại lệ

Giả sử hồ sơ dự án có phần việc đã kiểm sơ bộ, một điều kiện còn chờ và phụ lục cập nhật đầu mối. Người nghiệp vụ chuẩn bị các bản tóm tắt tự dựng: bản giữ đầy đủ, bản bỏ điều kiện, bản chọn đầu mối cũ và bản chỉ diễn đạt chưa gọn. Mục tiêu là kiểm sàng lọc trước người quản lý đọc, chưa xác nhận nghiệm thu. Giám khảo nhận đúng nguồn theo quyền và trả nhãn từng tiêu chí cùng vị trí cần xem, không được tự sửa bản gốc.

Người kiểm chấm riêng trước khi đọc nhãn của mô hình, rồi đối chiếu bản đồ bất đồng. Nhóm đảo thứ tự ở các cặp và thêm biến thể dài nhưng không thêm nghĩa. Nếu giám khảo đánh dấu bản sai trạng thái là tốt chỉ vì lời văn rõ, ca đó cần sửa tiêu chí hoặc giữ người kiểm ở nhóm tương ứng. Không chọn một lượt chấm đẹp làm kết luận; cần giữ điều kiện lặp và các kết quả khác nhau để người nhận thấy độ ổn định đã quan sát.

Đội nhỏ có thể bắt đầu với một tiêu chí hẹp và một tập có người giữ căn cứ. Đội nhiều loại hồ sơ cần người hiểu từng phạm vi, cùng đường chuyển ca chưa đủ nguồn và người phụ trách khi giám khảo đổi bản. Điểm dừng đề xuất là không thống nhất tiêu chí, không kiểm được nhãn ở nhóm lỗi quan trọng hoặc phát hiện nguồn chưa đủ quyền. Bài chưa có phép chạy, chi phí hay số đo tiết kiệm; mở quyền cần dựa trên kết quả thử được phép sau này.

Hỏi đáp về giám khảo tự động

Dùng mô hình khác với bên tạo có đủ độc lập không? Chưa đủ để kết luận. Hai hệ thống có thể cùng thiếu nguồn hoặc cùng bỏ qua điều kiện; khác tên chưa chứng minh lỗi của chúng độc lập. Cần bộ ca có căn cứ và người kiểm theo tiêu chí rõ. Mô hình khác có thể bổ sung một góc nhìn, nhưng quyết định dùng nhãn phải dựa vào loại lỗi nó phát hiện và bỏ lọt trong công việc đã thử.

Giám khảo giải thích rất chi tiết thì có đáng tin hơn không? Độ dài giải thích chưa xác nhận độ đúng. Cần kiểm nhận xét gắn với câu trong bản tóm tắt và phần nguồn thật hay không, điều kiện quan trọng có được giữ không. Một lời giải thích mạch lạc vẫn có thể dựa trên suy diễn. Nên yêu cầu bằng chứng vừa đủ để người kiểm đối chiếu, thay vì thưởng văn bản dài hoặc coi suy luận tự kể là chứng minh.

Đổi thứ tự hai bản mà nhãn vẫn giống nhau thì đã loại hết thiên lệch chưa? Chưa. Nó chỉ cung cấp bằng chứng cho phép biến đổi đã kiểm. Giám khảo còn có thể ưu tiên độ dài, bỏ lỗi nội dung hoặc nghe theo câu chỉ dẫn trong bản ứng viên. Cần ca theo nhiều họ lỗi và kiểm phần có hậu quả. Giữ cả tình huống chưa đủ căn cứ chấm để tránh ép mọi lượt vào một nhãn tưởng như rõ ràng.

Có nên cho giám khảo tự duyệt phát hành ngay khi đồng thuận cao không? Chưa nên suy như vậy. Cần xem đồng thuận ở nhóm nào, lỗi chấp nhận nhầm nào còn lọt và điều kiện nguồn có giống sử dụng thực hay không. Có thể bắt đầu bằng sàng ca để người xem, rồi kiểm phạm vi hẹp trước. Quyền phát hành là quyết định riêng có người chịu trách nhiệm; điểm trung bình không tự cấp quyền đó cho mô hình.

Nguồn, phương pháp và giới hạn suy luận

Bài được biên soạn có AI hỗ trợ từ chín nguồn gốc mở đọc ngày 27/10/2026 theo phạm vi trong hồ sơ nguồn. Nghiên cứu được giữ đúng phiên bản, nhiệm vụ và giới hạn; không dùng tỷ lệ lịch sử làm kết quả sản phẩm hiện tại. Hai khung, sơ đồ và ca nhóm nội dung là đề xuất biên tập, chưa gọi giám khảo, chạy tấn công, chấm hồ sơ riêng hoặc thử thực địa. Nội dung không xác nhận chất lượng chuyên môn, nghĩa vụ hợp đồng hay quyền phát hành của doanh nghiệp.