Tiến độ hàng đợi
Đếm theo trạng thái trong queue/state; ETA = số job còn lại × trung vị thời gian các job đã xong trên máy đó (không có ETA khi chưa job nào xong). Job chưa có trạng thái đều tính là queued, kể cả job worker sẽ từ chối hoặc bỏ qua (code hoặc data đã ghim không còn khớp) vì những job đó không để lại trạng thái; ok gồm cả job đã ingest. Cập nhật lúc 2026-10-22 05:16 UTC.
zephyrus · 35/68 đã chạy xong
queued 31 · running 2 · ok 33 · failed 2 · ETA ~4h 07m
đang chạy: e2_phobert_v2_seg_cross_ce_real_frozenemb_lr2e5 seed 2026 trên zephyrus, bắt đầu 2026-10-22 05:15 UTC (đã 1m)
đang chạy: e2_mmbert_base_cross_ce_real_frozenemb_lr1e5 seed 42 trên zephyrus, bắt đầu 2026-10-22 04:55 UTC (đã 21m)
legion · 0/14 đã chạy xong
queued 14 · running 0 · ok 0 · failed 0
Giải thích nhãn
6 intent (thứ tự ưu tiên)
Khi nhiều intent cùng khớp, intent đứng trước thắng: omi_intent_repeat > callback > relationship > nlu_fallback > negate > affirm. Ví dụ bên dưới do người viết tự đặt, không lấy từ data thật.
| Nhãn | Tên | Định nghĩa | Ví dụ (bot → khách) |
|---|---|---|---|
omi_intent_repeat | Yêu cầu nhắc lại | Khách muốn bot nhắc lại (“nói lại”, “gì cơ”, “nghe không rõ”), hoặc “alo” khi đang chờ người nghe hoặc không nghe rõ. | Bot: “Hợp đồng của anh sẽ đến hạn vào ngày mười lăm.” Khách: “Chị nói lại giúp tôi với.” |
callback | Hẹn gọi lại | Khách hay người nghe máy bảo gọi lại, hẹn gọi lại hoặc cho số khác để liên hệ. Chỉ báo bận hoặc chỉ nêu giờ mà không bảo gọi lại thì không phải callback. | Bot: “Em xin phép trao đổi vài phút được không ạ?” Khách: “Giờ anh đang bận, chiều gọi lại nhé.” |
relationship | Người thân, không phải chủ hợp đồng | Người nghe máy không phải người bot cần gặp và nói rõ mình là ai (người nhà, bạn, đồng nghiệp, “nghe máy giùm”). Chỉ báo người đó vắng mà không xưng mình là ai thì không phải relationship. | Bot: “Em muốn gặp anh Nam, anh có phải anh Nam không ạ?” Khách: “Anh là em trai, anh ấy đi vắng rồi.” |
nlu_fallback | Không hiểu / lạc đề | Câu khách không trả lời điều bot hỏi: lạc đề, câu méo do ASR, hỏi ngược, phàn nàn, nghi lừa đảo, hỏi về tiền hay thủ tục; kể cả khi mở đầu bằng “dạ / ừ” rồi nói chuyện khác, hoặc chỉ có từ đệm khi bot đang xin một thông tin cụ thể. | Bot: “Anh xác nhận giúp em thông tin hợp đồng nhé?” Khách: “Mà tháng này phải đóng bao nhiêu tiền vậy em?” |
negate | Phủ nhận | Khách phủ nhận, không đồng ý hoặc sửa điều bot nói (không phải người đó, nhầm số, chưa nhận, sai thông tin); không nhớ / không muốn cho thông tin; hỏi xác nhận để làm gì; bận hay vắng mà không bảo gọi lại. | Bot: “Thông tin hợp đồng của mình có chính xác không ạ?” Khách: “Không, sai rồi em ơi.” |
affirm | Đồng ý | Không rơi vào 5 nhãn trên và câu có từ xác nhận rõ điều bot hỏi (“đúng rồi”, “có”, “nhận rồi”, “tôi nghe đây”); “dạ / ừ” đứng một mình chỉ là affirm khi bot hỏi có/không hoặc hỏi danh tính. | Bot: “Anh là chủ hợp đồng đúng không ạ?” Khách: “Dạ đúng rồi em.” |
Ranh giới hay nhầm — quy tắc v2 (data lv2)
- Khách hỏi “để làm gì” khi đang được xác minh thông tin → negate.
- Khách hỏi về tiền hoặc thủ tục mà không có từ đồng ý hay phủ nhận → nlu_fallback.
- Khách bảo gọi lại, hẹn gọi lại hoặc cho số khác → callback; chỉ báo bận hoặc chỉ nêu giờ → negate (theo spec).
- Chỉ “ừ”, “dạ” sau lời bot thông báo (không hỏi) → affirm. Khác spec (spec gán fallback) vì train và QC đều gán affirm.
v2: Nhãn QC v2 được chọn sửa một phần từ các dòng mà model bỏ phiếu khác nhãn gốc → số test v2 thiên về model, chỉ để tham khảo, không dùng để chọn phương pháp.v2_1: nhãn train/dev sửa theo quy tắc 1 (theo guideline v2, chủ dự án chọn) và quy tắc 3 (theo spec), dev giữ đúng các dòng của v1; nhãn test giữ nguyên v1 → so trực tiếp được với baseline.
Các split
dev: tập tách từ train, dùng chọn ngưỡng và xếp STT.test_clean: QC thật, đã bỏ cặp bot + khách trùng train; bảng chính.test_reply_unseen: QC thật, câu khách chưa từng xuất hiện trong train; mức chặt nhất.test_full: toàn bộ QC, gồm cả cặp trùng train nên số liệu lạc quan; chỉ để đối chiếu.
Cách đọc cột
- Số sau ±: độ lệch chuẩn mẫu (ddof=1) giữa các seed của cùng phương pháp, tính bằng điểm phần trăm. Ví dụ 84.10 ±0.37 = trung bình 84.10 qua các seed, các seed thường lệch nhau khoảng 0.4 điểm. Đây là độ dao động do seed, không phải khoảng tin cậy trên test: với cỡ test hiện tại, chênh vài điểm vẫn có thể là nhiễu (xem bootstrap). Ô không có ± là run 1 seed hoặc baseline.
- Pre / Rec / F1: precision, recall, F1 của từng intent trên split đó.
- Macro: trung bình đều các intent; Weighted là trung bình theo số mẫu mỗi intent.
- ▲ (chữ xanh): ứng viên vượt baseline cùng bản dữ liệu nhưng chưa tốt nhất cột.
- Ô nền xanh đậm: giá trị tốt nhất cột, tính trong cùng bản dữ liệu (v1, v2 hoặc v2_1). Dòng transductive hoặc test_informed vẫn hiện nhưng không nhận ô xanh hay ▲.
- STT 0: baseline prod, ghim đầu bảng; ứng viên xếp từ 1, riêng cho từng bản dữ liệu.
Xếp hạng phương pháp
Hai bảng chính chỉ đo trên phần test QC model chưa từng thấy: clean = test_clean (bỏ cặp bot+KH trùng train), reply-unseen = test_reply_unseen (câu KH không có trong train, mức chặt nhất). Lựa chọn dựa trên dev + test. STT xếp theo dev recall@p85; ngưỡng và temperature chỉ khớp trên dev, không bao giờ chỉnh theo test. Số liệu là trung bình ± độ lệch chuẩn qua seed. Khi tỉ lệ lớp ở test khác dev, precision test có thể thấp hơn 0.85. Hàng tham chiếu (STT 0; nhãn cứng không có xác suất nên recall@p85 là recall fallback thường) luôn ghim ở đầu cả hai bảng, kể cả khi sắp xếp cột; ứng viên đánh STT từ 1. Bảng cuối trang là dev và test_full, dữ liệu liên quan train, chỉ để đối chiếu. Cột Data: v1 là nhãn gốc, v2 là nhãn train và QC đã relabel (method đuôi _lv2), v2_1 là nhãn train/dev theo spec với QC giữ nguyên v1 (đuôi _lv21); STT, baseline và ô tô đậm tính riêng trong từng bản, dùng bộ lọc Data để xem một bản. Tạo lúc 2026-10-22 05:16 UTC.
| STT | Model_Name | Backbone | Threshold | Data | Họ | Máy | Seed | n_eff | Params | Latency ms | clean Accuracy | clean Macro_Pre | clean Macro_Rec | clean Macro_F1 | clean Weighted_F1 | clean FB recall | clean FB precision | reply-unseen Accuracy | reply-unseen Macro_Pre | reply-unseen Macro_Rec | reply-unseen Macro_F1 | reply-unseen Weighted_F1 | reply-unseen FB recall | reply-unseen FB precision | clean fb→negate | clean fb→affirm | clean false fb | Trạng thái | Phân tích |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | e0_prod_sft_hard_none_qc_v16 tham chiếu · provenance: unknown | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v1 | reference | zephyrus | 1 | 1 | 2.0 B (reported) | ~1,715 ms (reported) | 93.71% | 86.69% | 90.36% | 87.68% | 93.65% | 70.41% | 83.13% | 93.55% | 86.21% | 91.91% | 88.04% | 93.55% | 78.16% | 85.00% | 17.35% | 9.18% | 0.92% | ok | – |
| 0 | e0_prod_sft_hard_none_qc_v16_lv2 tham chiếu · provenance: unknown | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v2 | reference | zephyrus | 1 | 1 | 2.0 B (reported) | ~1,715 ms (reported) | 93.58% | 83.83% | 90.99% | 85.94% | 93.57% | 70.33% | 77.11% | 93.32% | 83.21% | 92.18% | 85.74% | 93.37% | 76.83% | 78.75% | 17.58% | 8.79% | 1.24% | oktest_informed | – |
| 0 | e0_prod_sft_hard_none_qc_v16_lv21 tham chiếu · provenance: unknown | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v2_1 | reference | zephyrus | 1 | 1 | 2.0 B (reported) | ~1,715 ms (reported) | 93.71% | 86.69% | 90.36% | 87.68% | 93.65% | 70.41% | 83.13% | 93.55% | 86.21% | 91.91% | 88.04% | 93.55% | 78.16% | 85.00% | 17.35% | 9.18% | 0.92% | ok | – |
| 1 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr2e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.016 | v1 | encoder | zephyrus | 1 | 1 | 86M | 11.3 ms | 90.56% | 87.03% | 82.13% | 83.22% | 90.90% | 82.65% | 54.73% | 88.87% | 86.42% | 80.67% | 81.48% | 89.33% | 85.06% | 52.86% | 3.06% | 12.24% | 4.40% | okp85_not_met | – |
| 2 | e2_xlmr_base_cross_ce_real_frozenemb_lr4e5XLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.023 | v1 | encoder | zephyrus | 1 | 1 | 86M | 11.1 ms | 90.56% | 74.84% | 81.79% | 76.74% | 91.01% | 82.65% | 55.10% | 88.87% | 72.99% | 80.16% | 74.81% | 89.50% | 83.91% | 52.52% | 0.00% | 12.24% | 4.33% | okp85_not_met | – |
| 3 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr4e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.011 | v1 | encoder | zephyrus | 1 | 1 | 86M | 11.9 ms | 89.94% | 77.52% | 78.83% | 77.46% | 90.34% | 82.65% | 51.59% | 88.33% | 74.58% | 76.75% | 74.77% | 88.83% | 86.21% | 50.68% | 2.04% | 14.29% | 4.99% | okp85_not_met | – |
| 4 | e2_xlmr_base_cross_wcesqrt_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE trọng số căn nghịch tần suất · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.021 | v1 | encoder | zephyrus | 3 | 3 | 86M | 16.1 ms | 90.38% ±0.27 | 78.15% ±2.91 | 83.03% ±3.07 | 79.82% ±2.93 | 90.85% ±0.21 | 84.35% ±1.56 | 53.17% ±2.23 | 88.67% ±0.16 | 75.95% ±3.42 | 81.46% ±4.06 | 77.76% ±3.63 | 89.27% ±0.15 | 86.21% ±1.99 | 51.41% ±1.59 | 1.02% | 12.93% | 4.79% | okp85_not_met | – |
| 5 | e2_mmbert_base_cross_ce_real_frozenemb_lr2e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.061 | v1 | encoder | zephyrus | 3 | 3 | 111M | 24.8 ms | 90.46% ±0.59 | 81.26% ±0.48 | 87.10% ±1.88 | 83.07% ±0.88 | 91.01% ±0.49 | 85.71% ±1.02 | 50.93% ±3.28 | 88.87% ±0.78 | 79.76% ±0.65 | 86.83% ±2.27 | 81.88% ±1.08 | 89.59% ±0.64 | 88.51% ±1.15 | 49.18% ±3.42 | 1.70% | 10.88% | 5.34% | cần sửap85_not_met | – |
| 6 | e2_xlmr_base_cross_ce_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.035 | v1 | encoder | zephyrus | 3 | 3 | 86M | 10.8 ms | 90.83% ±0.09 | 79.78% ±3.45 | 82.64% ±0.70 | 80.54% ±1.81 | 91.16% ±0.06 | 82.99% ±3.58 | 56.89% ±0.58 | 89.28% ±0.19 | 77.73% ±3.56 | 81.12% ±0.72 | 78.61% ±1.91 | 89.70% ±0.15 | 84.67% ±4.04 | 55.39% ±0.58 | 2.72% | 12.24% | 4.05% | cần sửap85_not_met | high |
| 7 | e2_xlmr_base_cross_logitadjust_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE điều chỉnh logit theo prior (τ=1) · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.035 | v1 | encoder | zephyrus | 3 | 3 | 86M | 14.7 ms | 90.23% ±0.68 | 76.57% ±1.40 | 84.10% ±2.50 | 78.73% ±1.60 | 90.84% ±0.62 | 85.37% ±4.12 | 50.92% ±2.60 | 88.49% ±0.73 | 74.71% ±1.44 | 82.83% ±2.84 | 76.87% ±1.68 | 89.28% ±0.67 | 87.36% ±3.04 | 49.04% ±2.10 | 1.70% | 11.22% | 5.30% | okp85_not_met | – |
| 8 | e2_me5_base_cross_ce_real_frozenemb_lr2e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.023 | v1 | encoder | zephyrus | 1 | 1 | 86M | 11.6 ms | 90.25% | 76.27% | 79.25% | 77.21% | 90.71% | 82.65% | 53.29% | 88.56% | 73.18% | 76.78% | 74.29% | 89.17% | 83.91% | 51.05% | 4.08% | 10.20% | 4.66% | okp85_not_met | – |
| 9 | e2_me5_base_cross_ce_real_frozenemb_lr1e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.088 | v1 | encoder | zephyrus | 1 | 1 | 86M | 11.3 ms | 90.01% | 77.11% | 82.56% | 78.85% | 90.48% | 87.76% | 53.75% | 88.03% | 74.76% | 80.55% | 76.51% | 88.65% | 87.36% | 51.01% | 2.04% | 8.16% | 4.86% | okp85_not_met | – |
| 10 | e2_me5_base_cross_ce_real_frozenemb_lr4e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.028 | v1 | encoder | zephyrus | 1 | 1 | 86M | 11.6 ms | 90.81% | 83.13% | 82.94% | 82.32% | 91.17% | 85.71% | 55.63% | 89.18% | 81.15% | 81.36% | 80.33% | 89.65% | 87.36% | 53.52% | 3.06% | 10.20% | 4.40% | okp85_not_met | – |
| 11 | e2_xlmr_base_khonly_ce_real_frozenembXLM-R base · chỉ câu KH · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.076 | v1 | encoder | zephyrus | 3 | 3 | 86M | 8.5 ms | 90.38% ±0.74 | 81.00% ±1.20 | 81.57% ±2.96 | 80.52% ±2.25 | 90.70% ±0.62 | 82.99% ±3.12 | 56.10% ±4.09 | 88.69% ±0.92 | 78.14% ±2.05 | 79.83% ±3.85 | 78.01% ±3.21 | 89.12% ±0.79 | 85.44% ±3.51 | 54.13% ±3.96 | 1.02% | 15.65% | 4.22% | okp85_not_met | – |
| 12 | e2_mmbert_base_cross_ce_real_frozenemb_lr4e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.075 | v1 | encoder | zephyrus | 1 | 1 | 111M | 51.6 ms | 90.44% | 79.18% | 82.40% | 79.90% | 91.01% | 84.69% | 50.30% | 89.10% | 77.26% | 81.25% | 78.17% | 89.80% | 88.51% | 49.68% | 2.04% | 12.24% | 5.38% | okp85_not_met | – |
| 13 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr1e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.026 | v1 | encoder | zephyrus | 1 | 1 | 86M | 12.9 ms | 90.07% | 86.82% | 78.80% | 80.02% | 90.41% | 84.69% | 53.90% | 88.49% | 86.28% | 80.60% | 81.30% | 88.95% | 86.21% | 52.45% | 1.02% | 13.27% | 4.66% | okp85_not_met | – |
| 14 | e2_xlmr_base_cross_ce_real_frozenemb_lr1e5XLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.123 | v1 | encoder | zephyrus | 1 | 1 | 86M | 10.2 ms | 90.44% | 76.08% | 78.27% | 76.72% | 90.70% | 77.55% | 56.72% | 88.87% | 73.29% | 75.93% | 74.08% | 89.23% | 79.31% | 55.20% | 2.04% | 18.37% | 3.81% | okp85_not_met | – |
| 15 | e2_mmbert_base_cross_ce_real_frozenemb_lr1e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.120 | v1 | encoder | zephyrus | 2 | 2 | 111M | 23.9 ms | 90.47% ±0.22 | 76.81% ±1.58 | 82.68% ±0.80 | 78.75% ±0.68 | 90.88% ±0.23 | 80.61% ±2.89 | 55.08% ±1.01 | 89.10% ±0.43 | 75.07% ±1.14 | 81.45% ±0.82 | 77.08% ±0.41 | 89.64% ±0.43 | 83.91% ±3.25 | 53.93% ±1.57 | 2.55% | 13.78% | 4.24% | cần sửap85_not_met | – |
| 16 | e2_visobert_cross_ce_real_frozenemb_lr2e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.093 | v1 | encoder | zephyrus | 1 | 1 | 86M | 11.8 ms | 89.57% | 75.59% | 80.75% | 77.25% | 90.05% | 78.57% | 52.03% | 87.95% | 73.67% | 79.39% | 75.40% | 88.57% | 81.61% | 50.71% | 5.10% | 15.31% | 4.66% | okp85_not_met | – |
| 17 | e2_visobert_cross_ce_real_frozenemb_lr4e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.066 | v1 | encoder | zephyrus | 1 | 1 | 86M | 16.3 ms | 89.27% | 78.87% | 84.39% | 80.57% | 89.89% | 80.61% | 48.17% | 87.49% | 77.22% | 83.88% | 79.24% | 88.28% | 82.76% | 46.75% | 2.04% | 16.33% | 5.58% | okp85_not_met | – |
| 18 | e1_tfidf_svmcal_ce_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · SVM calibrated · train thật, nhãn v1 | TF-IDF | 0.123 | v1 | tfidf | zephyrus | 1 | 1 | 119,328 | 5.4 ms | 89.64% | 82.90% | 81.31% | 81.05% | 90.12% | 85.71% | 50.91% | 87.80% | 80.90% | 79.65% | 79.03% | 88.40% | 87.36% | 49.35% | 5.10% | 7.14% | 5.32% | okp85_not_met | – |
| 19 | e1_tfidf_logreg_balanced_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg cân bằng lớp · train thật, nhãn v1 | TF-IDF | 0.256 | v1 | tfidf | zephyrus | 1 | 1 | 119,328 | 3.6 ms | 87.97% | 74.52% | 84.17% | 77.30% | 88.59% | 81.63% | 46.51% | 85.57% | 72.59% | 82.91% | 75.28% | 86.39% | 82.76% | 44.17% | 5.10% | 8.16% | 6.04% | okp85_not_met | – |
| 20 | e1_tfidf_logreg_ce_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg · train thật, nhãn v1 | TF-IDF | 0.125 | v1 | tfidf | zephyrus | 1 | 1 | 119,328 | 3.6 ms | 88.34% | 78.74% | 79.88% | 78.23% | 88.99% | 84.69% | 46.63% | 86.03% | 76.31% | 78.05% | 75.89% | 86.88% | 86.21% | 44.38% | 4.08% | 8.16% | 6.24% | okp85_not_met | – |
| 21 | e2_visobert_cross_ce_real_frozenemb_lr1e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.232 | v1 | encoder | zephyrus | 1 | 1 | 86M | 11.1 ms | 89.08% | 73.85% | 79.41% | 75.71% | 89.44% | 71.43% | 52.24% | 87.34% | 71.87% | 77.75% | 73.76% | 87.83% | 72.41% | 50.40% | 8.16% | 17.35% | 4.20% | okp85_not_met | – |
| 22 | e1_tfidf_logreg_ce_synth1x_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg · train thật + synth ×1, nhãn v1 | TF-IDF | 0.234 | v1 | tfidf | zephyrus | 1 | 1 | 135,678 | 3.6 ms | 88.40% | 77.19% | 79.37% | 77.44% | 88.88% | 79.59% | 48.75% | 86.49% | 74.98% | 77.74% | 75.39% | 87.06% | 81.61% | 47.97% | 7.14% | 10.20% | 5.38% | oktest_informedp85_not_met | – |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr1e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | – | – | v1 | encoder | 0 1 lỗi | 0 | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | failed | – | |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr2e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | – | – | v1 | encoder | 0 1 lỗi | 0 | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | failed | – | |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr4e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | microsoft/mdeberta-v3-base | argmax | v1 | encoder | zephyrus | 1 | 1 | 86M | 29.1 ms | 23.81% | 3.97% | 16.67% | 6.41% | 9.16% | N/A | N/A | 26.63% | 4.44% | 16.67% | 7.01% | 11.20% | N/A | N/A | 100.00% | 0.00% | 0.00% | cần sửainfeasible | – |
| – | e2_videberta_cross_ce_real_frozenemb_lr1e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | encoder | zephyrus | 1 | 1 | 86M | 25.7 ms | 23.81% | 3.97% | 16.67% | 6.41% | 9.16% | N/A | N/A | 26.63% | 4.44% | 16.67% | 7.01% | 11.20% | N/A | N/A | 100.00% | 0.00% | 0.00% | cần sửainfeasible | – |
| – | e2_videberta_cross_ce_real_frozenemb_lr2e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | encoder | zephyrus | 1 | 1 | 86M | 26.8 ms | 23.81% | 3.97% | 16.67% | 6.41% | 9.16% | N/A | N/A | 26.63% | 4.44% | 16.67% | 7.01% | 11.20% | N/A | N/A | 100.00% | 0.00% | 0.00% | cần sửainfeasible | – |
| – | e2_videberta_cross_ce_real_frozenemb_lr4e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | encoder | zephyrus | 1 | 1 | 86M | 31.6 ms | 23.81% | 3.97% | 16.67% | 6.41% | 9.16% | N/A | N/A | 26.63% | 4.44% | 16.67% | 7.01% | 11.20% | N/A | N/A | 100.00% | 0.00% | 0.00% | cần sửainfeasible | – |
| 1 | e2_mmbert_base_cross_ce_real_frozenemb_lr2e5_lv21mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v2_1 | jhu-clsp/mmBERT-base | 0.053 | v2_1 | encoder | zephyrus | 1 | 1 | 111M | 22.4 ms | 90.68% | 83.61% | 82.07% | 82.32% | 91.04% | 76.53% | 53.57% | 89.41% | 81.90% | 81.01% | 80.72% | 89.89% | 80.46% | 52.24% | 7.14% | 14.29% | 4.27% | okp85_not_met | – |
Số sau ±: độ lệch chuẩn mẫu (ddof=1) giữa các seed của cùng phương pháp, tính bằng điểm phần trăm. Ví dụ 84.10 ±0.37 = trung bình 84.10 qua các seed, các seed thường lệch nhau khoảng 0.4 điểm. Đây là độ dao động do seed, không phải khoảng tin cậy trên test: với cỡ test hiện tại, chênh vài điểm vẫn có thể là nhiễu (xem bootstrap). Ô không có ± là run 1 seed hoặc baseline. Cột Seed là số seed n của từng hàng.
Nền xanh đậm = tốt nhất cột, tính cả baseline (cao nhất; thấp nhất với clean fb→negate, clean fb→affirm, clean false fb, latency); hoà thì tô tất cả. Chữ xanh kèm ▲ = ứng viên vượt baseline nhưng chưa tốt nhất. Params không tô.
Precision theo từng intent
Cùng thứ tự và cùng cách tính trung bình ± độ lệch chuẩn qua seed; test_clean đứng đầu.
| STT | Model_Name | Backbone | Threshold | Data | clean Affirm_Pre | clean Negate_Pre | clean Fallback_Pre | clean Callback_Pre | clean Relation_Pre | clean Repeat_Pre | reply-unseen Affirm_Pre | reply-unseen Negate_Pre | reply-unseen Fallback_Pre | reply-unseen Callback_Pre | reply-unseen Relation_Pre | reply-unseen Repeat_Pre |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | e0_prod_sft_hard_none_qc_v16 tham chiếu | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v1 | 96.56% | 89.28% | 83.13% | 94.67% | 94.03% | 62.50% | 96.38% | 90.20% | 85.00% | 94.59% | 93.94% | 57.14% |
| 0 | e0_prod_sft_hard_none_qc_v16_lv2 tham chiếu | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v2 | 96.56% | 90.27% | 77.11% | 92.00% | 97.01% | 50.00% | 96.24% | 91.04% | 78.75% | 91.89% | 98.48% | 42.86% |
| 0 | e0_prod_sft_hard_none_qc_v16_lv21 tham chiếu | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v2_1 | 96.56% | 89.28% | 83.13% | 94.67% | 94.03% | 62.50% | 96.38% | 90.20% | 85.00% | 94.59% | 93.94% | 57.14% |
| 1 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr2e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.016 | v1 | 95.40% | 92.31% | 54.73% | 94.44% | 85.29% | 100.00% | 94.51% | 91.69% | 52.86% | 94.37% | 85.07% | 100.00% |
| 2 | e2_xlmr_base_cross_ce_real_frozenemb_lr4e5XLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.023 | v1 | 95.69% | 93.97% | 55.10% | 89.33% | 87.69% | 27.27% | 94.91% | 93.85% | 52.52% | 89.19% | 87.50% | 20.00% |
| 3 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr4e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.011 | v1 | 94.75% | 93.31% | 51.59% | 95.77% | 89.71% | 40.00% | 93.78% | 92.78% | 50.68% | 95.71% | 89.55% | 25.00% |
| 4 | e2_xlmr_base_cross_wcesqrt_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE trọng số căn nghịch tần suất · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.021 | v1 | 95.95% ±0.17 | 92.63% ±0.59 | 53.17% ±2.23 | 92.43% ±3.12 | 87.13% ±2.41 | 47.62% ±17.17 | 95.16% ±0.40 | 92.05% ±0.68 | 51.41% ±1.59 | 92.32% ±3.16 | 86.95% ±2.44 | 37.78% ±20.37 |
| 5 | e2_mmbert_base_cross_ce_real_frozenemb_lr2e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.061 | v1 | 96.18% ±0.30 | 93.86% ±0.92 | 50.93% ±3.28 | 93.05% ±3.40 | 88.45% ±2.44 | 65.08% ±7.27 | 95.71% ±0.41 | 93.52% ±0.88 | 49.18% ±3.42 | 92.95% ±3.44 | 88.28% ±2.47 | 58.89% ±8.39 |
| 6 | e2_xlmr_base_cross_ce_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.035 | v1 | 95.85% ±0.40 | 91.77% ±0.67 | 56.89% ±0.58 | 92.70% ±0.70 | 87.31% ±1.68 | 54.17% ±19.09 | 95.07% ±0.38 | 91.11% ±0.74 | 55.39% ±0.58 | 92.60% ±0.71 | 87.12% ±1.70 | 45.08% ±19.55 |
| 7 | e2_xlmr_base_cross_logitadjust_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE điều chỉnh logit theo prior (τ=1) · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.035 | v1 | 96.38% ±0.37 | 92.66% ±0.62 | 50.92% ±2.60 | 93.59% ±2.06 | 90.11% ±2.19 | 35.73% ±2.15 | 95.80% ±0.38 | 92.08% ±0.69 | 49.04% ±2.10 | 93.50% ±2.09 | 89.96% ±2.23 | 27.86% ±2.58 |
| 8 | e2_me5_base_cross_ce_real_frozenemb_lr2e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.023 | v1 | 96.63% | 90.32% | 53.29% | 91.89% | 85.51% | 40.00% | 96.19% | 89.79% | 51.05% | 91.78% | 85.29% | 25.00% |
| 9 | e2_me5_base_cross_ce_real_frozenemb_lr1e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.088 | v1 | 95.93% | 91.55% | 53.75% | 89.19% | 89.39% | 42.86% | 94.82% | 91.11% | 51.01% | 89.04% | 89.23% | 33.33% |
| 10 | e2_me5_base_cross_ce_real_frozenemb_lr4e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.028 | v1 | 95.88% | 92.37% | 55.63% | 93.15% | 86.76% | 75.00% | 95.04% | 92.04% | 53.52% | 93.06% | 86.57% | 66.67% |
| 11 | e2_xlmr_base_khonly_ce_real_frozenembXLM-R base · chỉ câu KH · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.076 | v1 | 95.11% ±0.18 | 91.66% ±1.25 | 56.10% ±4.09 | 91.48% ±0.71 | 90.53% ±1.47 | 61.11% ±9.62 | 94.24% ±0.36 | 90.97% ±1.42 | 54.13% ±3.96 | 91.37% ±0.72 | 90.38% ±1.49 | 47.78% ±13.47 |
| 12 | e2_mmbert_base_cross_ce_real_frozenemb_lr4e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.075 | v1 | 96.17% | 93.37% | 50.30% | 95.65% | 89.55% | 50.00% | 95.72% | 93.18% | 49.68% | 95.59% | 89.39% | 40.00% |
| 13 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr1e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.026 | v1 | 95.01% | 92.15% | 53.90% | 91.78% | 88.06% | 100.00% | 94.10% | 91.56% | 52.45% | 91.67% | 87.88% | 100.00% |
| 14 | e2_xlmr_base_cross_ce_real_frozenemb_lr1e5XLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.123 | v1 | 94.69% | 92.78% | 56.72% | 88.61% | 90.32% | 33.33% | 93.68% | 92.24% | 55.20% | 88.46% | 90.16% | 20.00% |
| 15 | e2_mmbert_base_cross_ce_real_frozenemb_lr1e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.120 | v1 | 95.81% ±0.05 | 91.40% ±0.84 | 55.08% ±1.01 | 95.75% ±1.96 | 86.36% ±4.29 | 36.43% ±9.09 | 95.35% ±0.09 | 90.98% ±0.94 | 53.93% ±1.57 | 95.69% ±1.99 | 86.72% ±3.55 | 27.78% ±7.86 |
| 16 | e2_visobert_cross_ce_real_frozenemb_lr2e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.093 | v1 | 95.63% | 90.14% | 52.03% | 94.20% | 84.06% | 37.50% | 94.96% | 89.85% | 50.71% | 94.12% | 83.82% | 28.57% |
| 17 | e2_visobert_cross_ce_real_frozenemb_lr4e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.066 | v1 | 95.51% | 91.55% | 48.17% | 94.29% | 86.57% | 57.14% | 94.65% | 91.14% | 46.75% | 94.20% | 86.57% | 50.00% |
| 18 | e1_tfidf_svmcal_ce_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · SVM calibrated · train thật, nhãn v1 | TF-IDF | 0.123 | v1 | 95.37% | 91.09% | 50.91% | 91.67% | 93.33% | 75.00% | 94.34% | 90.29% | 49.35% | 91.55% | 93.22% | 66.67% |
| 19 | e1_tfidf_logreg_balanced_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg cân bằng lớp · train thật, nhãn v1 | TF-IDF | 0.256 | v1 | 94.66% | 91.82% | 46.51% | 87.84% | 86.30% | 40.00% | 93.35% | 91.07% | 44.17% | 87.67% | 85.92% | 33.33% |
| 20 | e1_tfidf_logreg_ce_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg · train thật, nhãn v1 | TF-IDF | 0.125 | v1 | 95.14% | 90.53% | 46.63% | 91.43% | 88.71% | 60.00% | 94.01% | 89.63% | 44.38% | 91.30% | 88.52% | 50.00% |
| 21 | e2_visobert_cross_ce_real_frozenemb_lr1e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.232 | v1 | 94.77% | 89.75% | 52.24% | 89.19% | 83.82% | 33.33% | 93.79% | 89.44% | 50.40% | 89.04% | 83.58% | 25.00% |
| 22 | e1_tfidf_logreg_ce_synth1x_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg · train thật + synth ×1, nhãn v1 | TF-IDF | 0.234 | v1 | 94.39% | 89.77% | 48.75% | 91.55% | 88.71% | 50.00% | 93.16% | 88.78% | 47.97% | 91.43% | 88.52% | 40.00% |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr1e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | – | – | v1 | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr2e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | – | – | v1 | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr4e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | microsoft/mdeberta-v3-base | argmax | v1 | N/A | 23.81% | N/A | N/A | N/A | N/A | N/A | 26.63% | N/A | N/A | N/A | N/A |
| – | e2_videberta_cross_ce_real_frozenemb_lr1e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | N/A | 23.81% | N/A | N/A | N/A | N/A | N/A | 26.63% | N/A | N/A | N/A | N/A |
| – | e2_videberta_cross_ce_real_frozenemb_lr2e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | N/A | 23.81% | N/A | N/A | N/A | N/A | N/A | 26.63% | N/A | N/A | N/A | N/A |
| – | e2_videberta_cross_ce_real_frozenemb_lr4e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | N/A | 23.81% | N/A | N/A | N/A | N/A | N/A | 26.63% | N/A | N/A | N/A | N/A |
| 1 | e2_mmbert_base_cross_ce_real_frozenemb_lr2e5_lv21mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v2_1 | jhu-clsp/mmBERT-base | 0.053 | v2_1 | 95.88% | 90.19% | 53.57% | 95.59% | 91.43% | 75.00% | 95.45% | 90.21% | 52.24% | 95.52% | 91.30% | 66.67% |
Recall theo từng intent
| STT | Model_Name | Backbone | Threshold | Data | clean Affirm_Rec | clean Negate_Rec | clean Fallback_Rec | clean Callback_Rec | clean Relation_Rec | clean Repeat_Rec | reply-unseen Affirm_Rec | reply-unseen Negate_Rec | reply-unseen Fallback_Rec | reply-unseen Callback_Rec | reply-unseen Relation_Rec | reply-unseen Repeat_Rec |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | e0_prod_sft_hard_none_qc_v16 tham chiếu | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v1 | 96.75% | 92.75% | 70.41% | 95.95% | 86.30% | 100.00% | 95.98% | 92.80% | 78.16% | 97.22% | 87.32% | 100.00% |
| 0 | e0_prod_sft_hard_none_qc_v16_lv2 tham chiếu | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v2 | 96.56% | 91.41% | 70.33% | 98.57% | 89.04% | 100.00% | 95.84% | 91.55% | 76.83% | 98.55% | 90.28% | 100.00% |
| 0 | e0_prod_sft_hard_none_qc_v16_lv21 tham chiếu | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v2_1 | 96.75% | 92.75% | 70.41% | 95.95% | 86.30% | 100.00% | 95.98% | 92.80% | 78.16% | 97.22% | 87.32% | 100.00% |
| 1 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr2e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.016 | v1 | 94.82% | 83.94% | 82.65% | 91.89% | 79.45% | 60.00% | 92.94% | 82.71% | 85.06% | 93.06% | 80.28% | 50.00% |
| 2 | e2_xlmr_base_cross_ce_real_frozenemb_lr4e5XLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.023 | v1 | 94.72% | 84.72% | 82.65% | 90.54% | 78.08% | 60.00% | 92.94% | 83.57% | 83.91% | 91.67% | 78.87% | 50.00% |
| 3 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr4e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.011 | v1 | 95.33% | 79.53% | 82.65% | 91.89% | 83.56% | 40.00% | 93.91% | 77.81% | 86.21% | 93.06% | 84.51% | 25.00% |
| 4 | e2_xlmr_base_cross_wcesqrt_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE trọng số căn nghịch tần suất · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.021 | v1 | 93.81% ±0.10 | 84.54% ±1.43 | 84.35% ±1.56 | 92.34% ±0.78 | 83.11% ±2.09 | 60.00% ±20.00 | 91.74% ±0.21 | 83.29% ±1.26 | 86.21% ±1.99 | 93.52% ±0.80 | 84.04% ±2.15 | 50.00% ±25.00 |
| 5 | e2_mmbert_base_cross_ce_real_frozenemb_lr2e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.061 | v1 | 94.48% ±0.16 | 82.99% ±2.35 | 85.71% ±1.02 | 89.19% ±1.35 | 83.56% ±4.94 | 86.67% ±11.55 | 92.71% ±0.29 | 81.65% ±2.61 | 88.51% ±1.15 | 90.28% ±1.39 | 84.51% ±5.08 | 83.33% ±14.43 |
| 6 | e2_xlmr_base_cross_ce_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.035 | v1 | 94.45% ±0.12 | 85.66% ±1.50 | 82.99% ±3.58 | 91.44% ±0.78 | 81.28% ±2.85 | 60.00% ±0.00 | 92.66% ±0.24 | 84.63% ±1.66 | 84.67% ±4.04 | 92.59% ±0.80 | 82.16% ±2.93 | 50.00% ±0.00 |
| 7 | e2_xlmr_base_cross_logitadjust_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE điều chỉnh logit theo prior (τ=1) · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.035 | v1 | 93.74% ±0.61 | 83.85% ±0.91 | 85.37% ±4.12 | 91.89% ±1.35 | 83.11% ±2.09 | 66.67% ±11.55 | 91.60% ±0.83 | 82.61% ±1.01 | 87.36% ±3.04 | 93.06% ±1.39 | 84.04% ±2.15 | 58.33% ±14.43 |
| 8 | e2_me5_base_cross_ce_real_frozenemb_lr2e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.023 | v1 | 93.10% | 87.05% | 82.65% | 91.89% | 80.82% | 40.00% | 90.86% | 86.17% | 83.91% | 93.06% | 81.69% | 25.00% |
| 9 | e2_me5_base_cross_ce_real_frozenemb_lr1e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.088 | v1 | 93.40% | 84.20% | 87.76% | 89.19% | 80.82% | 60.00% | 91.27% | 82.71% | 87.36% | 90.28% | 81.69% | 50.00% |
| 10 | e2_me5_base_cross_ce_real_frozenemb_lr4e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.028 | v1 | 94.52% | 84.72% | 85.71% | 91.89% | 80.82% | 60.00% | 92.80% | 83.29% | 87.36% | 93.06% | 81.69% | 50.00% |
| 11 | e2_xlmr_base_khonly_ce_real_frozenembXLM-R base · chỉ câu KH · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.076 | v1 | 94.08% ±0.76 | 84.46% ±2.07 | 82.99% ±3.12 | 91.89% ±1.35 | 82.65% ±3.16 | 53.33% ±23.09 | 92.06% ±1.04 | 83.19% ±2.31 | 85.44% ±3.51 | 93.06% ±1.39 | 83.57% ±3.25 | 41.67% ±28.87 |
| 12 | e2_mmbert_base_cross_ce_real_frozenemb_lr4e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.075 | v1 | 94.42% | 83.94% | 84.69% | 89.19% | 82.19% | 60.00% | 92.94% | 82.71% | 88.51% | 90.28% | 83.10% | 50.00% |
| 13 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr1e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.026 | v1 | 94.62% | 82.12% | 84.69% | 90.54% | 80.82% | 40.00% | 92.80% | 81.27% | 86.21% | 91.67% | 81.69% | 50.00% |
| 14 | e2_xlmr_base_cross_ce_real_frozenemb_lr1e5XLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.123 | v1 | 94.21% | 86.53% | 77.55% | 94.59% | 76.71% | 40.00% | 92.38% | 85.59% | 79.31% | 95.83% | 77.46% | 25.00% |
| 15 | e2_mmbert_base_cross_ce_real_frozenemb_lr1e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.120 | v1 | 93.96% ±0.36 | 85.36% ±1.28 | 80.61% ±2.89 | 91.22% ±0.96 | 84.93% ±5.81 | 60.00% ±0.00 | 92.24% ±0.20 | 84.29% ±1.43 | 83.91% ±3.25 | 92.36% ±0.98 | 85.92% ±5.98 | 50.00% ±0.00 |
| 16 | e2_visobert_cross_ce_real_frozenemb_lr2e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.093 | v1 | 93.40% | 85.23% | 78.57% | 87.84% | 79.45% | 60.00% | 91.41% | 84.15% | 81.61% | 88.89% | 80.28% | 50.00% |
| 17 | e2_visobert_cross_ce_real_frozenemb_lr4e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.066 | v1 | 92.89% | 84.20% | 80.61% | 89.19% | 79.45% | 80.00% | 90.58% | 83.00% | 82.76% | 90.28% | 81.69% | 75.00% |
| 18 | e1_tfidf_svmcal_ce_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · SVM calibrated · train thật, nhãn v1 | TF-IDF | 0.123 | v1 | 94.11% | 82.12% | 85.71% | 89.19% | 76.71% | 60.00% | 92.38% | 80.40% | 87.36% | 90.28% | 77.46% | 50.00% |
| 19 | e1_tfidf_logreg_balanced_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg cân bằng lớp · train thật, nhãn v1 | TF-IDF | 0.256 | v1 | 93.60% | 75.65% | 81.63% | 87.84% | 86.30% | 80.00% | 91.41% | 73.49% | 82.76% | 88.89% | 85.92% | 75.00% |
| 20 | e1_tfidf_logreg_ce_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg · train thật, nhãn v1 | TF-IDF | 0.125 | v1 | 93.50% | 79.27% | 84.69% | 86.49% | 75.34% | 60.00% | 91.27% | 77.23% | 86.21% | 87.50% | 76.06% | 50.00% |
| 21 | e2_visobert_cross_ce_real_frozenemb_lr1e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.232 | v1 | 93.81% | 83.94% | 71.43% | 89.19% | 78.08% | 60.00% | 91.97% | 83.00% | 72.41% | 90.28% | 78.87% | 50.00% |
| 22 | e1_tfidf_logreg_ce_synth1x_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg · train thật + synth ×1, nhãn v1 | TF-IDF | 0.234 | v1 | 93.91% | 79.53% | 79.59% | 87.84% | 75.34% | 60.00% | 92.38% | 77.52% | 81.61% | 88.89% | 76.06% | 50.00% |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr1e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | – | – | v1 | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr2e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | – | – | v1 | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr4e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | microsoft/mdeberta-v3-base | argmax | v1 | 0.00% | 100.00% | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 100.00% | 0.00% | 0.00% | 0.00% | 0.00% |
| – | e2_videberta_cross_ce_real_frozenemb_lr1e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | 0.00% | 100.00% | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 100.00% | 0.00% | 0.00% | 0.00% | 0.00% |
| – | e2_videberta_cross_ce_real_frozenemb_lr2e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | 0.00% | 100.00% | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 100.00% | 0.00% | 0.00% | 0.00% | 0.00% |
| – | e2_videberta_cross_ce_real_frozenemb_lr4e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | 0.00% | 100.00% | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 100.00% | 0.00% | 0.00% | 0.00% | 0.00% |
| 1 | e2_mmbert_base_cross_ce_real_frozenemb_lr2e5_lv21mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v2_1 | jhu-clsp/mmBERT-base | 0.053 | v2_1 | 94.62% | 85.75% | 76.53% | 87.84% | 87.67% | 60.00% | 92.94% | 85.01% | 80.46% | 88.89% | 88.73% | 50.00% |
F1 theo từng intent
| STT | Model_Name | Backbone | Threshold | Data | clean Affirm_F1 | clean Negate_F1 | clean Fallback_F1 | clean Callback_F1 | clean Relation_F1 | clean Repeat_F1 | reply-unseen Affirm_F1 | reply-unseen Negate_F1 | reply-unseen Fallback_F1 | reply-unseen Callback_F1 | reply-unseen Relation_F1 | reply-unseen Repeat_F1 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | e0_prod_sft_hard_none_qc_v16 tham chiếu | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v1 | 96.65% | 90.98% | 76.24% | 95.30% | 90.00% | 76.92% | 96.18% | 91.48% | 81.44% | 95.89% | 90.51% | 72.73% |
| 0 | e0_prod_sft_hard_none_qc_v16_lv2 tham chiếu | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v2 | 96.56% | 90.84% | 73.56% | 95.17% | 92.86% | 66.67% | 96.04% | 91.29% | 77.78% | 95.10% | 94.20% | 60.00% |
| 0 | e0_prod_sft_hard_none_qc_v16_lv21 tham chiếu | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v2_1 | 96.65% | 90.98% | 76.24% | 95.30% | 90.00% | 76.92% | 96.18% | 91.48% | 81.44% | 95.89% | 90.51% | 72.73% |
| 1 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr2e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.016 | v1 | 95.11% | 87.92% | 65.85% | 93.15% | 82.27% | 75.00% | 93.72% | 86.97% | 65.20% | 93.71% | 82.61% | 66.67% |
| 2 | e2_xlmr_base_cross_ce_real_frozenemb_lr4e5XLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.023 | v1 | 95.20% | 89.10% | 66.12% | 89.93% | 82.61% | 37.50% | 93.91% | 88.41% | 64.60% | 90.41% | 82.96% | 28.57% |
| 3 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr4e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.011 | v1 | 95.04% | 85.87% | 63.53% | 93.79% | 86.52% | 40.00% | 93.84% | 84.64% | 63.83% | 94.37% | 86.96% | 25.00% |
| 4 | e2_xlmr_base_cross_wcesqrt_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE trọng số căn nghịch tần suất · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.021 | v1 | 94.87% ±0.10 | 88.39% ±0.54 | 65.20% ±1.74 | 92.36% ±1.27 | 85.05% ±1.42 | 53.03% ±18.37 | 93.42% ±0.24 | 87.44% ±0.42 | 64.39% ±1.12 | 92.89% ±1.30 | 85.44% ±1.45 | 42.96% ±22.37 |
| 5 | e2_mmbert_base_cross_ce_real_frozenemb_lr2e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.061 | v1 | 95.32% ±0.14 | 88.07% ±1.30 | 63.86% ±2.84 | 91.05% ±1.67 | 85.88% ±2.86 | 74.24% ±8.44 | 94.18% ±0.22 | 87.17% ±1.50 | 63.20% ±3.11 | 91.57% ±1.71 | 86.29% ±2.92 | 68.89% ±10.18 |
| 6 | e2_xlmr_base_cross_ce_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.035 | v1 | 95.14% ±0.17 | 88.61% ±0.76 | 67.48% ±0.98 | 92.06% ±0.40 | 84.15% ±1.07 | 55.79% ±10.31 | 93.85% ±0.17 | 87.74% ±0.85 | 66.95% ±1.33 | 92.59% ±0.40 | 84.53% ±1.09 | 45.98% ±10.47 |
| 7 | e2_xlmr_base_cross_logitadjust_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE điều chỉnh logit theo prior (τ=1) · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.035 | v1 | 95.04% ±0.44 | 88.03% ±0.40 | 63.79% ±3.19 | 92.73% ±1.69 | 86.46% ±1.90 | 46.34% ±3.57 | 93.65% ±0.53 | 87.09% ±0.46 | 62.82% ±2.50 | 93.28% ±1.73 | 86.89% ±1.94 | 37.52% ±4.87 |
| 8 | e2_me5_base_cross_ce_real_frozenemb_lr2e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.023 | v1 | 94.83% | 88.65% | 64.80% | 91.89% | 83.10% | 40.00% | 93.45% | 87.94% | 63.48% | 92.41% | 83.45% | 25.00% |
| 9 | e2_me5_base_cross_ce_real_frozenemb_lr1e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.088 | v1 | 94.65% | 87.72% | 66.67% | 89.19% | 84.89% | 50.00% | 93.01% | 86.71% | 64.41% | 89.66% | 85.29% | 40.00% |
| 10 | e2_me5_base_cross_ce_real_frozenemb_lr4e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.028 | v1 | 95.19% | 88.38% | 67.47% | 92.52% | 83.69% | 66.67% | 93.90% | 87.44% | 66.38% | 93.06% | 84.06% | 57.14% |
| 11 | e2_xlmr_base_khonly_ce_real_frozenembXLM-R base · chỉ câu KH · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.076 | v1 | 94.59% ±0.34 | 87.90% ±1.43 | 66.84% ±2.57 | 91.68% ±0.81 | 86.38% ±1.62 | 55.72% ±14.99 | 93.13% ±0.50 | 86.90% ±1.65 | 66.16% ±2.59 | 92.20% ±0.83 | 86.81% ±1.65 | 42.86% ±20.76 |
| 12 | e2_mmbert_base_cross_ce_real_frozenemb_lr4e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.075 | v1 | 95.29% | 88.40% | 63.12% | 92.31% | 85.71% | 54.55% | 94.31% | 87.63% | 63.64% | 92.86% | 86.13% | 44.44% |
| 13 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr1e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.026 | v1 | 94.81% | 86.85% | 65.87% | 91.16% | 84.29% | 57.14% | 93.44% | 86.11% | 65.22% | 91.67% | 84.67% | 66.67% |
| 14 | e2_xlmr_base_cross_ce_real_frozenemb_lr1e5XLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.123 | v1 | 94.45% | 89.54% | 65.52% | 91.50% | 82.96% | 36.36% | 93.03% | 88.79% | 65.09% | 92.00% | 83.33% | 22.22% |
| 15 | e2_mmbert_base_cross_ce_real_frozenemb_lr1e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.120 | v1 | 94.87% ±0.16 | 88.28% ±1.08 | 65.42% ±0.24 | 93.43% ±1.44 | 85.49% ±0.85 | 45.00% ±7.07 | 93.77% ±0.06 | 87.51% ±1.20 | 65.62% ±0.17 | 94.00% ±1.47 | 86.18% ±1.26 | 35.38% ±6.53 |
| 16 | e2_visobert_cross_ce_real_frozenemb_lr2e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.093 | v1 | 94.50% | 87.62% | 62.60% | 90.91% | 81.69% | 46.15% | 93.15% | 86.90% | 62.56% | 91.43% | 82.01% | 36.36% |
| 17 | e2_visobert_cross_ce_real_frozenemb_lr4e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.066 | v1 | 94.18% | 87.72% | 60.31% | 91.67% | 82.86% | 66.67% | 92.57% | 86.88% | 59.75% | 92.20% | 84.06% | 60.00% |
| 18 | e1_tfidf_svmcal_ce_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · SVM calibrated · train thật, nhãn v1 | TF-IDF | 0.123 | v1 | 94.74% | 86.38% | 63.88% | 90.41% | 84.21% | 66.67% | 93.35% | 85.06% | 63.07% | 90.91% | 84.62% | 57.14% |
| 19 | e1_tfidf_logreg_balanced_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg cân bằng lớp · train thật, nhãn v1 | TF-IDF | 0.256 | v1 | 94.13% | 82.95% | 59.26% | 87.84% | 86.30% | 53.33% | 92.37% | 81.34% | 57.60% | 88.28% | 85.92% | 46.15% |
| 20 | e1_tfidf_logreg_ce_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg · train thật, nhãn v1 | TF-IDF | 0.125 | v1 | 94.32% | 84.53% | 60.14% | 88.89% | 81.48% | 60.00% | 92.62% | 82.97% | 58.59% | 89.36% | 81.82% | 50.00% |
| 21 | e2_visobert_cross_ce_real_frozenemb_lr1e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.232 | v1 | 94.29% | 86.75% | 60.34% | 89.19% | 80.85% | 42.86% | 92.87% | 86.10% | 59.43% | 89.66% | 81.16% | 33.33% |
| 22 | e1_tfidf_logreg_ce_synth1x_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg · train thật + synth ×1, nhãn v1 | TF-IDF | 0.234 | v1 | 94.15% | 84.34% | 60.47% | 89.66% | 81.48% | 54.55% | 92.77% | 82.77% | 60.43% | 90.14% | 81.82% | 44.44% |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr1e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | – | – | v1 | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr2e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | – | – | v1 | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr4e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | microsoft/mdeberta-v3-base | argmax | v1 | 0.00% | 38.47% | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 42.06% | 0.00% | 0.00% | 0.00% | 0.00% |
| – | e2_videberta_cross_ce_real_frozenemb_lr1e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | 0.00% | 38.47% | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 42.06% | 0.00% | 0.00% | 0.00% | 0.00% |
| – | e2_videberta_cross_ce_real_frozenemb_lr2e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | 0.00% | 38.47% | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 42.06% | 0.00% | 0.00% | 0.00% | 0.00% |
| – | e2_videberta_cross_ce_real_frozenemb_lr4e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | 0.00% | 38.47% | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 42.06% | 0.00% | 0.00% | 0.00% | 0.00% |
| 1 | e2_mmbert_base_cross_ce_real_frozenemb_lr2e5_lv21mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v2_1 | jhu-clsp/mmBERT-base | 0.053 | v2_1 | 95.25% | 87.92% | 63.03% | 91.55% | 89.51% | 66.67% | 94.18% | 87.54% | 63.35% | 92.09% | 90.00% | 57.14% |
Dev và test_full (dữ liệu liên quan train — không dùng làm số chính)
dev là tập chọn ngưỡng và xếp STT; test_full (full) chứa cả cặp QC trùng train, nên hai tập này lạc quan hơn test thật. Chỉ để đối chiếu; baseline không có dev nên hiện N/A.
| STT | Model_Name | Backbone | Threshold | Data | Họ | Máy | Seed | n_eff | Params | Latency ms | dev Accuracy | dev Macro_Pre | dev Macro_Rec | dev Macro_F1 | dev Weighted_F1 | dev FB recall | dev FB precision | full Accuracy | full Macro_Pre | full Macro_Rec | full Macro_F1 | full Weighted_F1 | full FB recall | full FB precision | Trạng thái | Phân tích |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | e0_prod_sft_hard_none_qc_v16 tham chiếu · provenance: unknown | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v1 | reference | zephyrus | 1 | 1 | 2.0 B (reported) | ~1,715 ms (reported) | N/A | N/A | N/A | N/A | N/A | N/A | N/A | 94.38% | 87.07% | 89.91% | 87.41% | 94.31% | 67.97% | 86.67% | ok | – |
| 0 | e0_prod_sft_hard_none_qc_v16_lv2 tham chiếu · provenance: unknown | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v2 | reference | zephyrus | 1 | 1 | 2.0 B (reported) | ~1,715 ms (reported) | N/A | N/A | N/A | N/A | N/A | N/A | N/A | 94.34% | 88.09% | 90.75% | 88.83% | 94.29% | 69.01% | 81.67% | oktest_informed | – |
| 0 | e0_prod_sft_hard_none_qc_v16_lv21 tham chiếu · provenance: unknown | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v2_1 | reference | zephyrus | 1 | 1 | 2.0 B (reported) | ~1,715 ms (reported) | N/A | N/A | N/A | N/A | N/A | N/A | N/A | 94.38% | 87.07% | 89.91% | 87.41% | 94.31% | 67.97% | 86.67% | ok | – |
| 1 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr2e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.016 | v1 | encoder | zephyrus | 1 | 1 | 86M | 11.3 ms | 97.51% | 97.36% | 96.80% | 97.02% | 97.52% | 98.09% | 91.46% | 92.90% | 84.99% | 86.48% | 85.29% | 93.16% | 86.27% | 59.73% | okp85_not_met | – |
| 2 | e2_xlmr_base_cross_ce_real_frozenemb_lr4e5XLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.023 | v1 | encoder | zephyrus | 1 | 1 | 86M | 11.1 ms | 97.77% | 97.23% | 97.44% | 97.29% | 97.79% | 98.09% | 89.55% | 92.94% | 80.39% | 87.57% | 82.72% | 93.23% | 86.27% | 60.55% | okp85_not_met | – |
| 3 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr4e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.011 | v1 | encoder | zephyrus | 1 | 1 | 86M | 11.9 ms | 97.62% | 97.10% | 97.23% | 97.11% | 97.65% | 97.71% | 88.58% | 92.44% | 82.30% | 85.16% | 83.06% | 92.76% | 86.27% | 56.65% | okp85_not_met | – |
| 4 | e2_xlmr_base_cross_wcesqrt_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE trọng số căn nghịch tần suất · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.021 | v1 | encoder | zephyrus | 3 | 3 | 86M | 16.1 ms | 97.19% ±0.16 | 96.61% ±0.10 | 97.17% ±0.09 | 96.80% ±0.10 | 97.23% ±0.15 | 97.71% ±0.38 | 85.62% ±0.52 | 92.50% ±0.34 | 82.06% ±1.22 | 87.96% ±0.44 | 84.16% ±0.89 | 92.88% ±0.28 | 87.58% ±1.31 | 56.71% ±2.55 | okp85_not_met | – |
| 5 | e2_mmbert_base_cross_ce_real_frozenemb_lr2e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.061 | v1 | encoder | zephyrus | 3 | 3 | 111M | 24.8 ms | 97.54% ±0.18 | 96.98% ±0.23 | 97.08% ±0.24 | 96.95% ±0.18 | 97.57% ±0.18 | 97.58% ±0.58 | 87.26% ±0.40 | 92.72% ±0.52 | 83.66% ±0.26 | 90.04% ±0.84 | 85.79% ±0.29 | 93.12% ±0.44 | 88.24% ±0.65 | 55.89% ±3.08 | cần sửap85_not_met | – |
| 6 | e2_xlmr_base_cross_ce_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.035 | v1 | encoder | zephyrus | 3 | 3 | 86M | 10.8 ms | 97.47% ±0.48 | 96.79% ±0.43 | 97.06% ±0.21 | 96.88% ±0.32 | 97.48% ±0.47 | 97.46% ±0.22 | 89.35% ±2.96 | 92.93% ±0.15 | 83.08% ±1.52 | 88.16% ±0.41 | 84.95% ±0.85 | 93.18% ±0.13 | 86.27% ±2.61 | 60.95% ±0.90 | cần sửap85_not_met | high |
| 7 | e2_xlmr_base_cross_logitadjust_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE điều chỉnh logit theo prior (τ=1) · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.035 | v1 | encoder | zephyrus | 3 | 3 | 86M | 14.7 ms | 97.44% ±0.12 | 96.55% ±0.04 | 97.44% ±0.35 | 96.92% ±0.19 | 97.47% ±0.12 | 97.46% ±0.58 | 86.57% ±1.19 | 92.55% ±0.35 | 81.29% ±0.71 | 88.95% ±1.26 | 83.77% ±0.78 | 92.98% ±0.35 | 87.80% ±2.30 | 55.66% ±1.10 | okp85_not_met | – |
| 8 | e2_me5_base_cross_ce_real_frozenemb_lr2e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.023 | v1 | encoder | zephyrus | 1 | 1 | 86M | 11.6 ms | 97.23% | 96.46% | 96.78% | 96.54% | 97.24% | 97.33% | 87.63% | 92.56% | 81.06% | 86.72% | 83.19% | 92.91% | 86.27% | 58.15% | okp85_not_met | – |
| 9 | e2_me5_base_cross_ce_real_frozenemb_lr1e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.088 | v1 | encoder | zephyrus | 1 | 1 | 86M | 11.3 ms | 97.12% | 96.52% | 96.85% | 96.63% | 97.13% | 96.95% | 88.50% | 92.29% | 80.81% | 86.69% | 82.85% | 92.63% | 89.54% | 58.80% | okp85_not_met | – |
| 10 | e2_me5_base_cross_ce_real_frozenemb_lr4e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.028 | v1 | encoder | zephyrus | 1 | 1 | 86M | 11.6 ms | 97.23% | 96.42% | 96.82% | 96.54% | 97.26% | 96.95% | 85.81% | 92.90% | 84.46% | 88.31% | 85.81% | 93.17% | 88.24% | 60.00% | okp85_not_met | – |
| 11 | e2_xlmr_base_khonly_ce_real_frozenembXLM-R base · chỉ câu KH · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.076 | v1 | encoder | zephyrus | 3 | 3 | 86M | 8.5 ms | 96.89% ±0.33 | 96.68% ±0.32 | 96.75% ±0.43 | 96.67% ±0.38 | 96.90% ±0.33 | 96.69% ±0.58 | 89.11% ±1.40 | 92.71% ±0.51 | 83.88% ±0.46 | 87.66% ±1.03 | 85.21% ±0.71 | 92.97% ±0.44 | 86.06% ±2.30 | 60.29% ±3.36 | okp85_not_met | – |
| 12 | e2_mmbert_base_cross_ce_real_frozenemb_lr4e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.075 | v1 | encoder | zephyrus | 1 | 1 | 111M | 51.6 ms | 97.51% | 97.12% | 96.77% | 96.88% | 97.54% | 95.80% | 87.46% | 92.94% | 83.33% | 88.12% | 84.85% | 93.31% | 87.58% | 56.78% | okp85_not_met | – |
| 13 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr1e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.026 | v1 | encoder | zephyrus | 1 | 1 | 86M | 12.9 ms | 96.65% | 96.26% | 94.71% | 95.29% | 96.66% | 95.80% | 87.15% | 92.07% | 88.35% | 76.76% | 76.93% | 92.28% | 88.89% | 56.43% | okp85_not_met | – |
| 14 | e2_xlmr_base_cross_ce_real_frozenemb_lr1e5XLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.123 | v1 | encoder | zephyrus | 1 | 1 | 86M | 10.2 ms | 96.54% | 95.48% | 94.64% | 94.94% | 96.55% | 95.80% | 86.55% | 92.56% | 77.16% | 76.38% | 76.08% | 92.73% | 84.31% | 60.00% | okp85_not_met | – |
| 15 | e2_mmbert_base_cross_ce_real_frozenemb_lr1e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.120 | v1 | encoder | zephyrus | 2 | 2 | 111M | 23.9 ms | 97.15% ±0.10 | 96.18% ±0.14 | 96.98% ±0.20 | 96.53% ±0.16 | 97.19% ±0.10 | 95.61% ±0.27 | 86.08% ±0.18 | 92.81% ±0.13 | 81.63% ±1.25 | 88.31% ±0.61 | 84.03% ±0.51 | 93.10% ±0.14 | 85.29% ±1.39 | 60.29% ±0.79 | cần sửap85_not_met | – |
| 16 | e2_visobert_cross_ce_real_frozenemb_lr2e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.093 | v1 | encoder | zephyrus | 1 | 1 | 86M | 11.8 ms | 96.04% | 95.72% | 95.89% | 95.75% | 96.06% | 95.04% | 85.86% | 92.22% | 80.91% | 86.94% | 83.04% | 92.54% | 83.66% | 58.18% | okp85_not_met | – |
| 17 | e2_visobert_cross_ce_real_frozenemb_lr4e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.066 | v1 | encoder | zephyrus | 1 | 1 | 86M | 16.3 ms | 96.58% | 96.18% | 96.08% | 96.09% | 96.59% | 94.66% | 87.94% | 92.07% | 82.45% | 88.73% | 84.64% | 92.46% | 84.97% | 55.56% | okp85_not_met | – |
| 18 | e1_tfidf_svmcal_ce_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · SVM calibrated · train thật, nhãn v1 | TF-IDF | 0.123 | v1 | tfidf | zephyrus | 1 | 1 | 119,328 | 5.4 ms | 95.42% | 95.44% | 95.80% | 95.57% | 95.46% | 94.27% | 85.17% | 91.88% | 84.06% | 86.93% | 84.58% | 92.29% | 88.89% | 54.40% | okp85_not_met | – |
| 19 | e1_tfidf_logreg_balanced_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg cân bằng lớp · train thật, nhãn v1 | TF-IDF | 0.256 | v1 | tfidf | zephyrus | 1 | 1 | 119,328 | 3.6 ms | 95.50% | 95.50% | 96.21% | 95.82% | 95.52% | 93.89% | 86.62% | 90.39% | 78.70% | 87.99% | 81.67% | 90.92% | 86.27% | 50.00% | okp85_not_met | – |
| 20 | e1_tfidf_logreg_ce_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg · train thật, nhãn v1 | TF-IDF | 0.125 | v1 | tfidf | zephyrus | 1 | 1 | 119,328 | 3.6 ms | 95.53% | 95.52% | 95.69% | 95.56% | 95.56% | 93.89% | 86.01% | 90.93% | 81.78% | 85.92% | 82.73% | 91.45% | 88.24% | 50.94% | okp85_not_met | – |
| 21 | e2_visobert_cross_ce_real_frozenemb_lr1e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.232 | v1 | encoder | zephyrus | 1 | 1 | 86M | 11.1 ms | 95.17% | 94.57% | 94.96% | 94.74% | 95.18% | 92.75% | 88.04% | 91.80% | 79.12% | 85.57% | 81.37% | 92.06% | 78.43% | 58.54% | okp85_not_met | – |
| 22 | e1_tfidf_logreg_ce_synth1x_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg · train thật + synth ×1, nhãn v1 | TF-IDF | 0.234 | v1 | tfidf | zephyrus | 1 | 1 | 135,678 | 3.6 ms | 95.21% | 95.38% | 94.99% | 95.14% | 95.23% | 92.37% | 85.82% | 91.34% | 81.77% | 85.78% | 82.85% | 91.70% | 84.97% | 54.62% | oktest_informedp85_not_met | – |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr1e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | – | – | v1 | encoder | 0 1 lỗi | 0 | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | failed | – | |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr2e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | – | – | v1 | encoder | 0 1 lỗi | 0 | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | failed | – | |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr4e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | microsoft/mdeberta-v3-base | argmax | v1 | encoder | zephyrus | 1 | 1 | 86M | 29.1 ms | 35.28% | 5.88% | 16.67% | 8.69% | 18.40% | N/A | N/A | 22.48% | 3.75% | 16.67% | 6.12% | 8.25% | N/A | N/A | cần sửainfeasible | – |
| – | e2_videberta_cross_ce_real_frozenemb_lr1e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | encoder | zephyrus | 1 | 1 | 86M | 25.7 ms | 35.28% | 5.88% | 16.67% | 8.69% | 18.40% | N/A | N/A | 22.48% | 3.75% | 16.67% | 6.12% | 8.25% | N/A | N/A | cần sửainfeasible | – |
| – | e2_videberta_cross_ce_real_frozenemb_lr2e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | encoder | zephyrus | 1 | 1 | 86M | 26.8 ms | 35.28% | 5.88% | 16.67% | 8.69% | 18.40% | N/A | N/A | 22.48% | 3.75% | 16.67% | 6.12% | 8.25% | N/A | N/A | cần sửainfeasible | – |
| – | e2_videberta_cross_ce_real_frozenemb_lr4e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | encoder | zephyrus | 1 | 1 | 86M | 31.6 ms | 35.28% | 5.88% | 16.67% | 8.69% | 18.40% | N/A | N/A | 22.48% | 3.75% | 16.67% | 6.12% | 8.25% | N/A | N/A | cần sửainfeasible | – |
| 1 | e2_mmbert_base_cross_ce_real_frozenemb_lr2e5_lv21mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v2_1 | jhu-clsp/mmBERT-base | 0.053 | v2_1 | encoder | zephyrus | 1 | 1 | 111M | 22.4 ms | 97.33% | 96.87% | 96.88% | 96.81% | 97.37% | 96.43% | 86.17% | 92.82% | 84.42% | 87.29% | 85.44% | 93.08% | 81.05% | 59.33% | okp85_not_met | – |
Precision theo từng intent (dev và test_full)
| STT | Model_Name | Backbone | Threshold | Data | dev Affirm_Pre | dev Negate_Pre | dev Fallback_Pre | dev Callback_Pre | dev Relation_Pre | dev Repeat_Pre | full Affirm_Pre | full Negate_Pre | full Fallback_Pre | full Callback_Pre | full Relation_Pre | full Repeat_Pre |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | e0_prod_sft_hard_none_qc_v16 tham chiếu | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v1 | N/A | N/A | N/A | N/A | N/A | N/A | 97.42% | 88.75% | 86.67% | 95.45% | 94.12% | 60.00% |
| 0 | e0_prod_sft_hard_none_qc_v16_lv2 tham chiếu | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v2 | N/A | N/A | N/A | N/A | N/A | N/A | 97.36% | 89.38% | 81.67% | 93.64% | 96.47% | 70.00% |
| 0 | e0_prod_sft_hard_none_qc_v16_lv21 tham chiếu | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v2_1 | N/A | N/A | N/A | N/A | N/A | N/A | 97.42% | 88.75% | 86.67% | 95.45% | 94.12% | 60.00% |
| 1 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr2e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.016 | v1 | 97.40% | 98.67% | 91.46% | 97.79% | 98.84% | 100.00% | 97.12% | 94.07% | 59.73% | 95.28% | 88.76% | 75.00% |
| 2 | e2_xlmr_base_cross_ce_real_frozenemb_lr4e5XLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.023 | v1 | 97.77% | 99.17% | 89.55% | 98.51% | 100.00% | 98.39% | 97.24% | 95.33% | 60.55% | 90.99% | 90.59% | 47.62% |
| 3 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr4e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.011 | v1 | 97.87% | 99.48% | 88.58% | 98.14% | 98.55% | 100.00% | 96.72% | 94.96% | 56.65% | 96.19% | 92.13% | 57.14% |
| 4 | e2_xlmr_base_cross_wcesqrt_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE trọng số căn nghịch tần suất · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.021 | v1 | 98.47% ±0.50 | 98.69% ±0.12 | 85.62% ±0.52 | 98.39% ±0.21 | 98.49% ±0.43 | 100.00% ±0.00 | 97.47% ±0.12 | 94.27% ±0.47 | 56.71% ±2.55 | 93.88% ±2.19 | 89.46% ±2.43 | 60.58% ±5.43 |
| 5 | e2_mmbert_base_cross_ce_real_frozenemb_lr2e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.061 | v1 | 98.22% ±0.12 | 99.24% ±0.16 | 87.26% ±0.40 | 98.38% ±0.21 | 98.77% ±1.14 | 100.00% ±0.00 | 97.56% ±0.18 | 95.31% ±0.70 | 55.89% ±3.08 | 94.33% ±2.34 | 90.83% ±2.36 | 68.01% ±3.01 |
| 6 | e2_xlmr_base_cross_ce_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.035 | v1 | 98.36% ±0.28 | 98.53% ±0.43 | 89.35% ±2.96 | 98.27% ±0.42 | 98.38% ±0.43 | 97.87% ±2.42 | 97.31% ±0.22 | 93.60% ±0.34 | 60.95% ±0.90 | 93.82% ±1.00 | 89.65% ±1.91 | 63.16% ±7.96 |
| 7 | e2_xlmr_base_cross_logitadjust_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE điều chỉnh logit theo prior (τ=1) · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.035 | v1 | 98.44% ±0.23 | 99.07% ±0.55 | 86.57% ±1.19 | 98.28% ±0.21 | 99.05% ±0.16 | 97.88% ±0.87 | 97.67% ±0.24 | 94.49% ±0.42 | 55.66% ±1.10 | 94.74% ±1.40 | 92.46% ±1.68 | 52.73% ±2.78 |
| 8 | e2_me5_base_cross_ce_real_frozenemb_lr2e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.023 | v1 | 99.02% | 98.06% | 87.63% | 97.44% | 98.31% | 98.33% | 97.92% | 92.49% | 58.15% | 92.66% | 88.89% | 56.25% |
| 9 | e2_me5_base_cross_ce_real_frozenemb_lr1e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.088 | v1 | 97.84% | 98.35% | 88.50% | 97.79% | 98.29% | 98.36% | 97.32% | 93.03% | 58.80% | 90.83% | 91.95% | 52.94% |
| 10 | e2_me5_base_cross_ce_real_frozenemb_lr4e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.028 | v1 | 98.91% | 98.36% | 85.81% | 98.50% | 98.58% | 98.36% | 97.35% | 93.72% | 60.00% | 94.39% | 89.89% | 71.43% |
| 11 | e2_xlmr_base_khonly_ce_real_frozenembXLM-R base · chỉ câu KH · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.076 | v1 | 97.37% ±0.43 | 97.74% ±0.37 | 89.11% ±1.40 | 98.02% ±0.21 | 98.38% ±0.43 | 99.46% ±0.93 | 96.95% ±0.16 | 93.61% ±0.73 | 60.29% ±3.36 | 92.93% ±0.47 | 92.08% ±1.08 | 67.42% ±2.73 |
| 12 | e2_mmbert_base_cross_ce_real_frozenemb_lr4e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.075 | v1 | 97.88% | 98.86% | 87.46% | 98.50% | 100.00% | 100.00% | 97.58% | 94.95% | 56.78% | 96.12% | 92.05% | 62.50% |
| 13 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr1e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.026 | v1 | 96.94% | 98.34% | 87.15% | 96.03% | 99.13% | 100.00% | 96.82% | 93.37% | 56.43% | 92.59% | 90.91% | 100.00% |
| 14 | e2_xlmr_base_cross_ce_real_frozenemb_lr1e5XLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.123 | v1 | 96.80% | 98.24% | 86.55% | 97.79% | 98.84% | 94.64% | 96.70% | 93.83% | 60.00% | 91.15% | 92.68% | 28.57% |
| 15 | e2_mmbert_base_cross_ce_real_frozenemb_lr1e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.120 | v1 | 98.44% ±0.17 | 98.76% ±0.28 | 86.08% ±0.18 | 98.12% ±0.52 | 98.01% ±0.02 | 97.64% ±1.09 | 97.34% ±0.08 | 93.53% ±0.65 | 60.29% ±0.79 | 96.16% ±1.31 | 88.03% ±4.07 | 54.41% ±6.24 |
| 16 | e2_visobert_cross_ce_real_frozenemb_lr2e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.093 | v1 | 96.10% | 97.40% | 85.86% | 97.74% | 98.86% | 98.36% | 97.15% | 92.59% | 58.18% | 94.23% | 87.78% | 55.56% |
| 17 | e2_visobert_cross_ce_real_frozenemb_lr4e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.066 | v1 | 97.37% | 97.44% | 87.94% | 98.48% | 97.48% | 98.36% | 97.14% | 93.22% | 55.56% | 95.19% | 88.89% | 64.71% |
| 18 | e1_tfidf_svmcal_ce_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · SVM calibrated · train thật, nhãn v1 | TF-IDF | 0.123 | v1 | 95.84% | 95.79% | 85.17% | 97.41% | 100.00% | 98.41% | 97.10% | 93.02% | 54.40% | 93.40% | 95.00% | 71.43% |
| 19 | e1_tfidf_logreg_balanced_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg cân bằng lớp · train thật, nhãn v1 | TF-IDF | 0.256 | v1 | 95.50% | 96.17% | 86.62% | 97.41% | 98.85% | 98.44% | 96.67% | 93.15% | 50.00% | 89.09% | 88.30% | 55.00% |
| 20 | e1_tfidf_logreg_ce_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg · train thật, nhãn v1 | TF-IDF | 0.125 | v1 | 95.62% | 96.18% | 86.01% | 97.77% | 99.13% | 98.39% | 96.96% | 92.50% | 50.94% | 93.27% | 90.36% | 66.67% |
| 21 | e2_visobert_cross_ce_real_frozenemb_lr1e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.232 | v1 | 94.27% | 97.17% | 88.04% | 95.64% | 97.17% | 95.16% | 96.63% | 92.15% | 58.54% | 89.91% | 87.50% | 50.00% |
| 22 | e1_tfidf_logreg_ce_synth1x_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg · train thật + synth ×1, nhãn v1 | TF-IDF | 0.234 | v1 | 94.63% | 95.98% | 85.82% | 97.77% | 99.70% | 98.36% | 96.46% | 92.23% | 54.62% | 93.33% | 91.46% | 62.50% |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr1e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | – | – | v1 | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr2e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | – | – | v1 | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr4e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | microsoft/mdeberta-v3-base | argmax | v1 | N/A | 35.28% | N/A | N/A | N/A | N/A | N/A | 22.48% | N/A | N/A | N/A | N/A |
| – | e2_videberta_cross_ce_real_frozenemb_lr1e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | N/A | 35.28% | N/A | N/A | N/A | N/A | N/A | 22.48% | N/A | N/A | N/A | N/A |
| – | e2_videberta_cross_ce_real_frozenemb_lr2e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | N/A | 35.28% | N/A | N/A | N/A | N/A | N/A | 22.48% | N/A | N/A | N/A | N/A |
| – | e2_videberta_cross_ce_real_frozenemb_lr4e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | N/A | 35.28% | N/A | N/A | N/A | N/A | N/A | 22.48% | N/A | N/A | N/A | N/A |
| 1 | e2_mmbert_base_cross_ce_real_frozenemb_lr2e5_lv21mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v2_1 | jhu-clsp/mmBERT-base | 0.053 | v2_1 | 97.98% | 98.79% | 86.17% | 100.00% | 98.30% | 100.00% | 97.52% | 91.87% | 59.33% | 94.95% | 91.40% | 71.43% |
Recall theo từng intent (dev và test_full)
| STT | Model_Name | Backbone | Threshold | Data | dev Affirm_Rec | dev Negate_Rec | dev Fallback_Rec | dev Callback_Rec | dev Relation_Rec | dev Repeat_Rec | full Affirm_Rec | full Negate_Rec | full Fallback_Rec | full Callback_Rec | full Relation_Rec | full Repeat_Rec |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | e0_prod_sft_hard_none_qc_v16 tham chiếu | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v1 | N/A | N/A | N/A | N/A | N/A | N/A | 97.19% | 94.59% | 67.97% | 94.59% | 85.11% | 100.00% |
| 0 | e0_prod_sft_hard_none_qc_v16_lv2 tham chiếu | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v2 | N/A | N/A | N/A | N/A | N/A | N/A | 97.07% | 93.07% | 69.01% | 98.10% | 87.23% | 100.00% |
| 0 | e0_prod_sft_hard_none_qc_v16_lv21 tham chiếu | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v2_1 | N/A | N/A | N/A | N/A | N/A | N/A | 97.19% | 94.59% | 67.97% | 94.59% | 85.11% | 100.00% |
| 1 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr2e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.016 | v1 | 96.37% | 98.16% | 98.09% | 100.00% | 97.42% | 90.77% | 96.77% | 85.81% | 86.27% | 90.99% | 84.04% | 75.00% |
| 2 | e2_xlmr_base_cross_ce_real_frozenemb_lr4e5XLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.023 | v1 | 97.42% | 97.65% | 98.09% | 99.62% | 97.99% | 93.85% | 96.77% | 86.15% | 86.27% | 90.99% | 81.91% | 83.33% |
| 3 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr4e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.011 | v1 | 96.84% | 98.06% | 97.71% | 99.25% | 97.71% | 93.85% | 97.01% | 82.77% | 86.27% | 90.99% | 87.23% | 66.67% |
| 4 | e2_xlmr_base_cross_wcesqrt_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE trọng số căn nghịch tần suất · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.021 | v1 | 95.39% ±0.24 | 97.38% ±0.31 | 97.71% ±0.38 | 99.75% ±0.43 | 99.43% ±0.00 | 93.33% ±0.89 | 96.01% ±0.03 | 85.14% ±1.61 | 87.58% ±1.31 | 91.59% ±0.52 | 86.88% ±1.63 | 80.56% ±4.81 |
| 5 | e2_mmbert_base_cross_ce_real_frozenemb_lr2e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.061 | v1 | 96.84% ±0.23 | 97.65% ±0.57 | 97.58% ±0.58 | 98.62% ±0.22 | 98.95% ±0.44 | 92.82% ±1.78 | 96.55% ±0.18 | 84.57% ±2.02 | 88.24% ±0.65 | 89.19% ±0.90 | 87.23% ±3.84 | 94.44% ±4.81 |
| 6 | e2_xlmr_base_cross_ce_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.035 | v1 | 95.98% ±0.88 | 97.99% ±0.72 | 97.46% ±0.22 | 99.87% ±0.22 | 98.76% ±0.17 | 92.31% ±0.00 | 96.45% ±0.09 | 86.43% ±1.28 | 86.27% ±2.61 | 90.99% ±0.00 | 85.46% ±2.21 | 83.33% ±0.00 |
| 7 | e2_xlmr_base_cross_logitadjust_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE điều chỉnh logit theo prior (τ=1) · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.035 | v1 | 96.02% ±0.65 | 97.55% ±0.18 | 97.46% ±0.58 | 100.00% ±0.00 | 99.24% ±0.60 | 94.36% ±1.78 | 96.07% ±0.30 | 84.97% ±0.77 | 87.80% ±2.30 | 91.89% ±0.90 | 86.88% ±1.63 | 86.11% ±4.81 |
| 8 | e2_me5_base_cross_ce_real_frozenemb_lr2e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.023 | v1 | 94.73% | 98.16% | 97.33% | 100.00% | 99.71% | 90.77% | 95.63% | 87.33% | 86.27% | 90.99% | 85.11% | 75.00% |
| 9 | e2_me5_base_cross_ce_real_frozenemb_lr1e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.088 | v1 | 95.43% | 97.55% | 96.95% | 100.00% | 98.85% | 92.31% | 95.63% | 85.64% | 89.54% | 89.19% | 85.11% | 75.00% |
| 10 | e2_me5_base_cross_ce_real_frozenemb_lr4e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.028 | v1 | 95.32% | 98.06% | 96.95% | 98.87% | 99.43% | 92.31% | 96.53% | 85.64% | 88.24% | 90.99% | 85.11% | 83.33% |
| 11 | e2_xlmr_base_khonly_ce_real_frozenembXLM-R base · chỉ câu KH · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.076 | v1 | 95.28% ±0.69 | 97.31% ±0.33 | 96.69% ±0.58 | 99.12% ±0.43 | 98.76% ±0.33 | 93.33% ±0.89 | 96.33% ±0.45 | 85.81% ±1.61 | 86.06% ±2.30 | 90.69% ±1.04 | 86.52% ±2.46 | 80.56% ±9.62 |
| 12 | e2_mmbert_base_cross_ce_real_frozenemb_lr4e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.075 | v1 | 97.19% | 97.85% | 95.80% | 98.87% | 98.57% | 92.31% | 96.65% | 85.81% | 87.58% | 89.19% | 86.17% | 83.33% |
| 13 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr1e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.026 | v1 | 96.37% | 96.83% | 95.80% | 100.00% | 97.71% | 81.54% | 96.53% | 83.28% | 88.89% | 90.09% | 85.11% | 16.67% |
| 14 | e2_xlmr_base_cross_ce_real_frozenemb_lr1e5XLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.123 | v1 | 95.67% | 97.14% | 95.80% | 100.00% | 97.71% | 81.54% | 96.35% | 87.33% | 84.31% | 92.79% | 80.85% | 16.67% |
| 15 | e2_mmbert_base_cross_ce_real_frozenemb_lr1e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.120 | v1 | 95.84% ±0.25 | 97.91% ±0.36 | 95.61% ±0.27 | 98.12% ±0.00 | 99.00% ±1.01 | 95.38% ±0.00 | 96.17% ±0.17 | 86.66% ±0.72 | 85.29% ±1.39 | 90.09% ±0.00 | 88.30% ±4.51 | 83.33% ±0.00 |
| 16 | e2_visobert_cross_ce_real_frozenemb_lr2e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.093 | v1 | 95.32% | 95.51% | 95.04% | 97.74% | 99.43% | 92.31% | 95.81% | 86.49% | 83.66% | 88.29% | 84.04% | 83.33% |
| 17 | e2_visobert_cross_ce_real_frozenemb_lr4e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.066 | v1 | 95.32% | 97.14% | 94.66% | 97.37% | 99.71% | 92.31% | 95.45% | 85.98% | 84.97% | 89.19% | 85.11% | 91.67% |
| 18 | e1_tfidf_svmcal_ce_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · SVM calibrated · train thật, nhãn v1 | TF-IDF | 0.123 | v1 | 94.50% | 95.20% | 94.27% | 98.87% | 96.56% | 95.38% | 96.05% | 83.28% | 88.89% | 89.19% | 80.85% | 83.33% |
| 19 | e1_tfidf_logreg_balanced_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg cân bằng lớp · train thật, nhãn v1 | TF-IDF | 0.256 | v1 | 94.38% | 94.89% | 93.89% | 98.87% | 98.28% | 96.92% | 95.39% | 78.04% | 86.27% | 88.29% | 88.30% | 91.67% |
| 20 | e1_tfidf_logreg_ce_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg · train thật, nhãn v1 | TF-IDF | 0.125 | v1 | 94.61% | 95.20% | 93.89% | 98.87% | 97.71% | 93.85% | 95.51% | 81.25% | 88.24% | 87.39% | 79.79% | 83.33% |
| 21 | e2_visobert_cross_ce_real_frozenemb_lr1e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.232 | v1 | 94.38% | 94.69% | 92.75% | 98.87% | 98.28% | 90.77% | 96.17% | 85.30% | 78.43% | 88.29% | 81.91% | 83.33% |
| 22 | e1_tfidf_logreg_ce_synth1x_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg · train thật + synth ×1, nhãn v1 | TF-IDF | 0.234 | v1 | 94.85% | 94.99% | 92.37% | 98.87% | 96.56% | 92.31% | 96.05% | 82.26% | 84.97% | 88.29% | 79.79% | 83.33% |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr1e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | – | – | v1 | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr2e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | – | – | v1 | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr4e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | microsoft/mdeberta-v3-base | argmax | v1 | 0.00% | 100.00% | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 100.00% | 0.00% | 0.00% | 0.00% | 0.00% |
| – | e2_videberta_cross_ce_real_frozenemb_lr1e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | 0.00% | 100.00% | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 100.00% | 0.00% | 0.00% | 0.00% | 0.00% |
| – | e2_videberta_cross_ce_real_frozenemb_lr2e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | 0.00% | 100.00% | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 100.00% | 0.00% | 0.00% | 0.00% | 0.00% |
| – | e2_videberta_cross_ce_real_frozenemb_lr4e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | 0.00% | 100.00% | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 100.00% | 0.00% | 0.00% | 0.00% | 0.00% |
| 1 | e2_mmbert_base_cross_ce_real_frozenemb_lr2e5_lv21mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v2_1 | jhu-clsp/mmBERT-base | 0.053 | v2_1 | 96.94% | 97.41% | 96.43% | 97.25% | 99.43% | 93.85% | 96.41% | 87.84% | 81.05% | 84.68% | 90.43% | 83.33% |
F1 theo từng intent (dev và test_full)
| STT | Model_Name | Backbone | Threshold | Data | dev Affirm_F1 | dev Negate_F1 | dev Fallback_F1 | dev Callback_F1 | dev Relation_F1 | dev Repeat_F1 | full Affirm_F1 | full Negate_F1 | full Fallback_F1 | full Callback_F1 | full Relation_F1 | full Repeat_F1 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | e0_prod_sft_hard_none_qc_v16 tham chiếu | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v1 | N/A | N/A | N/A | N/A | N/A | N/A | 97.31% | 91.58% | 76.19% | 95.02% | 89.39% | 75.00% |
| 0 | e0_prod_sft_hard_none_qc_v16_lv2 tham chiếu | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v2 | N/A | N/A | N/A | N/A | N/A | N/A | 97.22% | 91.19% | 74.81% | 95.81% | 91.62% | 82.35% |
| 0 | e0_prod_sft_hard_none_qc_v16_lv21 tham chiếu | Qwen-2B-Chat (SFT generative) | N/A (CausalLM) | v2_1 | N/A | N/A | N/A | N/A | N/A | N/A | 97.31% | 91.58% | 76.19% | 95.02% | 89.39% | 75.00% |
| 1 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr2e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.016 | v1 | 96.88% | 98.41% | 94.66% | 98.88% | 98.12% | 95.16% | 96.94% | 89.75% | 70.59% | 93.09% | 86.34% | 75.00% |
| 2 | e2_xlmr_base_cross_ce_real_frozenemb_lr4e5XLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.023 | v1 | 97.60% | 98.40% | 93.62% | 99.07% | 98.99% | 96.06% | 97.00% | 90.51% | 71.16% | 90.99% | 86.03% | 60.61% |
| 3 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr4e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.011 | v1 | 97.35% | 98.77% | 92.92% | 98.69% | 98.13% | 96.83% | 96.86% | 88.45% | 68.39% | 93.52% | 89.62% | 61.54% |
| 4 | e2_xlmr_base_cross_wcesqrt_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE trọng số căn nghịch tần suất · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.021 | v1 | 96.91% ±0.37 | 98.03% ±0.22 | 91.27% ±0.13 | 99.07% ±0.19 | 98.95% ±0.22 | 96.55% ±0.48 | 96.74% ±0.04 | 89.46% ±0.69 | 68.81% ±1.73 | 92.71% ±1.14 | 88.13% ±1.36 | 69.11% ±4.90 |
| 5 | e2_mmbert_base_cross_ce_real_frozenemb_lr2e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.061 | v1 | 97.52% ±0.16 | 98.44% ±0.33 | 92.13% ±0.46 | 98.50% ±0.19 | 98.86% ±0.65 | 96.27% ±0.96 | 97.05% ±0.12 | 89.61% ±1.14 | 68.41% ±2.50 | 91.67% ±1.13 | 88.95% ±2.07 | 79.06% ±3.47 |
| 6 | e2_xlmr_base_cross_ce_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.035 | v1 | 97.15% ±0.54 | 98.26% ±0.54 | 93.21% ±1.52 | 99.07% ±0.32 | 98.57% ±0.14 | 95.00% ±1.14 | 96.88% ±0.09 | 89.87% ±0.73 | 71.41% ±0.44 | 92.38% ±0.49 | 87.47% ±0.61 | 71.67% ±5.13 |
| 7 | e2_xlmr_base_cross_logitadjust_real_frozenembXLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE điều chỉnh logit theo prior (τ=1) · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.035 | v1 | 97.21% ±0.23 | 98.30% ±0.36 | 91.68% ±0.68 | 99.13% ±0.11 | 99.14% ±0.25 | 96.08% ±0.82 | 96.86% ±0.24 | 89.47% ±0.38 | 68.13% ±1.52 | 93.29% ±1.14 | 89.58% ±1.46 | 65.30% ±1.19 |
| 8 | e2_me5_base_cross_ce_real_frozenemb_lr2e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.023 | v1 | 96.83% | 98.11% | 92.22% | 98.70% | 99.00% | 94.40% | 96.76% | 89.83% | 69.47% | 91.82% | 86.96% | 64.29% |
| 9 | e2_me5_base_cross_ce_real_frozenemb_lr1e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.088 | v1 | 96.62% | 97.95% | 92.53% | 98.88% | 98.57% | 95.24% | 96.47% | 89.18% | 70.98% | 90.00% | 88.40% | 62.07% |
| 10 | e2_me5_base_cross_ce_real_frozenemb_lr4e5multilingual-E5 base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | intfloat/multilingual-e5-base | 0.028 | v1 | 97.08% | 98.21% | 91.04% | 98.69% | 99.00% | 95.24% | 96.94% | 89.50% | 71.43% | 92.66% | 87.43% | 76.92% |
| 11 | e2_xlmr_base_khonly_ce_real_frozenembXLM-R base · chỉ câu KH · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.076 | v1 | 96.31% ±0.48 | 97.53% ±0.31 | 92.74% ±0.96 | 98.57% ±0.29 | 98.57% ±0.25 | 96.30% ±0.46 | 96.64% ±0.20 | 89.54% ±1.07 | 70.84% ±1.93 | 91.79% ±0.49 | 89.20% ±1.47 | 73.27% ±4.80 |
| 12 | e2_mmbert_base_cross_ce_real_frozenemb_lr4e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.075 | v1 | 97.53% | 98.36% | 91.44% | 98.69% | 99.28% | 96.00% | 97.12% | 90.15% | 68.89% | 92.52% | 89.01% | 71.43% |
| 13 | e2_phobert_v2_seg_cross_ce_real_frozenemb_lr1e5PhoBERT-v2 base (tách từ underthesea) · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | vinai/phobert-base-v2 | 0.026 | v1 | 96.65% | 97.58% | 91.27% | 97.97% | 98.41% | 89.83% | 96.68% | 88.04% | 69.04% | 91.32% | 87.91% | 28.57% |
| 14 | e2_xlmr_base_cross_ce_real_frozenemb_lr1e5XLM-R base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | FacebookAI/xlm-roberta-base | 0.123 | v1 | 96.23% | 97.69% | 90.94% | 98.88% | 98.27% | 87.60% | 96.52% | 90.46% | 70.11% | 91.96% | 86.36% | 21.05% |
| 15 | e2_mmbert_base_cross_ce_real_frozenemb_lr1e5mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | jhu-clsp/mmBERT-base | 0.120 | v1 | 97.12% ±0.21 | 98.33% ±0.04 | 90.60% ±0.02 | 98.12% ±0.26 | 98.50% ±0.51 | 96.50% ±0.53 | 96.75% ±0.05 | 89.96% ±0.69 | 70.64% ±0.07 | 93.03% ±0.61 | 88.06% ±0.21 | 65.73% ±4.57 |
| 16 | e2_visobert_cross_ce_real_frozenemb_lr2e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.093 | v1 | 95.71% | 96.44% | 90.22% | 97.74% | 99.14% | 95.24% | 96.48% | 89.43% | 68.63% | 91.16% | 85.87% | 66.67% |
| 17 | e2_visobert_cross_ce_real_frozenemb_lr4e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.066 | v1 | 96.33% | 97.29% | 91.18% | 97.92% | 98.58% | 95.24% | 96.29% | 89.46% | 67.18% | 92.09% | 86.96% | 75.86% |
| 18 | e1_tfidf_svmcal_ce_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · SVM calibrated · train thật, nhãn v1 | TF-IDF | 0.123 | v1 | 95.17% | 95.49% | 89.49% | 98.13% | 98.25% | 96.88% | 96.57% | 87.88% | 67.49% | 91.24% | 87.36% | 76.92% |
| 19 | e1_tfidf_logreg_balanced_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg cân bằng lớp · train thật, nhãn v1 | TF-IDF | 0.256 | v1 | 94.94% | 95.53% | 90.11% | 98.13% | 98.56% | 97.67% | 96.03% | 84.93% | 63.31% | 88.69% | 88.30% | 68.75% |
| 20 | e1_tfidf_logreg_ce_real_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg · train thật, nhãn v1 | TF-IDF | 0.125 | v1 | 95.11% | 95.69% | 89.78% | 98.32% | 98.41% | 96.06% | 96.23% | 86.51% | 64.59% | 90.23% | 84.75% | 74.07% |
| 21 | e2_visobert_cross_ce_real_frozenemb_lr1e5ViSoBERT · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | uitnlp/visobert | 0.232 | v1 | 94.32% | 95.91% | 90.33% | 97.23% | 97.72% | 92.91% | 96.40% | 88.60% | 67.04% | 89.09% | 84.62% | 62.50% |
| 22 | e1_tfidf_logreg_ce_synth1x_baseTF-IDF câu KH (char 1-5, word 1-2-gram) + câu bot (char 2-4) · LogReg · train thật + synth ×1, nhãn v1 | TF-IDF | 0.234 | v1 | 94.74% | 95.48% | 88.97% | 98.32% | 98.11% | 95.24% | 96.25% | 86.96% | 66.50% | 90.74% | 85.23% | 71.43% |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr1e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | – | – | v1 | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr2e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | – | – | v1 | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A | N/A |
| – | e2_mdeberta_cross_ce_real_frozenemb_lr4e5mDeBERTa-v3 · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | microsoft/mdeberta-v3-base | argmax | v1 | 0.00% | 52.16% | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 36.70% | 0.00% | 0.00% | 0.00% | 0.00% |
| – | e2_videberta_cross_ce_real_frozenemb_lr1e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 1e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | 0.00% | 52.16% | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 36.70% | 0.00% | 0.00% | 0.00% | 0.00% |
| – | e2_videberta_cross_ce_real_frozenemb_lr2e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | 0.00% | 52.16% | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 36.70% | 0.00% | 0.00% | 0.00% | 0.00% |
| – | e2_videberta_cross_ce_real_frozenemb_lr4e5ViDeBERTa · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 4e-05, 4 epoch · train thật, nhãn v1 | Fsoft-AIC/videberta-base | argmax | v1 | 0.00% | 52.16% | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 36.70% | 0.00% | 0.00% | 0.00% | 0.00% |
| 1 | e2_mmbert_base_cross_ce_real_frozenemb_lr2e5_lv21mmBERT base · câu bot + câu KH ghép cặp · full fine-tune, đóng băng embedding · CE · lr 2e-05, 4 epoch · train thật, nhãn v2_1 | jhu-clsp/mmBERT-base | 0.053 | v2_1 | 97.46% | 98.09% | 91.01% | 98.61% | 98.86% | 96.83% | 96.96% | 89.81% | 68.51% | 89.52% | 90.91% | 76.92% |
Nền xanh đậm = tốt nhất cột, tính cả baseline (cao nhất; thấp nhất với clean fb→negate, clean fb→affirm, clean false fb, latency); hoà thì tô tất cả. Chữ xanh kèm ▲ = ứng viên vượt baseline nhưng chưa tốt nhất. Params không tô.
Phân tích theo mức ảnh hưởng
| Mức | Method | Run | Kết luận |
|---|---|---|---|
| high | e2_xlmr_base_cross_ce_real_frozenemb | e2_xlmr_base_cross_ce_real_frozenemb_seed13_0a1472e9 | On dev, xlm-roberta-base cross-encoder with frozen embeddings beats every TF-IDF baseline on the same data/format/decode: fallback recall 0.975 +- 0.002 vs 0.943 (svmcal), precision 0.893 +- 0.030 vs 0.852, missed fallbacks 6-7 vs 15, fallb |
Cảnh báo registry
- e2_mmbert_base_cross_ce_real_frozenemb_lr1e5: mixed code_commit across seeds: ['4166114f070e9c23ccc502896964be5ca1b5900d', '434035beb22304e80dea2164609290ba0f7ea331']
- e2_mmbert_base_cross_ce_real_frozenemb_lr2e5: mixed code_commit across seeds: ['4166114f070e9c23ccc502896964be5ca1b5900d', '434035beb22304e80dea2164609290ba0f7ea331']
- e2_xlmr_base_cross_ce_real_frozenemb: mixed code_commit across seeds: ['f9b4c786240ee5e4b48b0be346fa65edf96b8a8d', 'fa6989fead7d8ef372895c2cfbbdbd7a68a99369']