METR đánh giá độc lập: AI có thể đã giúp Anthropic phát triển model nhanh gấp đôi, nhưng phần lớn bằng chứng bị che

Nhiều năm nay, câu hỏi “AI có đang giúp nghiên cứu AI nhanh hơn không” là mắt xích của mọi kịch bản AI bứt tốc và mọi chính sách an toàn của các phòng lab. Nhưng gần như không ai bên ngoài có thể đo được điều đó. Ngày 5/11/2026, tổ chức phi lợi nhuận METR, chuyên đánh giá năng lực và rủi ro của AI, công bố báo cáo Independent Assessment of AI R&D Acceleration at Anthropic in October 2026. Đây là lần đầu tiên một đơn vị bên ngoài đo vấn đề này bằng chính dữ liệu nội bộ của một phòng lab. Theo METR, vòng lặp “AI giúp làm ra AI tốt hơn” nhiều khả năng đã bắt đầu quay ở Anthropic. Báo cáo cũng nói thẳng hiếm thấy về những gì công chúng không được xem.

METR đã làm gì

Từ 12/8 đến 29/10/2026, nhóm METR (tương đương 2,5 người làm toàn thời gian) làm việc trên thiết bị của Anthropic. Họ được tiếp cận điểm benchmark của các model chưa phát hành, lịch sử hiệu suất của giai đoạn pretraining (huấn luyện nền) và RL (học tăng cường), số liệu compute huấn luyện, nhân sự, số dòng code và pull request, chi phí chạy agent AI, khảo sát nội bộ về mức tăng năng suất, cùng khoảng 15 cuộc phỏng vấn nhân viên. METR cho biết họ không nhận tiền. Anthropic chỉ cấp token miễn phí, chủ yếu dùng để phân tích dữ liệu. METR cũng không được chạy thử các model chưa công bố.

Cuộc đánh giá trả lời ba câu hỏi: tốc độ tăng năng lực của Anthropic có nhanh lên không, bao nhiêu phần nhờ AI, và có điểm nghẽn nào chặn được đà cộng dồn không. Báo cáo đầy đủ khoảng 100 trang được gửi Anthropic ngày 22/10. Bản công khai chốt ngày 3/11 là phần Anthropic cho phép đưa ra ngoài.

Những con số chính

METR định nghĩa “tăng tốc” là tỉ số giữa hai tốc độ tăng trưởng. Tăng tốc 2 lần nghĩa là một năm làm được lượng tiến bộ trước đây cần hai năm.

  • Xu hướng benchmark: 1,9 lần (khoảng tin cậy 95%: 1,5–2,8 lần). METR khớp một đường xu hướng có một điểm gãy trên AECI. Đây là phiên bản nội bộ của Anthropic dựa trên Epoch Capabilities Index, gộp nhiều benchmark thành một điểm năng lực chung. Từ tháng 10/2025, độ dốc lớn hơn khoảng 1,9 lần so với trước. Nói cách khác, tiến bộ của Anthropic trong năm qua xấp xỉ mức của cả giai đoạn 10/2023–10/2025, tức “đại khái từ Claude 2.1 đến Sonnet 4.5”. Con số này cao hơn mức 1,7 lần trong system card của Haiku 5.5 vì có thêm ba model chưa phát hành, huấn luyện xong từ tháng 7 đến tháng 10/2026.
  • Khi đổi cách phân tích, gồm chọn bộ benchmark khác, đổi cách xác định thời điểm của model, xử lý benchmark đã bão hòa và đổi hàm liên kết, kết quả dao động từ 1,1 đến 2,9 lần.
  • Không phải do compute. METR nói đã nhận được “bằng chứng thuyết phục” rằng việc tăng tốc không đến từ việc tăng compute huấn luyện nhanh hơn. Bản thân bằng chứng đó bị che.
  • Khoảng 80% nhờ AI. Theo đánh giá chủ quan của METR, phần lớn mức tăng tốc tại thời điểm tháng 10/2026, “có lẽ khoảng 80%”, là do Anthropic dùng AI trong nghiên cứu. Bước ngoặt cuối năm 2025 thì nhiều khả năng chịu tác động lớn của các yếu tố khác.
  • Nhân viên tự báo cáo nhanh hơn tới 12 lần. Các cuộc thăm dò không chính thức trên Slack, bỏ phiếu bằng emoji, cho thấy mức “nhanh hơn” tự đánh giá tăng lên 12 lần với model nội bộ mới nhất. Theo cách AlphaSignal đọc biểu đồ của METR, đầu năm 2025 con số này chỉ khoảng 1,2 lần, với Claude 3.7 Sonnet. METR gọi đây là bằng chứng “rất lỏng”.
  • Chưa thấy điểm nghẽn. METR không thấy dấu hiệu thuật toán, compute huấn luyện, compute cho thí nghiệm hay dữ liệu sẽ trở thành giới hạn trong 12 tháng tới, dù nhóm thừa nhận đã “đổi nhận định nhiều lần” về chuyện này.

Kết luận chung, theo METR là quan điểm của phần lớn thành viên dự án: tính đến tháng 10/2026, Anthropic nhiều khả năng đang cải thiện model trên các tác vụ được định nghĩa rõ với tốc độ gấp khoảng hai lần giai đoạn 3/2024–10/2025. Nhóm cũng “không ngạc nhiên” nếu con số thật gần 1,3 hoặc 3 lần.

Phỏng vấn nói gì

Với lập trình viên, phần phụ lục phỏng vấn là phần dễ hình dung nhất. METR dùng Claude phân loại các trích dẫn theo hướng ủng hộ hay không ủng hộ mức tăng tốc từ 2 lần trở lên, và kết luận kết quả “hơi nghiêng về phía ủng hộ”. Cách làm việc được mô tả khá quen thuộc: “Giờ chỉ còn nghẽn ở ý tưởng và compute, không còn nghẽn ở code”. “Chi phí làm thí nghiệm bị kéo về gần bằng 0 rất nhanh”. Nhà nghiên cứu “ném 10 ý tưởng” vào một agent scaffold (bộ khung điều phối agent) rồi giữ lại cái nào chạy được. Một người tóm tắt các mốc: Opus 4.5 là model đầu tiên tự viết code được, còn Mythos Preview cùng agent scaffold là lần đầu tự chạy được thí nghiệm.

Ý kiến phản bác cũng được ghi lại. Một người ước tính chỉ 15–20% sự thay đổi là nhờ AI và nói thẳng mình không tin các con số năng suất tự báo cáo. Người khác cho rằng tuyển thêm người mới là “lý do lớn nhất”. METR xác nhận AI hiện chưa thể đóng góp “đáng kể và hoàn toàn tự chủ” vào những khâu quan trọng nhất của quá trình huấn luyện. Phần tăng tốc chủ yếu vẫn đến từ việc AI hỗ trợ con người, còn khả năng tự chủ mới chỉ có “dấu hiệu sự sống”.

Vì sao điều này quan trọng, không chỉ với Anthropic

Với ngành phần mềm, cơ chế mới là điều đáng chú ý nhất. Sự tăng tốc mà METR mô tả không đến từ việc model tự nghĩ ra thuật toán mới. Nó đến từ việc chi phí triển khai gần như biến mất: một ý tưởng trước đây mất 1–2 ngày để code thì nay “gần như miễn phí”, nên người ta thử nhiều hơn hẳn. Tổ chức kỹ thuật nào bị giới hạn bởi số thí nghiệm chạy được cũng nên chờ đợi hiệu ứng tương tự. Code không còn là điểm nghẽn. Thay vào đó là khả năng phán đoán, compute và năng lực đánh giá kết quả.

Về quản trị rủi ro, Anthropic xếp mức tăng tốc R&D nhờ AI vào nhóm chỉ báo rủi ro then chốt trong Chính sách mở rộng có trách nhiệm (Responsible Scaling Policy – RSP). METR nói họ không chấm theo các ngưỡng trong RSP, nhưng báo chí lưu ý rằng mức khoảng 2 lần nằm đúng ngưỡng cảnh báo sớm Anthropic đặt ra. Nếu tiến bộ cộng dồn trong khi kiểm toán vẫn chạy theo lịch hàng quý của con người, việc đo lường kiểu này phải trở thành thường lệ, và ở nhiều phòng lab chứ không chỉ một.

Những lý do để thận trọng

Chính METR đã liệt kê các điểm yếu, điều đáng ghi nhận:

  • Có thể chính benchmark tạo ra câu chuyện. AECI chỉ đo các tác vụ dễ chấm điểm và được định nghĩa rõ. Tiến bộ nhanh trên tác vụ “sạch” có thể phóng đại tiến bộ ngoài đời thực, hoặc phản ánh việc tối ưu quá mức theo bộ benchmark.
  • Mốc so sánh thấp làm tỉ số phình lên. Năm 2025 Anthropic đứng sau nhóm dẫn đầu. Nếu tính trên toàn bộ model hàng đầu của ngành, mức tăng tốc chỉ còn khoảng 1,4 lần.
  • Số liệu tự báo cáo không đáng tin nhiều. Chính nghiên cứu năm 2025 của METR từng cho thấy công cụ AI làm lập trình viên open-source giàu kinh nghiệm chậm đi trên các tác vụ được thử.
  • Ngược lại, con số cũng có thể bị đánh giá thấp. Tăng trưởng có thể đang theo dạng hyperbol. Dữ liệu ở cấp model luôn trễ hơn nghiên cứu khoảng một lần huấn luyện. Điểm benchmark cũng có thể không phản ánh hết những bước nhảy ngoài thực tế.

Điểm đáng lo nhất nằm ở quy trình. Anthropic có quyền đơn phương che thông tin và đã dùng quyền đó để bỏ “phần lớn những bằng chứng chúng tôi thấy có giá trị nhất”. Lý do Anthropic đưa ra là tránh giúp các đối thủ đi nhanh hơn. Từ 27 đến 29/10, Anthropic còn siết hướng dẫn che thông tin. Anthropic cũng hủy giữa chừng một hạng mục đã ký trong hợp đồng: kiểm chứng cách phân bổ compute giữa phát triển năng lực và nghiên cứu an toàn, với lời hẹn sẽ xem xét lại sau. METR còn kể rằng một số góp ý của Anthropic về câu chữ “hơi quá mạnh tay”, dù họ không cho rằng bản cuối bị bóp méo. Kết quả là người đọc buộc phải tin vào nhận định của METR thay vì tự kiểm tra bằng chứng. Chính METR thừa nhận điều đó không lý tưởng.

Dù vậy, đây vẫn là một tiền lệ quan trọng. Lần đầu tiên một phòng lab hàng đầu để đơn vị độc lập đo mức “tự tăng tốc” của chính mình, và đơn vị đó công bố một con số kèm sai số. Bước tiếp theo nên là lặp lại việc này với ít phần bị che hơn, và ở cả OpenAI lẫn Google DeepMind.

Nguồn