AGI Không Có Khuôn Mặt

Một hệ thống có thể khiến con người mất hợp đồng, bị từ chối tín dụng hoặc bị loại khỏi một cơ hội mà không cần có ý thức. Muốn hiểu quyền lực của AI, hãy bắt đầu từ đường đi của một quyết định, trước khi hỏi có ai đang “sống” bên trong cỗ máy hay không.

1. Một câu chưa chắc chắn đi vào hệ thống

Hãy đặt mình vào một tình huống giả định. Một công ty dùng AI hỗ trợ đánh giá nhà cung cấp. Công việc khá bình thường: đọc tài liệu, tổng hợp thông tin, phát hiện rủi ro và đề xuất có nên tiếp tục đặt hàng.

Một báo cáo giao hàng ghi rằng nhà cung cấp A đã chậm hai đợt. Trong phần ghi chú, có người viết: “Có thể họ đang thiếu vốn lưu động.” Không có báo cáo tài chính đi kèm. Không có xác nhận từ phía nhà cung cấp. Đây là một cách giải thích được đặt cạnh một sự kiện đã quan sát, chưa phải nguyên nhân được chứng minh.

Agent đầu tiên đọc tài liệu và tóm tắt: “A giao hàng chậm, có dấu hiệu khó khăn thanh khoản.”

Chỉ một thay đổi nhỏ trong câu chữ, nhưng hai thứ vốn tách biệt đã bắt đầu dính vào nhau. Giao hàng chậm là điều đã xảy ra. Khó khăn thanh khoản là giả thuyết giải thích. Cách viết mới khiến giả thuyết mang dáng vẻ của một dấu hiệu đã được xác nhận.

Đến đây chưa cần một siêu trí tuệ, cũng chưa cần một âm mưu. Chỉ cần một bản tóm tắt làm mất mức độ chắc chắn của nguồn.

Nếu muốn hiểu điều gì đang xảy ra, ta phải giữ đúng đơn vị phân tích. Vấn đề không nằm trong chữ “thanh khoản”. Nó nằm ở thao tác đã biến “có thể” thành “có dấu hiệu”, ở nguồn chứng cứ bị bỏ lại phía sau, và ở người sẽ dùng câu mới để quyết định.

2. Nhiều người kiểm tra, nhưng kiểm tra cùng một thứ

Công ty không muốn phụ thuộc vào một bản tóm tắt, nên giao thêm việc cho các agent khác. Một agent tìm tin tức. Một agent đọc hồ sơ giao dịch. Một agent viết báo cáo tổng hợp. Một agent cuối đánh giá chất lượng báo cáo.

Agent ở đây là một hệ thống dùng mô hình để xử lý nhiệm vụ và có thể gọi những công cụ được cấp. Nó có thể tìm tài liệu, mở cơ sở dữ liệu hoặc tạo bản nháp. Khả năng làm việc đến từ cả mô hình, dữ liệu, công cụ và quyền hạn, chứ không nằm riêng trong câu trả lời trên màn hình.

Giả sử bản tóm tắt ban đầu đã được đưa vào kho tài liệu chung. Một bản tin nội bộ lấy lại nội dung đó. Một bản tổng hợp khác dẫn bản tin. Agent nghiên cứu tìm được cả ba và báo rằng nhiều nguồn đang cùng nêu vấn đề thanh khoản.

Ta có ba tài liệu. Nhưng chưa có ba quan sát độc lập.

Nếu truy đến gốc, cả ba vẫn quay về một lời phỏng đoán trong báo cáo giao hàng. Số tài liệu tăng lên; lượng chứng cứ về nguyên nhân chưa tăng tương ứng.

Agent đánh giá có thể phát hiện điều này nếu nhiệm vụ của nó yêu cầu truy nguồn và phân biệt quan sát với suy luận. Nhưng nếu nó chỉ kiểm xem báo cáo có đủ mục, có dẫn nguồn, lập luận có nhất quán và câu chữ có rõ ràng, báo cáo vẫn có thể được chấm tốt.

Không phải agent đánh giá cố tình nói dối. Nó đang kiểm một thuộc tính khác với thuộc tính người dùng tưởng nó kiểm. “Bài viết được trình bày thuyết phục” và “nhận định đã có chứng cứ độc lập” không phải cùng một tiêu chuẩn.

Thêm người chấm mà không sửa tiêu chuẩn có thể chỉ làm một kết luận đi qua nhiều cửa hơn. Nó không bảo đảm kết luận được kiểm tra sâu hơn.

3. Tự xem lại câu trả lời có phải là tự nhận thức?

Ta có thể yêu cầu hệ thống đọc lại báo cáo, chỉ ra điểm yếu, rồi sửa. Cách vận hành này có nét tương đồng với việc con người quan sát lại suy nghĩ của mình: không dừng ở kết luận, mà quay lại hỏi kết luận ấy được tạo ra thế nào.

Nhưng phải nhìn vào việc vòng kiểm tra thực sự làm được gì.

Nếu agent chỉ nhìn lại câu trả lời của chính nó và nhận xét “lập luận này hợp lý”, ta chưa có thêm một phép kiểm độc lập. Nó có thể đang dùng cùng những giả định đã tạo ra câu trả lời để xác nhận câu trả lời ấy.

Trong ví dụ nhà cung cấp, một vòng tự kiểm có ích phải tách được những câu hỏi cụ thể. Việc giao hàng chậm được ghi nhận ở đâu? Giả thuyết thiếu vốn do ai nêu? Các tài liệu sau có bổ sung chứng cứ mới hay chỉ dẫn lại nhau? Có nguyên nhân khác, như thiếu nguyên liệu hoặc tắc vận chuyển, chưa được kiểm tra không?

Sau đó hệ thống phải có khả năng thay đổi đầu ra: “Đã xác nhận hai đợt giao hàng chậm; nguyên nhân thanh khoản chưa được xác minh.” Nếu cần, nó phải dừng đề xuất và yêu cầu thêm dữ liệu.

Giá trị của sự quay lại không nằm ở số lần tự hỏi. Nó nằm ở việc hệ thống tìm được chỗ nào mình đã suy diễn, có cách kiểm tra chỗ đó và chịu sửa kết luận.

Đó là một vòng phản hồi kiểm chứng. LLM có thể được tổ chức để thực hiện nó thông qua chỉ dẫn, công cụ, bộ đánh giá và các bước phê duyệt. Gọi vòng ấy là “đệ quy” giúp mô tả cấu trúc xử lý. Còn gọi nó là “ý thức” thì đã thêm một câu hỏi khác: có trải nghiệm chủ quan nào đi cùng quá trình đó hay không?

Ta không cần giải quyết câu hỏi thứ hai để đánh giá câu thứ nhất. Có thể kiểm xem hệ thống truy đúng nguồn và sửa đúng lỗi hay không. Một lời tự nhận “tôi đã suy nghĩ lại” không thay thế được kết quả kiểm tra ấy.

4. Khi một nhận định được quyền làm thay đổi thực tế

Báo cáo cuối được chuyển cho bộ phận mua hàng. Nó đề nghị giảm đơn đặt hàng với A để hạn chế rủi ro. Người phụ trách thấy nhiều nguồn, thấy đã qua bước đánh giá, và chấp thuận.

Từ lúc đó, câu chuyện không còn chỉ là chất lượng văn bản. Một nhận định đã đi qua quyền phê duyệt để trở thành hành động có hậu quả.

Ở tình huống giả định này, việc giảm đơn có thể làm nhà cung cấp hụt dòng tiền. Họ xoay xở khó hơn và tiếp tục giao hàng chậm. Báo cáo kỳ sau nhận thêm dữ liệu: doanh thu giảm, tiến độ xấu đi. Hệ thống kết luận rằng cảnh báo thanh khoản ban đầu đã chính xác.

Dữ liệu mới có thể là thật. Nhưng nó không tự chứng minh suy luận ban đầu là đúng. Ta còn phải hỏi quyết định giảm đơn đã góp phần tạo ra khó khăn mới đến mức nào. Nếu bỏ qua sự can thiệp của chính mình, hệ thống có thể lấy hậu quả do quyết định gây ra làm bằng chứng cho quyết định đó.

Vòng lặp lúc này đã khép: một giả thuyết ảnh hưởng hành động; hành động thay đổi hoàn cảnh; hoàn cảnh mới được đọc như xác nhận giả thuyết.

Ta có thể gọi đó là phản hồi tự củng cố, nhưng cái tên không giải thích thay cơ chế. Cơ chế nằm ở những mắt xích vừa đi qua: mất dấu xuất xứ, tăng độ chắc chắn khi tóm tắt, tiêu chuẩn đánh giá không kiểm nguồn độc lập, quyền phê duyệt dựa vào báo cáo, và lần phân tích sau không tính đến tác động của quyết định trước.

Cũng chính vì nhìn được từng mắt xích, ta có thể hình dung một kết quả khác. Agent nghiên cứu nhận ra ba tài liệu chung một nguồn. Báo cáo giữ nguyên sự chưa chắc chắn. Bộ phận mua hàng yêu cầu kiểm tra nguyên nhân giao chậm trước khi giảm đơn. Nhà cung cấp có cơ hội giải trình và cung cấp dữ liệu.

Không có mắt xích nào bắt buộc phải đi đến kết cục xấu. Hệ thống trở nên đáng tin hơn khi nó giữ được những chỗ chưa biết và có đường để sửa chúng, thay vì làm mọi thứ trông như đã được giải quyết.

5. Vậy trí tuệ và quyền lực nằm ở đâu?

Quay lại câu hỏi ban đầu: trong câu chuyện này, thứ gì đã làm nhà cung cấp mất đơn hàng?

Không riêng agent tóm tắt. Không riêng mô hình đánh giá. Cũng không thể bỏ qua người phê duyệt. Hậu quả được tạo ra bởi cách các phần ấy nối với nhau, bởi thông tin được giữ hoặc bỏ ở mỗi bước, và bởi quyền biến một báo cáo thành hành động.

Nếu chỉ đo model trả lời tốt đến đâu, ta bỏ sót quyền hạn và quy trình. Nếu chỉ nói “hệ thống tự nổi lên”, ta lại có nguy cơ làm mất dấu những quyết định cụ thể mà con người đã đưa ra.

Một hệ thống phân tán vẫn có chỗ để kiểm soát. Ai cấp quyền đọc dữ liệu? Ai cho phép đổi hạn mức mua hàng? Ai chọn tiêu chí chấm báo cáo? Ai có thể dừng xử lý khi nguồn không đủ? Người chịu hậu quả có quyền yêu cầu xem lại không?

Những câu hỏi ấy đưa quyền lực trở về các quan hệ có thể xác định. Nhiều agent chạy trên nhiều máy không có nghĩa là không còn người sở hữu hạ tầng, trả tiền hoặc quyết định luật vận hành.

Đến đây mới nên quay lại AGI. Nếu một mạng phối hợp giải quyết được công việc mà từng model riêng lẻ không làm được, đó là lý do để đánh giá năng lực ở cấp hệ thống. Muốn gọi năng lực ấy là tổng quát, vẫn phải kiểm tra khả năng chuyển sang các nhiệm vụ và hoàn cảnh khác. Một dây chuyền xử lý báo cáo hiệu quả chưa đủ trả lời câu hỏi đó.

Tương tự, việc hệ thống gây hậu quả nhất quán chưa cho biết nó có một mục tiêu chung. Trong ví dụ này, tác động có thể được giải thích bằng nhiệm vụ được giao, tiêu chí đánh giá và quyền phê duyệt. Không cần thêm giả định rằng một chủ thể mới đã hình thành giữa các agent.

Nhưng việc chưa chứng minh AGI không làm vấn đề nhỏ đi. Nhà cung cấp chịu hậu quả từ quyết định thực tế, chứ không từ tên gọi mà ta gắn lên hệ thống.

“AGI không có khuôn mặt” vì vậy là một câu hỏi về cách ta quan sát: đừng chỉ tìm một cỗ máy có vẻ thông minh. Hãy xem một nhận định đi qua những bước nào để trở thành quyết định, ai kiểm tra nó, và ai được quyền sửa khi nó sai.

Một hệ thống nói lưu loát có thể khiến ta yên tâm quá sớm. Một hệ thống tốt hơn phải giúp ta nhìn thấy lý do để tin, giới hạn của lý do ấy và chỗ mà sự kiểm tra vẫn chưa kết thúc.

Điều cần giữ không chỉ là quyền bấm nút cuối cùng. Đó còn là khả năng hiểu vì sao mình sắp bấm, và khả năng không bấm khi bằng chứng chưa đủ.

English — AGI Without a Face

A system can cause someone to lose a contract, be denied credit or be excluded from an opportunity without possessing consciousness. To understand AI’s power, begin with the path of a decision before asking whether somebody is “alive” inside the machine.

1. An uncertain statement enters the system

Consider a hypothetical company using AI to assess suppliers. The task is ordinary: read documents, consolidate information, identify risks and recommend whether purchasing should continue.

A delivery report records that supplier A has missed two deadlines. Someone adds a note: “They may be short of working capital.” There are no financial statements attached and no confirmation from the supplier. An observed event has been placed alongside a possible explanation, not a demonstrated cause.

The first agent summarizes: “A has delayed deliveries and shows signs of liquidity problems.”

The wording changes only slightly, but two different things begin to merge. The delays happened. The liquidity problem is a hypothesis explaining them. The new sentence makes the hypothesis sound like an established warning sign.

No superintelligence or conspiracy is required. A summary has simply lost the source’s degree of uncertainty.

To understand the event, keep the unit of analysis clear. The problem is not the word “liquidity.” It is the operation that changed “may” into “shows signs,” the evidence left behind, and the person who will use the new sentence to decide.

2. More checks, but checks of the same thing

The company does not want to rely on one summary, so it assigns more agents. One searches for news, another reviews transaction records, a third consolidates the findings, and a final agent evaluates the report.

An agent here is a system that uses a model to handle tasks and can invoke tools it has been granted. It may search documents, open a database or draft a response. Its capabilities come from the model, data, tools and permissions together, not merely from the answer displayed on a screen.

Suppose the original summary enters a shared repository. An internal bulletin repeats it. Another digest cites the bulletin. The research agent finds all three and reports that multiple sources are raising liquidity concerns.

There are three documents. There are not yet three independent observations.

Tracing them to their origin would lead back to the tentative note in the delivery report. The number of documents has increased without a corresponding increase in evidence for the proposed cause.

An evaluator could detect this if instructed to trace provenance and separate observation from inference. But if it checks only that the report has the required sections, citations, internal consistency and clear prose, the report may receive a good score.

The evaluator need not be intentionally deceptive. It is checking a different property from the one the user assumes it checks. Persuasive presentation and independent evidential support are different standards.

Adding reviewers without changing the standard may merely send a conclusion through more gates. It does not guarantee deeper examination.

3. Is reviewing an answer a form of self-awareness?

We can ask a system to reread its report, find weaknesses and revise it. This resembles one feature of human reflection: instead of stopping at a conclusion, return to how that conclusion was produced.

But examine what the review actually accomplishes.

If an agent merely rereads its own answer and declares the reasoning sound, no independent check has necessarily been added. It may be using the assumptions that produced the answer to validate that answer.

In the supplier example, a useful review must distinguish specific questions. Where were the delays recorded? Who proposed the working-capital explanation? Do subsequent documents add evidence or merely repeat one another? Have alternatives such as material shortages or transport disruption been investigated?

The system must then be able to change its output: “Two delivery delays are confirmed; liquidity problems have not been verified as their cause.” Where necessary, it must withhold the recommendation and request more evidence.

The value of returning to an answer is not how often the system questions itself. It is whether it identifies an unsupported inference, has a way to check it, and revises the conclusion accordingly.

This is a verification feedback loop. LLMs can be organized to perform such loops through instructions, tools, evaluators and approval stages. Calling the arrangement recursive describes its processing structure. Calling it conscious adds another question: does any subjective experience accompany that process?

We need not settle the second question to evaluate the first. Correct provenance tracing and error correction can be tested. A statement such as “I reconsidered” is no substitute for those results.

4. When a claim gains permission to change reality

The final report reaches purchasing. It recommends reducing orders from A to limit risk. The manager sees multiple sources and a completed evaluation stage, then approves.

At that point the issue is no longer merely writing quality. A claim has passed through delegated authority into consequential action.

In this hypothetical case, reduced orders could deprive the supplier of cash flow. Operating conditions worsen and deliveries continue to slip. The next report receives new information: declining revenue and deteriorating schedules. The system concludes that its original liquidity warning was correct.

The new data may be real. It does not automatically establish that the original inference was justified. We must also ask how much the purchasing decision contributed to the subsequent difficulty. Ignoring its own intervention can allow a system to use the consequences of a decision as evidence for that decision.

The loop is now closed: a hypothesis influences action; action changes circumstances; the changed circumstances are read as confirmation of the hypothesis.

Calling this reinforcing feedback does not explain it by itself. The mechanism consists of the links just followed: lost provenance, increased certainty during summarization, evaluation that does not check independent evidence, approval based on the report, and later analysis that omits the effect of the earlier decision.

Because the links are visible, another outcome is imaginable. The research agent discovers that all three documents share one source. The report preserves uncertainty. Purchasing investigates the delay before reducing orders. The supplier has an opportunity to explain and provide evidence.

None of the links makes the harmful outcome inevitable. Reliability improves when a system preserves what is not known and provides a route to resolve it, rather than making everything look settled.

5. Where are intelligence and power located?

Return to the initial question: what caused the supplier to lose orders?

Not the summarizing agent alone. Not the evaluator alone. The approving manager cannot be excluded either. The result arose from their connections, the information retained or discarded along the way, and the authority to turn a report into action.

Measuring only the model’s answer quality misses permissions and process. Saying merely that “the system emerged” risks losing sight of the specific decisions people made.

Distributed systems still have control points. Who grants data access? Who authorizes changes to purchasing limits? Who chooses evaluation criteria? Who can halt processing when evidence is insufficient? Can affected people request reconsideration?

These questions locate power in identifiable relationships. Agents running on many machines do not eliminate infrastructure owners, funders or people setting operational rules.

Only now should we return to AGI. If a coordinated network solves work its individual models cannot, there is a reason to evaluate capability at the system level. Calling that capability general still requires testing transfer to different tasks and circumstances. An efficient reporting pipeline alone cannot answer that question.

Likewise, consistent consequences do not establish a shared goal. In this example, the effects can be explained through assigned tasks, evaluation criteria and approval authority. No additional assumption of a new subject arising between the agents is required.

The absence of demonstrated AGI does not make the issue trivial. The supplier experiences the consequences of the actual decision, not of the label attached to the system.

“AGI without a face” therefore asks us to examine how we observe. Do not look only for an impressive machine. Follow how a claim becomes a decision, who checks it, and who is allowed to correct it when it is wrong.

Fluent output can make us comfortable too quickly. A better system should expose the reasons for confidence, the limits of those reasons, and the places where verification remains unfinished.

What we must preserve is more than the right to press the final button. It is the ability to understand why we are about to press it, and to refrain when the evidence is insufficient.

Đọc tiếp / Further reading

AI Và Câu Hỏi Về Ý Thức · Giai Cấp Lao Động Tổng Hợp - Khi Capital Sở Hữu Đội Quân Không Ngủ · Source Discipline - Kỷ Luật Nguồn Và Bằng Chứng

Nguồn cảm hứng: bài luận của Pascio về mạng lưới agent. Minh họa do AI tạo, mang tính khái niệm. / Inspired by Pascio’s essay on agent networks. Illustrations are AI-generated conceptual images.