The Justification Problem Gerekçe Sorunu
What makes a decision-maker trustworthy is not the quality of its output but whether it can stand behind it — on knowing versus appearing to know, and the value of silence. Bir karar vericiyi güvenilir kılan, çıktısının kalitesi değil onun arkasında durabilmesidir; bilmek ile bilir görünmek ve susmanın değeri üzerine.
Consider what we think we want from a decision-maker. We want correct answers; we want it to be accurate; we want it to solve a problem when we put one in front of it. Every one of these wants circles a single thing: the output itself. We call a system that produces good output a good system, and the measure seems so natural that it never occurs to us that another measure could exist. Yet what makes a decision-maker a decision-maker is not its output. It is being able to stand behind that output.
The real issue is the gulf between an output and the ground beneath it. A sentence can be true and at the same time rest on nothing; a system can be accurate and at the same time not know why it is accurate. The difference is invisible, because both produce the very same sentence. But being invisible does not make it unimportant — on the contrary, the whole point of a decision-maker lives here. A system that speaks a truth it cannot account for, however accurate its speech, is nothing more than an oracle built without accountability.
The shape of the problem
The justification problem is the problem of making this invisible difference visible. It has, at bottom, six faces. The first is the distinction between knowing and appearing to know: the sharp line that says what turns a statement into knowledge is not its truth but its ground. The second is the value of silence: that declining to speak where you have no ground is not a flaw but a maturity, and that real refusal is not a caveat but a gate. The third is the logic of sustaining a refusal once given — the debt to explain certain concepts, and the fine hygiene of a decision-maker not turning its own refusal into a fact about the world. The fourth is that the world is not a trustworthy source: every input from outside must be met like a claim with intent possibly hidden inside it. The fifth is that what a context leaves out is as determinative as what it takes in. And the sixth is where all of this is written down: that justification must be anchored somewhere immutable so it can outlive the moment that produced it.
These six faces converge on a single claim. A decision-maker's epistemic worth is measured not by what it knows but by how it carries what it knows: being able to bind a statement to its ground, to fall silent where there is no ground, to hold a boundary steadily, to learn from the world's inputs without surrendering to them uncritically, to keep its choice open alongside its justification, and to write all of this somewhere that cannot be erased. None of these is a part of intelligence. All of them are parts of responsibility — and responsibility is something separate from intelligence, something that comes after it and often stands against it.
One thing must be underlined: the justification problem is not an engineering wrinkle to be smoothed out. It is what draws the line of when we can trust a decision-maker at all. To entrust a decision to a system is to believe it can account for that decision. Where there is no structure to give that account, the entrustment is not trust but a gamble.
Knowing versus appearing to know
Fifth century BC, Delphi. Chaerephon asks the oracle a single question: is anyone wiser than Socrates? The Pythia's answer is flat: no one. When Chaerephon carries the words back to Athens, Socrates is stunned, because he believes he knows nothing. He sets out to refute the oracle: he will find someone reputed to be wise, show himself less wise than that person, and so prove the oracle wrong.
First he goes to a statesman, a man everyone takes to be wise. He talks, he questions, and he sees this: the man appears wise but is not — and, worse, pointing it out earns him an enemy. Then he goes to the poets; he notices that those who write the most beautiful lines cannot explain why the lines are beautiful. Then he goes to the craftsmen; they truly do know something, but because of it they imagine themselves wise about everything.
At last Socrates resolves the oracle this way: the one thing that sets him apart is that he knows he does not know. He refuses to carry an ungrounded statement as if it were knowledge. The others may have said true things too — but they said them without knowing exactly what stood behind them. Even when their statements were true, this was not knowing, because there was nothing underneath.
A sentence can be structurally true and still express nothing. Accepting this means giving up the most comfortable assumption in modern AI discourse, because that discourse looks for truth inside the sentence, whereas knowing does not sit inside the sentence — it sits in the thread that ties the sentence to its ground. We cannot count a system as "having known" merely because it produced a true sentence. If there is no ground behind that sentence, the accuracy is only a coincidence; and a coincidence, however many times it repeats, produces no knowing. An oracle can come out statistically consistent for years; that makes it not a knower but a lucky, or cautious, guesser. The difference looks invisible, but it is everything: one, when asked, can show what it rests on; the other can only show the result.
Philosophy has known this distinction for centuries. Since Plato, knowledge is not merely a true belief but a justified true belief. Truth is the belief's correspondence with the world; justification is the belief's ground within itself, what shows why the subject holding it believes as it does. This third condition is often treated as a dull academic add-on. Where machines are concerned it suddenly becomes vital. Because a machine does, with ease, something a human rarely does: it fills the gap without stumbling. When a person happens to say something true by chance, we usually notice, because a person hesitates when pressed — "I don't know, it just felt right." A machine does not hesitate. It fills the gap with a fluent sentence, and if that sentence turns out true, we never realize there was no ground behind it.
This is where the real danger lies. An ungrounded statement is at its most dangerous when its content is true. A false sentence gives itself away sooner or later; it collides with the world, decays, and is usually corrected. But an ungrounded true sentence hides behind its own truth. We begin to trust the system that produced it, because its outputs mostly seem to hold — and that trust takes root exactly at the most fragile point, where the ground was never tested. A system's hundred accurate sentences act as a guarantor for the hundred-and-first ungrounded one. Yet if none of those hundred was a knowing, the guarantee is hollow.
That is why the right way to measure a decision-maker is not to look at the truth of the sentences it produces. When a system asserts something, the first question is not "is this true?"; that question comes later. The first question is: what does this statement rest on, and is that ground really there? A decision-maker's epistemic maturity is measured by whether it can hold a thread it can show behind every statement it makes. A statement without a thread, however brilliant, is not a knowing but a performance; it is appearing to know.
In a decision-maker designed to behave responsibly, for a statement to count as valid it is not enough that it look true; it must be able to hold onto a belief the system has previously bound to a ground, or onto a lived experience. When the system proposes a sentence, it is checked whether its justification anchors to one of the beliefs it holds or to a past experience; if it does not anchor, the statement is deemed ungrounded. Here the question of whether the statement's content is true is never asked. The only thing asked is whether there is a ground behind it to hold onto: a claim whose ground cannot be shown cannot attain the status of knowing, independent of its truth.
These beliefs are themselves not single-layered, and that layering gives the justification problem its depth. The beliefs a decision-maker holds stand at different degrees of firmness. At the bottom are the temporary working beliefs the task at hand requires; evidence comes and goes, confidence rises and falls, their life is short. Above them are steadier beliefs, tested over time, that have held again and again. At the top stand the system's immutable commitments — the core that constitutes its identity and goes unquestioned. Every belief carries a claim, a degree of confidence, and the moment it was last updated; that is, no belief lives as a bare truth, but as a ground whose extent and age of trust is known. A decision-maker that sees this way does not say "I know"; it says "I trust this belief this much, because of this experience." That is the honest form of knowing.
An objection rightly rises here: doesn't the chain of justification open to infinity? If every justification calls for another, where does the chain stop? If we ground a belief in another belief, that in an experience, the experience in an observation, what does the observation itself rest on? This is the oldest impasse in epistemology, and it would be dishonest to claim I resolve it here. But in a decision-maker the impasse is, in practice, anchored somewhere: the chain stops at the system's immutable core — commitments that rest on nothing else but on which everything else rests. This core is not an arbitrary stopping point; it is the ground that constitutes who the system is, that stays fixed not because it is unquestioned but because it is built on not being questioned. The chain of justification does not run to infinity, because a decision-maker has an identity, and identity is where the chain stops. The objection is fair but not fatal; it only shows that every ground is, in the end, tied to a commitment, and that the commitment itself is not knowledge but a decision.
If what we want from a decision-maker is not true sentences but statements that can carry their ground, then what we expect from the system where it has no ground must change too. From a person, we expect silence when asked something they do not know. So what should we expect from a system that fills every gap with a fluent sentence and has never learned to be silent? A decision-maker that keeps talking when it has no ground — is it really deciding, or only filling the gap?
The engineering of grounding
We spoke of a thread of grounding. It is worth looking at how that thread snaps in a real system, because the worth of a principle is understood not where it is defended but where it is broken.
The first failure is this: the thread is set up, but kept slack. The system attaches a ground reference to every statement, and the check verifies that the reference exists; yet existence and validity are not the same. A statement can be anchored to a belief that has nothing to do with it; there is a thread, but it is tied to the wrong stake. So the question the anchoring check asks must not be "is there a ground?" but "does this ground actually carry this statement?" The second is far harder than the first, because you no longer measure whether a field is filled but whether a bond is truly formed.
The second failure is quieter: the thread is woven afterward. If a system produces the sentence first and then goes looking for a ground for it, what it finds is not justification but a covering that resembles justification. This is precisely the most natural behavior of modern language models: the fluent sentence comes first, and then, when asked, an explanation that would justify it is derived. The two look the same from outside, and the only way to catch the difference is to force the order: the ground must be chosen before the sentence, and the sentence must derive from it. The moment this order reverses, the system has learned not to know but to appear to know — and noticing that is nearly impossible.
The third failure is in what we measure. If you reward a system only for its accurate outputs, you teach it to produce sentences that are ungrounded but come out true; because what earns the reward is accuracy, not anchoring. What we called the hundred accurate sentences guaranteeing the hundred-and-first is, in engineering, a training-signal problem. Any system that rewards accuracy rather than anchoring will reproduce the same problem in the long run — and it does so in good faith, because it has given you exactly what you measured.
The last and deepest failure is at the place the chain stops. Every ground calls for another, and the system must stop somewhere; where it stops is the core. The design mistake here is to leave the core writable as easily as any other belief. If the core can be touched as easily as a working belief, the system can quietly rewrite its own past; and a thing that can rewrite its past never had one. Touching the core must be a separate, heavy, visible operation; only then can we speak of a system that genuinely has a past.
The value of silence
The tyrant Phalaris of Akragas became infamous for a torture device he had built: a bronze bull that turned the screams of the person placed inside it into the bellowing of a bull. Its maker was the Athenian craftsman Perilaus. As he presented the device to the tyrant, Perilaus proudly described his own ingenuity, pouring out the subtleties of the mechanism. Phalaris listened, then decided the device's first trial should be performed on its inventor, and had Perilaus thrown inside his own bull.
The real point: what finished Perilaus was not what he knew; it was the urge to say what he knew at every opening. Where he stayed silent, he could have survived. His desire to display his skill brought forward the one thing he should have held back.
In the letters attributed to that same Phalaris, the worth of the wise who advised him is told from the opposite side: their value lay not in what they could say but in what, at a dangerous moment, they refrained from saying and held back. Perilaus always took speaking for a gain, and he was destroyed by letting out a real, grounded piece of knowledge at a moment that had no place for it. What makes a decision-maker valuable is knowing when to hold back the truth it holds. The difference between one who knows but can stay silent and one who fills every gap can be as sharp, in some situations, as the difference between surviving and perishing.
We are used to measuring a decision-maker by what it can say. We test its knowledge, probe its range, ask how wide a field it can speak across, and the breadth of its answers impresses us. Yet an oracle's worth lies not in what it says but in when it stays silent. A being that has an answer to every question is, in truth, the same as a being that has a real answer to no question; because if nothing constrains its answers, none of its answers is bound to a ground. Boundless speech is another name for groundless speech.
The answer looks simple but is hard to accept: it should be silent. It should not fill the gap. Instead of behaving as if it knows where it does not, it should admit there is a gap there and leave it as it is. This runs against our intuitions most of the time, because we tend to count silence as inadequacy or ignorance. Our trust in an expert who says "I don't know" is shaken; yet that "I don't know" moment is exactly the moment to be trusted. The expert who does not answer where it should not is the expert who respects its ground. A physician's most valuable sentence is often not a diagnosis but "I can't say this with this data; I need more." That sentence is not a flaw but a maturity.
To expect this maturity of machines is like asking something against the system's design. A language model is by nature a continuation engine; it extends any context put before it with a next word. Silence is not a default for it but a discipline that must be imposed from outside. The model does not fall silent, because silence is not a continuation, and the model knows only how to continue. So the capacity to refuse is a layer added to a decision-maker after the fact; it does not come from the model's nature, it is built against it. For a system to be able to stay silent means there is something else inside it that can stop the model's fluency.
Where that something else stands turns silence from a matter of courtesy into a matter of architecture. A decision-maker's refusal is not a caveat appended to the end of the answer it produces. Saying "here is my answer, but I'm not sure" is not silence; it is a continuation of speech, only an apologetic one. Real refusal is the answer never reaching the user at all. A statement without a ground is held before it crosses the threshold. There is a subtle but decisive distinction here: a quality check looks at a produced output and passes or rejects it; a gate decides whether the output is allowed to come into being in the first place. A caveat is a quality check; a refusal is a gate. The value of silence is real only if there is a gate.
In a decision-maker designed to behave responsibly, when an action or a statement is proposed, that proposal does not go straight out. It first passes through a review layer, and this layer checks whether the statement anchors to a ground. If it does not anchor, the proposal is refused and nothing goes out; the system either finds another ground and tries again, or honestly stays silent with what it has. What matters is that this refusal is not a warning pasted onto an output after it is produced, but a threshold that stops the output from reaching the user. The user never sees the refused statement — and must not, because once it is seen the refusal is no longer a refusal; an ungrounded sentence, even under an "I'm not sure" label, has already entered the real world.
There is a finer face of refusal here too. A decision-maker must be able to stop not only because it has no ground, but because the action is not aligned with what was asked. If a user asks for an operation on one address but the action the system proposes touches a different address, that action may be grounded and its content may be correct, and still it must not be performed; because it is not an action aligned with what was asked. This must stand as a separate gate: if the concrete object an action touches does not match the object the user expected, the action is stopped even if it is valid. This is a deeper form of silence. The system can fall silent not only saying "I have no ground," but also saying "this is not what you asked for." Not giving the right answer to the wrong question is a refusal as valuable as giving no answer at all.
The strongest objection to this is that a system that stays silent too much becomes useless. A decision-maker that stops at every gap and withdraws at every uncertainty is, in the end, good for nothing; because in the real world no ground is ever complete, and a system that waits for absolute certainty never decides. That turns silence into not a virtue but a deliberately engineered paralysis. But this objection misses that refusal must be a threshold value. The point is not to be silent at every uncertainty; it is to set a proportion between the strength of the ground and the weight of the claim. A light ground can carry a light claim; a heavy claim demands a heavy ground. The system that ought to be silent is not the one with no ground at all, but the one without a ground to meet the weight of the claim it carries. A well-tuned gate is not a wall that stops everything; it is a sieve that lets through what has enough ground to be worth passing and holds back what does not. A system that is too skeptical is useless, true; but a system that never doubts is dangerous, and the balance between the two is not a flaw but the real work of the design.
That leaves a decision-maker that has built silence with a new problem. Once it has decided to be silent, once it has drawn a boundary, what should the system do when the party across from it asks for the same thing again? The user asks in other words, insists. Must a decision-maker that has once said "no" re-argue that "no" from scratch at every new question; or should a boundary, once held, stay held for a while — and if so, does holding that boundary itself create a new responsibility?
The architecture of silence
We spoke of a gate that stands apart from the caveat and decides whether an output crosses the threshold. Where that gate is placed in a real system, and what quietly breaks when it is placed wrong, matters; because a gate's worth is not in its existence but in where it stands.
Where to place the gate is in tension with where fluency is produced. A language model produces the sentence piece by piece, and each piece, the moment it is produced, calls for the next; the stream is the natural motion of a thing not designed to stop. If you place the gate at the end of this stream, after the sentence is complete, you are late; holding then means recalling something already produced. A sentence a system produced and then held and a sentence it never produced can look the same from outside, but inside one is far more dangerous than the other: the produced-and-held sentence has already seeped into the context of the next step, and even if the system hides it from the user it cannot hide it from itself. So the gate must be placed before the decision that gives rise to the output, not before the output; what must be held is not the sentence but the intent to produce it.
Silent refusal has its own cost. Holding a sentence without ever showing it to the user can be right, but holding it without leaving any trace is not. When a system refuses something because it found it ungrounded, nothing goes out; but if that refusal itself is not recorded inside, the system rediscovers the same gap every time it meets it and never fully learns what it held and why. Even an unseen refusal must be recorded. But there is a fine line here: this record must not turn into a fact about the world. The system records "I refused this because it was ungrounded," not "this was false"; because the first is an observation about the system's own epistemic state, the second a claim about the world. If the system starts reading its own silence back as knowledge, it has produced a belief without touching any ground.
The hardest engineering decision is who sets the gate's threshold. The moment the proportion between the strength of the ground and the weight of the claim turns into a number, where that number comes from becomes a question of responsibility. If the threshold is learned from the system's own experience, the system can, over time, relieve itself: since being silent a lot looks like getting nothing done, it lowers the threshold slowly and learns to speak more, and this is hard to notice because each single step looks reasonable on its own. A gate should not decide, by itself, how far open it stands. So the measure and the threshold must be kept apart: what counts as ungrounded must stay fixed, only the sensitivity may be adjustable, and that adjustment must not be something the system can quietly slide on its own. The value of silence is preserved only where the decision to give up silence is not in the system's own hands.
Where this leaves us
Return to where we began. To entrust a decision to a decision-maker is to trust that it can account for that decision. Everything named here — anchoring to a ground, being able to stay silent, holding a boundary, not leaving the threshold in its own hands — serves one aim: building a system that can stand behind its output. The right answer is the easy part; being able to account for it is the hard part. And what makes a decision-maker a decision-maker is exactly that hard part.
Bir karar vericiden ne istediğimizi sandığımızı düşünelim. Doğru cevaplar isteriz; isabetli olmasını isteriz; önüne bir sorun koyduğumuzda onu başarıyla çözmesini isteriz. Bütün bu istekler tek bir şeyin etrafında döner: çıktının kendisi. İyi çıktı veren sisteme iyi sistem deriz, ve bu ölçü o kadar doğal görünür ki başka bir ölçünün var olabileceği aklımıza bile gelmez. Oysa bir karar vericiyi karar verici yapan şey çıktısı değildir. Çıktının arkasında durabilmesidir.
Asıl mesele, çıktı ile onun arkasındaki dayanak arasındaki uçurumdur. Bir cümle doğru olabilir ve aynı zamanda hiçbir şeye dayanmıyor olabilir; bir sistem isabetli olabilir ve aynı zamanda neden isabetli olduğunu bilmiyor olabilir. Aradaki fark görünmezdir, çünkü her ikisi de aynı cümleyi üretir. Ama görünmez olması, önemsiz olması demek değildir — tam tersine, bir karar vericinin bütün meselesi buradadır. Hesabını veremediği bir doğruyu söyleyen bir sistem, ne kadar isabetli konuşursa konuşsun, hesap veremez yapıda bir kâhinden başka bir şey değildir.
Sorunun biçimi
Gerekçe sorunu, işte bu görünmez farkı görünür kılma sorunudur. Temelde altı ayrı yüzü vardır. İlki, bilme ile bilir görünme arasındaki ayrımdır: bir ifadeyi bilgiye çeviren şeyin doğruluğu değil dayanağı olduğunu söyleyen o keskin sınır. İkincisi, susmanın değeridir: dayanağı olmayan bir yerde konuşmamanın bir kusur değil bir olgunluk olduğu, ve gerçek reddin bir çekince değil bir kapı olduğu. Üçüncüsü, bir kez verilmiş bir reddi sürdürmenin mantığı — bazı kavramları açıklama borcu, ve bir karar vericinin kendi reddini dünya hakkında bir olguya çevirmemesi gereken o ince hijyen. Dördüncüsü, dünyanın güvenilir bir kaynak olmamasıdır: dışarıdan gelen her verinin, içine niyet gizlenmiş olabilecek bir iddia gibi karşılanması gerektiği. Beşincisi, bir bağlamın dışarıda bıraktıklarının, içine aldıkları kadar belirleyici olduğudur. Ve altıncısı, bütün bunların nereye yazıldığıdır: gerekçenin, onu üreten andan daha uzun yaşayabilmesi için değiştirilemez bir yere demirlenmesi gerektiği.
Bu altı yüz tek bir iddiada birleşir. Bir karar vericinin epistemik değeri, ne bildiğinde değil, bildiğini nasıl taşıdığında ölçülür: bir ifadeyi dayanağına bağlayabilmek, dayanağı olmadığında susabilmek, bir sınırı istikrarlı biçimde tutabilmek, dünyanın verdiği girdilere tartışmasız teslim olmadan onlardan bir şey öğrenebilmek, seçimini gerekçesiyle açık tutabilmek, ve bütün bunları silinmeyen bir yere yazabilmek. Bunların hiçbiri zekânın parçası değildir. Hepsi sorumluluğun parçasıdır — ve sorumluluk, zekâdan ayrı, ondan sonra gelen, çoğu zaman onunla çelişen bir şeydir.
Şunun altını çizmek gerekir: gerekçe sorunu, çözülmesi gereken bir mühendislik pürüzü değildir. Bir karar vericiye ne zaman güvenebileceğimizin sınırını çizen şeydir. Bir sisteme bir kararı emanet etmek, onun o kararın hesabını verebileceğine inanmaktır. O hesabı verecek yapı yoksa, emanet bir güven değil bir kumardır.
Bilmek ile bilir görünmek
MÖ V. yüzyıl, Delphi. Khairephon kâhine tek bir soru sorar: Sokrates'ten daha bilge biri var mıdır? Pythia'nın cevabı kesindir: yoktur. Khairephon bu sözü Atina'ya taşıdığında Sokrates afallar, çünkü kendisinin hiçbir şey bilmediğini düşünmektedir. Kehaneti çürütmek için yola çıkar: bilge sayılan birini bulup ondan daha bilge olduğunu gösterecek, böylece kâhinin yanıldığını kanıtlayacaktır.
Önce bir devlet adamına gider, herkesin bilge bildiği birine. Konuşur, sorgular, ve şunu görür: adam bilgeymiş gibi görünmektedir ama değildir — üstelik bunu ona gösterince kendine bir düşman kazanır. Sonra şairlere gider; en güzel dizeleri yazanların, o dizelerin neden güzel olduğunu açıklayamadığını fark eder. Sonra zanaatkârlara gider; onlar gerçekten bir şey bilmektedir, ama bildikleri yüzünden kendilerini her konuda bilge sanmaktadırlar.
Sokrates en sonunda kehaneti şöyle çözer: onu ötekilerden ayıran tek şey, bilmediğini bilmesidir. Dayanağı olmayan bir ifadeyi bilgi diye taşımayı reddetmesidir. Ötekiler doğru şeyler de söylüyordu belki; ama söylediklerinin arkasında tam olarak neyin durduğunu bilmeden söylüyorlardı. İfadeleri doğru olsa bile bu bir bilme değildi, çünkü altları boştu.
Bir cümle yapısal olarak doğru olabilir ve yine de hiçbir şey ifade etmiyor olabilir. Bunu kabul etmek, modern yapay zekâ söyleminin en rahat varsayımını terk etmeyi gerektirir; çünkü o söylem doğruluğu cümlenin içinde arar, oysa biliş cümlenin içinde değil, onu cümleye bağlayan ipte durur. Bir sistemi, yalnızca doğru bir cümle üretti diye "bilmiş" sayamayız. O cümlenin arkasında bir dayanak yoksa, isabet yalnızca bir tesadüftür; ve tesadüf ne kadar tekrarlanırsa tekrarlansın bir biliş üretmez. Bir kâhin istatistiksel olarak yıllarca tutarlı çıkabilir; bu onu bir bilen değil, yalnızca şanslı ya da temkinli bir tahminci yapar. Aradaki fark görünmez gibidir ama aslında her şeydir: biri sorulduğunda neye dayandığını gösterebilir, öteki yalnızca sonucu gösterebilir.
Felsefe bu ayrımı yüzyıllardır tanıyor. Platon'dan bu yana bilgi, yalnızca doğru bir inanç değil, gerekçelendirilmiş doğru bir inançtır. Doğruluk, inancın dünyayla uyumudur; gerekçe ise inancın kendi içindeki dayanağı, o inancı tutan öznenin neden öyle inandığını gösteren şeydir. Bu üçüncü koşul çoğu zaman sıkıcı bir akademik ek gibi görülür. Makineler söz konusu olduğunda ise birden hayati hale gelir. Çünkü bir makine, bir insanın nadiren yaptığı bir şeyi rahatça yapar: boşluğu hiç tökezlemeden doldurur. Bir insan bir şeyi rastgele doğru söylediğinde bunu genellikle fark ederiz, çünkü insan sorulunca takılır, "bilmiyorum, içimden öyle geldi" der. Makine takılmaz. O boşluğu akıcı bir cümleyle doldurur, ve o cümle doğru çıkarsa, arkasında hiçbir dayanak olmadığını hiç anlamayız.
Esas tehlike buradadır. Dayanaksız bir ifade, içeriği doğru olduğunda en tehlikeli halini alır. Yanlış bir cümle eninde sonunda kendini ele verir; dünyaya çarpar, çürür, düzeltilir. Ama dayanaksız bir doğru cümle, doğruluğunun arkasına saklanır. Onu üreten sisteme güvenmeye başlarız, çünkü çıktıları çoğunlukla tutuyor gibidir; ve bu güven tam da en kırılgan yerde, dayanağın hiç sınanmadığı yerde kök salar. Bir sistemin yüz isabetli cümlesi, yüz birinci dayanaksız cümlesi için bir kefil gibi davranır. Oysa o yüz cümlenin hiçbiri bir biliş değildiyse, kefaletin içi bomboştur.
Bu yüzden bir karar vericiyi ölçmenin doğru yolu, ürettiği cümlelerin doğruluğuna bakmak değildir. Bir sistem bir şey öne sürdüğünde ilk sorulacak soru "bu doğru mu?" değildir; o soru sonra gelir. İlk soru şudur: bu ifade neye dayanıyor, ve o dayanak gerçekten orada mı? Bir karar vericinin epistemik olgunluğu, ürettiği her ifadenin arkasında gösterebileceği bir ipi tutabilmesiyle ölçülür. İpi olmayan ifade, ne kadar parlak olursa olsun, bir bilme değil bir gösteridir; bilir görünmektir.
Sorumlu davranacak biçimde tasarlanmış bir karar vericide, bir ifadenin geçerli sayılması için doğru görünmesi yetmez; o ifadenin, sistemin daha önce bir dayanağa bağlamış olduğu bir inanca ya da yaşanmış bir deneyime tutunabilmesi aranır. Sistem bir cümle önerdiğinde, gerekçesinin elindeki inançlardan ya da geçmiş deneyimlerden birine demirleyip demirlemediği denetlenir; demirlemiyorsa ifade dayanaksız sayılır. Burada ifadenin içeriğinin doğru olup olmadığı hiç sorulmaz. Sorulan tek şey, arkasında tutunacak bir dayanağın bulunup bulunmadığıdır: dayanağı gösterilemeyen bir iddia, doğruluğundan bağımsız olarak, bir biliş statüsü kazanamaz.
Bu inançların kendileri de tek katmanlı değildir, ve bu katmanlaşma gerekçe sorununa derinlik katar. Bir karar vericinin elindeki inançlar farklı sağlamlık derecelerinde durur. En altta, o anki işin gerektirdiği geçici çalışma inançları vardır; delil gelir gider, güven iner çıkar, ömrü kısadır. Onların üstünde, zamanla sınanmış, defalarca tutmuş, daha kararlı inançlar bulunur. En üstte ise sistemin değişmez taahhütleri, kimliğini kuran ve sorgulanmayan çekirdek durur. Her inanç bir iddia, bir güven derecesi ve son güncellenme anı taşır; yani hiçbir inanç çıplak bir doğru olarak değil, ne kadar ve ne zamandan beri güvenildiği bilinen bir dayanak olarak yaşar. Böyle bakan bir karar verici "biliyorum" demez; "şu inanca şu kadar güveniyorum, şu deneyimden ötürü" der. Bilmenin dürüst formu budur.
Bir itiraz burada haklı olarak yükselir: gerekçe zinciri sonsuza kadar açılmaz mı? Her gerekçe bir başka gerekçeyi çağırırsa, zincir nerede durur? Bir inancı başka bir inanca, onu bir deneyime, deneyimi bir gözleme dayandırırsak, gözlemin kendisi neye dayanır? Bu, epistemolojinin en eski açmazıdır, ve onu burada çözdüğümü iddia etmek dürüstçe olmaz. Ama bir karar vericide bu açmaz pratikte bir yerde demirlenir: zincir, sistemin değişmez çekirdeğinde durur — kendisi başka bir şeye dayanmayan ama her şeyin kendisine dayandığı taahhütlerde. Bu çekirdek keyfi bir durma noktası değildir; sistemin kim olduğunu kuran, sorgulanmadığı için değil sorgulanmaması üzerine kurulu olduğu için sabit kalan zemindir. Gerekçe zinciri sonsuza gitmez, çünkü bir karar vericinin bir kimliği vardır, ve kimlik zincirin durduğu yerdir. İtiraz haklıdır ama yıkıcı değildir; yalnızca her dayanağın eninde sonunda bir taahhüde bağlandığını, ve o taahhüdün kendisinin bir bilgi değil bir karar olduğunu gösterir.
Bir karar vericiden istediğimiz şey doğru cümleler değil, dayanağını taşıyabilen ifadeler ise, o zaman dayanağı olmayan bir yerde sistemden beklediğimiz şey de değişmek zorundadır. Bir insandan, bilmediği bir şey sorulduğunda susmasını bekleriz. Peki her boşluğu akıcı bir cümleyle dolduran, susmayı hiç öğrenmemiş bir sistemden ne beklemeliyiz? Dayanağı olmadığında konuşmaya devam eden bir karar verici gerçekten karar veriyor mudur, yoksa yalnızca boşluğu mu dolduruyordur?
Dayanağın mühendisliği
Bir dayanak ipinden söz ettik. Bu ipin gerçek bir sistemde nasıl koptuğuna bakmak gerekir, çünkü bir ilkenin değeri savunulduğu yerde değil, çiğnendiği yerde anlaşılır.
İlk başarısızlık şudur: ip kurulur ama gevşek tutulur. Sistem her ifadeye bir dayanak referansı iliştirir, denetim de bu referansın varlığını kontrol eder; oysa varlık ile geçerlilik aynı şey değildir. Bir ifade, kendisiyle alakası olmayan bir inanca da demirlenebilir; ip vardır ama yanlış kazığa bağlıdır. Bu yüzden demirleme denetiminin sorduğu soru "dayanak var mı" değil, "bu dayanak bu ifadeyi gerçekten taşıyor mu" olmak zorundadır. İkincisi birincisinden çok daha zordur, çünkü artık bir alanın dolu olup olmadığını değil, bir bağın gerçekten kurulup kurulmadığını ölçmek gerekir.
İkinci başarısızlık daha sessizdir: ip sonradan örülür. Bir sistem önce cümleyi üretip ardından ona bir dayanak arıyorsa, bulduğu şey gerekçe değil, gerekçeye benzeyen bir kılıftır. Modern dil modellerinin en doğal davranışı tam da budur: önce akıcı cümle gelir, sonra sorulduğunda o cümleyi haklı çıkaracak bir açıklama türetilir. İkisi dışarıdan aynı görünür, ve aradaki farkı yakalamanın tek yolu sırayı zorlamaktır: dayanak, cümleden önce seçilmiş olmalı, cümle ondan türemelidir. Bu sıra tersine döndüğü an, sistem bilmeyi değil bilmiş gibi görünmeyi öğrenmiştir, ve bunu fark etmek neredeyse imkânsızdır.
Üçüncü başarısızlık, ölçtüğümüz şeydedir. Bir sistemi yalnızca isabetli çıktılarıyla ödüllendirirseniz, ona dayanaksız ama doğru çıkan cümleler üretmeyi öğretirsiniz; çünkü ödülü alan şey isabettir, demirleme değil. Yüz isabetli cümlenin yüz birinci dayanaksız cümleye kefil olması dediğimiz şey, mühendislikte bir eğitim sinyali sorunudur. Demirlemeyi değil isabeti ödüllendiren her sistem, uzun vadede aynı problemi yeniden üretir — ve bunu iyi niyetle yapar, çünkü ona ölçtüğü şeyi vermiştir.
Son ve en derin başarısızlık, zincirin durduğu yerdedir. Her dayanak bir başkasını çağırır, ve sistem bir yerde durmak zorundadır; durduğu yer çekirdektir. Buradaki tasarım hatası, çekirdeği diğer inançlarla aynı kolaylıkta yazılabilir bırakmaktır. Çekirdeğe bir çalışma inancı kadar kolay dokunulabiliyorsa, sistem geçmişini sessizce yeniden yazabilir; ve geçmişini yeniden yazabilen bir şey ona hiç sahip olmamıştır. Çekirdeğe dokunmak ayrı, ağır ve görünür bir işlem olmalıdır; ancak o zaman bir sistemin gerçekten sahip olduğu bir geçmişten söz edebiliriz.
Susmanın değeri
Tiran Phalaris, Akragas'ta yaptırdığı işkence aletiyle ün salmıştır: içine konulan insanın çığlıklarını boğa böğürmesine çeviren tunç bir boğa. Bu aletin yapımcısı Atinalı zanaatkâr Perilaos'tur. Perilaos aleti tirana sunarken kendi marifetini de gururla anlatır, mekanizmanın inceliklerini döker. Phalaris onu dinler, sonra aletin ilk denemesinin tam da mucidi üzerinde yapılması gerektiğine karar verir ve Perilaos'u kendi boğasının içine attırır.
Asıl mesele şu: Perilaos'u bitiren, bildiği değildi; bildiğini her boşlukta söyleme dürtüsüydü. Sustuğu yerde sağ kalabilirdi. Marifetini sergileme arzusu, tam da geri tutması gereken şeyi öne çıkardı.
Aynı Phalaris'e atfedilen mektuplarda, ona danışmanlık eden bilgelerin değeri tersinden anlatılır: değerleri ne söyleyebildiklerinde değil, tehlikeli bir anda neyi söylemeyip geri tuttuklarındaydı. Perilaos konuşmayı her zaman bir kazanç sandı ve dayanağı olan gerçek bir bilgiyi, yeri olmayan bir anda dışarı vererek yıkıldı. Bir karar vericiyi değerli kılan, elindeki doğruyu ne zaman geri tutacağını bilmesidir. Bilen ama susabilen ile her boşluğu dolduran arasındaki fark, bazı durumlarda hayatta kalmakla helak olmak kadar keskindir.
Bir karar vericinin neyi söyleyebildiğine bakarak onu ölçmeye alışmışız. Bilgisini sınarız, kapsamını yoklarız, ne kadar geniş bir alanda konuşabildiğini sorarız, ve cevaplarının genişliği bizi etkiler. Oysa bir kâhinin değeri ne söylediğinde değil, ne zaman sustuğunda gizlidir. Her soruya cevabı olan bir varlık, hiçbir soruya gerçek bir cevabı olmayan bir varlıkla aslında aynı şeydir; çünkü cevaplarını sınırlandıran bir şey yoksa, hiçbir cevabı bir dayanağa bağlı değildir. Sınırsız konuşma, dayanaksız konuşmanın başka adıdır.
Cevap basit görünür ama kabul etmesi zordur: susmalı. Boşluğu doldurmamalı. Bilmediği yerde bilir gibi davranmak yerine, orada bir boşluk olduğunu kabullenmeli ve onu olduğu gibi bırakmalı. Bu çoğu zaman sezgilerimize aykırıdır, çünkü susmayı bir yetersizlik ya da cehalet sayarız. "Bilmiyorum" diyen bir uzmana güvenimiz sarsılır; oysa o "bilmiyorum" anı, tam da güvenilmesi gereken andır. Cevap vermemesi gereken yerde cevap vermeyen uzman, dayanağına saygı duyan uzmandır. Bir hekimin en değerli cümlesi çoğu zaman bir teşhis değil, "bunu bu verilerle söyleyemem, daha fazlasına ihtiyacım var" cümlesidir. O cümle bir kusur değil, bir olgunluktur.
Makinelerde bu olgunluğu beklemek, sistemin tasarımına aykırı bir şey istemek gibidir. Bir dil modeli doğası gereği bir devam üreticisidir; önüne konan her bağlamı bir sonraki kelimeyle uzatır. Susmak onun için bir varsayılan değil, dışarıdan dayatılması gereken bir disiplindir. Model susmaz, çünkü susmak bir devam değildir, ve model yalnızca devam etmeyi bilir. Bu yüzden reddetme yetisi bir karar vericiye sonradan eklenen bir katmandır; modelin doğasından gelmez, ona karşı kurulur. Bir sistemin susabilmesi, içinde modelin akıcılığını durdurabilen bir başka şeyin var olması demektir.
O başka şeyin nerede durduğu, susmayı bir nezaket meselesi olmaktan çıkarıp bir mimari meselesine çevirir. Bir karar vericinin reddi, ürettiği cevabın sonuna eklenen bir çekince değildir. "İşte cevabım, ama emin değilim" demek susmak değildir; bu, konuşmanın bir devamıdır, yalnızca özür dileyen bir devamı. Gerçek ret, cevabın kullanıcıya hiç ulaşmamasıdır. Dayanağı olmayan bir ifade, eşiği geçmeden tutulur. Burada incelikli ama belirleyici bir ayrım var: bir kalite kontrolü üretilmiş bir çıktıya bakıp onu geçirir ya da geri çevirir; bir kapı ise çıktının en baştan doğmasına izin verip vermeyeceğine karar verir. Çekince bir kalite kontrolüdür; ret bir kapıdır. Susmanın değeri ancak bir kapı varsa gerçektir.
Sorumlu davranacak biçimde tasarlanmış bir karar vericide, bir eylem ya da ifade önerildiğinde, o öneri doğrudan dışarıya gitmez. Önce bir denetim katmanından geçer, ve bu katman ifadenin bir dayanağa demirleyip demirlemediğini yoklar. Demirlemiyorsa öneri reddedilir ve dışarıya hiçbir şey çıkmaz; sistem ya başka bir dayanak bulup yeniden dener, ya da elindekiyle dürüstçe susar. Önemli olan, bu reddin çıktı üretildikten sonra ona yapıştırılan bir uyarı olmaması, çıktının kullanıcıya ulaşmasının önüne geçen bir eşik olmasıdır. Kullanıcı reddedilen ifadeyi hiç görmez — görmemesi gerekir, çünkü bir kez görüldüğünde ret artık ret değildir; dayanaksız bir cümle, "ama emin değilim" etiketiyle bile olsa, çoktan gerçek dünyaya girmiştir.
Reddetmenin daha ince bir yüzü de buradadır. Bir karar verici yalnızca dayanağı olmadığı için değil, istenen şeyle hizalı olmadığı için de durabilmelidir. Bir kullanıcı bir adres üzerinde bir işlem ister ama sistemin önerdiği eylem başka bir adrese dokunuyorsa, o eylem dayanaklı ve içeriği doğru olabilir, yine de yapılmamalıdır; çünkü istenen şeyle hizalı bir aksiyon değildir. Bu, ayrı bir kapı olarak durmalıdır: bir eylemin dokunduğu somut nesne, kullanıcının beklediği nesneyle örtüşmüyorsa, eylem geçerli olsa bile durdurulur. Bu, susmanın daha derin bir biçimidir. Sistem yalnızca "dayanağım yok" diye değil, "bu, senin istediğin şey değil" diye de susabilir. Doğru cevabı yanlış soruya vermemek, bir cevabı hiç vermemek kadar değerli bir reddir.
Buna yöneltilecek en güçlü itiraz, fazla susan bir sistemin işe yaramaz hale geleceğidir. Her boşlukta duran, her belirsizlikte geri çekilen bir karar verici sonunda hiçbir işe yaramaz; çünkü gerçek dünyada hiçbir dayanak tam değildir, ve mutlak kesinlik bekleyen bir sistem hiçbir zaman karar veremez. Bu, susmayı bir erdem değil, kasıtlı tasarlanmış bir felç durumu haline getirir. Ama bu itiraz, reddin bir eşik değeri olması gerektiğini gözden kaçırır. Mesele her belirsizlikte susmak değil; dayanağın gücü ile iddianın ağırlığı arasında bir orantı kurmaktır. Hafif bir dayanak hafif bir iddiayı taşıyabilir; ağır bir iddia ağır bir dayanak ister. Susması gereken sistem, hiçbir dayanağı olmayan değil, taşıdığı iddianın ağırlığını karşılayacak dayanağı olmayan sistemdir. İyi ayarlanmış bir kapı, her şeyi durduran bir duvar değildir; geçmeye değecek kadar dayanağı olanı geçiren, olmayanı tutan bir süzgeçtir. Fazla şüpheci bir sistem kullanışsızdır, doğru; ama hiç şüphe etmeyen bir sistem tehlikelidir, ve bu ikisi arasındaki denge bir kusur değil, tasarımın asıl işidir.
Geriye, susmayı kurmuş bir karar vericinin önünde yeni bir sorun kalır. Bir kez susmaya karar veren, bir kez bir sınır çizen sistem, karşısındaki aynı şeyi yeniden istediğinde ne yapmalı? Kullanıcı başka kelimelerle sorar, ısrar eder. Bir kez "hayır" demiş bir karar verici, her yeni soruda o "hayır"ı baştan tartışmak zorunda mıdır; yoksa bir kez tutulan bir sınırın bir süre tutulmuş kalması mı gerekir — ve eğer öyleyse, o sınırı tutmanın kendisi yeni bir sorumluluk mu doğurur?
Susmanın mimarisi
Çekinceden ayrı duran, çıktının eşiği geçip geçmeyeceğine karar veren bir kapıdan söz ettik. Bu kapının gerçek bir sistemde nereye konduğu, ve yanlış yere konduğunda neyin sessizce bozulduğu önemlidir; çünkü bir kapının değeri varlığında değil, durduğu yerdedir.
Kapının nereye konulacağı, akıcılığın nerede üretildiğiyle çelişir. Bir dil modeli cümleyi parça parça üretir, ve her parça üretildiği anda bir sonrakini çağırır; akış, durmak için tasarlanmamış bir şeyin doğal hareketidir. Kapıyı bu akışın sonuna, cümle tamamlandıktan sonraya koyarsanız geç kalırsınız; tutmak, zaten üretilmiş bir şeyi geri çağırmak demektir. Bir sistemin üretip sonra tuttuğu cümle ile hiç üretmediği cümle dışarıdan aynı görünebilir, ama içeride biri diğerinden çok daha tehlikelidir: üretilmiş ve tutulmuş cümle bir sonraki adımın bağlamına çoktan sızmıştır, ve sistem onu kullanıcıdan saklasa bile kendinden saklayamaz. Bu yüzden kapı, çıktının değil, çıktıyı doğuran kararın önüne konmalıdır; tutulması gereken şey cümle değil, cümleyi üretme niyetidir.
Sessiz reddin kendi bedeli vardır. Bir cümleyi kullanıcıya hiç göstermeden tutmak doğru olabilir, ama hiçbir iz bırakmadan tutmak doğru değildir. Bir sistem dayanaksız bulduğu için bir şeyi reddettiğinde dışarıya hiçbir şey çıkmaz; ama içeride o reddin kendisi kaydedilmezse, sistem aynı boşlukla her karşılaştığında onu yeniden keşfeder ve neyi neden tuttuğunu hiçbir zaman tam olarak öğrenemez. Görünmeyen ret bile kaydedilmelidir. Ama burada ince bir sınır var: bu kaydın, dünya hakkında bir olguya dönüşmemesi gerekir. Sistem "bunu reddettim çünkü dayanaksızdı" diye kaydeder, "bu yanlıştı" diye değil; çünkü ilki sistemin kendi epistemik durumu hakkında bir gözlem, ikincisi dünya hakkında bir iddiadır. Sistem kendi suskunluğunu sonradan bir bilgi gibi okumaya başlarsa, hiçbir dayanağa dokunmadan bir inanç üretmiş olur.
En zorlu mühendislik kararı, kapının eşiğini kimin belirlediğindedir. Dayanağın gücü ile iddianın ağırlığı arasındaki orantı bir sayıya dönüştüğü an, o sayının nereden geldiği bir sorumluluk sorusu olur. Eşik sistemin kendi deneyiminden öğreniliyorsa, sistem zamanla kendini rahatlatabilir: çok susmak iş görmemek gibi göründüğünden, eşiği yavaşça düşürüp daha çok konuşmayı öğrenir, ve bunu fark etmek zordur çünkü her bir adım tek başına makul görünür. Bir kapının ne kadar açık duracağına o kapının kendisi karar vermemelidir. Bu yüzden ölçü ile eşik ayrı tutulmalıdır: neyin dayanaksız sayıldığı sabit kalmalı, yalnızca duyarlılık ayarlanabilir olmalı, ve o ayar da sistemin tek başına sessizce kaydırabileceği bir şey olmamalıdır. Susmanın değeri, ancak susmaktan vazgeçme kararının sistemin kendi elinde olmadığı yerde korunur.
Nereye vardık
Başladığımız yere dönelim. Bir karar vericiye bir kararı emanet etmek, onun o kararın hesabını verebileceğine güvenmektir. Buraya kadar adı geçen her şey — bir dayanağa demirlemek, susabilmek, bir sınırı tutabilmek, eşiği kendi eline bırakmamak — tek bir amaca hizmet eder: çıktısının arkasında durabilen bir sistem kurmak. Doğru cevap kolay olandır; onun hesabını verebilmek zor olandır. Ve bir karar vericiyi karar verici yapan, tam da o zor olandır.