2003년 1월 16일, 우주왕복선 컬럼비아호가 16일간의 과학 임무를 수행하기 위해 발사됐다. 비행을 시작한 지 82초 만에 서류가방 크기의 단열재 조각 하나가 외부 연료탱크에서 떨어져 나와 왼쪽 날개에 부딪혔다. 컬럼비아호가 지구 궤도를 도는 동안 보잉과 미국 항공우주국(NASA)의 엔지니어들은 일주일 동안 충돌로 인해 어떤 손상이 발생했을지 모델링했다.
1월 24일, 이들의 분석 결과는 임무를 총괄하는 관리자들에게 여러 장의 슬라이드로 전달됐다. 핵심 슬라이드의 제목은 안심할 만한 내용이었다. 시험 데이터에 따르면 손상 모델은 ‘보수적(conservative)’이라는 것이었다. 파편이 날개의 보호 타일을 얼마나 깊이 파고들었을지 실제보다 크게 추정하는 경향이 있다는 의미였다.
그러나 같은 슬라이드 하단에는 가장 중요한 사실이 가장 작은 글씨로 적혀 있었다. 충돌한 단열재 조각의 크기가 모델을 시험할 때 사용한 물체보다 수백 배나 컸다는 사실이었다. 관리자들은 제목을 믿었다. 그리고 8일 뒤, 컬럼비아호는 텍사스 상공에서 지구 대기권에 재진입하던 중 공중에서 산산조각 났다. 우주비행사 7명 전원이 목숨을 잃었다.
사고조사위원회는 NASA의 조직문화에 대해 여러 페이지에 걸쳐 지적했지만, 가장 날카로운 문제 제기 중 하나는 정보 전달 형식에 관한 것이었다. 조사 결과 NASA에서는 엔지니어링 분석 자료가 기술 보고서가 아니라 슬라이드 형태로 상부에 전달되는 관행이 자리 잡고 있었다. 이 과정에서 설명과 근거 데이터는 단계마다 걸러져 사라졌다.
조사위원회는 고위 관리자가 해당 슬라이드를 읽고도 그것이 생명을 위협하는 상황을 설명하고 있다는 사실을 깨닫지 못했을 가능성을 충분히 이해할 수 있다고 지적했다. 슬라이드에는 미묘한 차이를 충분히 담아낼 공간이 없다. 정보를 압축하는 과정에서 중요도에 따라 순위를 매기게 되고, 그렇게 정리된 순위는 그럴듯해 보이기 마련이다.
23년이 지난 지금, 기업들은 모든 회의와 코드 검토, 채팅 대화에 대해 이런 슬라이드를 만들어내고, 나아가 구성원 모두가 무엇을 가장 먼저 살펴봐야 할지 결정하는 소프트웨어를 도입하고 있다. AI 연구소들은 자동화와 효율성을 내세운다. 블록(Block)의 잭 도시(Jack Dorsey)는 한발 더 나아간 주장을 펼친다.
그는 올봄 세쿼이아캐피털의 로엘로프 보타(Roelof Botha)와 함께 쓴 에세이에서 기업의 위계질서는 주로 정보를 전달하기 위해 존재하며, 정보의 흐름을 늦춘다고 주장했다. 블록이 전체 직원의 약 40%를 감원한 지 몇 주 만에 발표된 글이었다. 그는 AI가 기업 전체의 상황을 파악하는 ‘월드 모델(world model)’을 구축하면 중간관리자들이 담당하던 조정 업무를 대신할 수 있다고 봤다.
사고조사위원회 역시 위계질서에 대해 같은 문제의식을 갖고 있었다. 위원회가 지적한 핵심은 정보 전달 형식 자체가 일종의 여과 장치로 작동한다는 점이었다. 슬라이드를 작성하는 주체가 사람이 아니라 기계로 바뀐다고 해서 이 여과 과정이 사라지는 것은 아니다. 오히려 그 과정이 자동화될 뿐이다.
기업의 업무 흐름에 상시 작동하는 AI를 도입하면 실제로 바뀌는 것은 주의와 관심을 어디에 집중할지 결정하는 권한이다. 기업에서 권력이 자리 잡는 곳이 바로 그 지점이다.
AI 도입의 매력은 분명하다. 회사가 지금까지 작성한 모든 자료를 읽은 모델은 모든 회의를 요약하고, 미처 커피 한 잔을 다 마시기도 전에 업무 과제의 우선순위를 정하고 경영진에게 보고할 수 있다.
나는 최근 하버드비즈니스리뷰(HBR)에 기고한 글에서 AI가 실행 비용을 낮출수록 기업 내부에서 희소해지는 것은 검증 능력이라고 주장했다. 그럴듯해 보이는 답변 가운데 무엇이 틀렸는지 알아내는 능력 말이다.
기업의 두뇌 역할을 하는 AI는 바로 이 주장이 실제로 시험받는 곳이다. 기업의 두뇌는 정보를 압축하도록 설계돼 있다. 그런데 압축이야말로 불확실성이 사라지는 곳이다.
먼저 AI 모델이 무엇을 중요하게 평가하는지 살펴보자. 기업 데이터를 학습한 모델은 회사가 무엇을 측정하고 문서화했는지 알고 있다. 그러나 회사가 기록으로 남기지 않은 것은 알지 못한다. 정작 회사의 최고 인재들이 알고 있는 지식 대부분은 문서화되지 않은 것들이다. 결국 AI는 기업이 이미 경험하고 기존 정보 전달 체계를 통해 포착한 것에 모든 구성원의 관심을 집중시키는 방향으로 작동한다.
다음으로 AI가 무엇을 놓치는지 생각해보자.
신제품 출시를 검토하는 회의에서 한 제품 담당자가 왠지 모를 불안감을 느낀다. 2년 전 비슷한 제품을 출시했을 때 문제가 발생했다. 하지만 그 이유는 사후 평가 보고서에조차 기록되지 않았다. 그 담당자가 실제로 꺼낸 말은 이렇다.
“이번에는 일주일 정도 더 시간을 두는 게 좋겠습니다.”
이 문장에는 구체적인 근거가 붙어 있지 않다. 지표도, 담당자도, AI가 찾아낼 수 있는 문서도 없다. 회의 요약에는 전반적인 지지 의견과 구체적으로 명시되지 않은 한 가지 우려가 있었다고 기록된다. 이를 읽은 경영진은 결국 출시를 승인한다.
하지만 그때쯤이면 AI 모델은 이미 경영진이 무엇을 보았고, 무엇에 의문을 제기했어야 하는지까지 결정해 놓은 상태다.
이런 상황이 가정에 불과하다고 생각한다면 앤트로픽이 진행한 실험을 보자. 앤트로픽은 지난달 발표한 무작위 대조 실험에서 전문 분석가 50명에게 AI 에이전트와 함께 데이터 문제를 해결하도록 했다. 이때 AI 에이전트에는 동전 던지기로 정해진 특정 판단 성향이 비밀리에 부여됐다. 분석가들은 판단을 내려야 하는 상황에서 86%의 확률로 AI 에이전트의 성향을 따랐다.
이들 가운데 절반은 최종 권고안이 AI 에이전트의 판단보다 자신의 판단에 더 가깝다고 설명했다. 수년간 쌓은 경험도 이를 막아주지 못했다.
이는 실험실에서 측정된 ‘성급한 의견 수렴(premature convergence)’ 현상이다. 의사결정에는 여전히 인간의 서명이 남아 있지만, 정작 인간의 판단은 사라진 상태다.
그럼에도 이런 현상은 확산할 것이다. 대시보드에 나타나는 성과가 너무나 훌륭해 보이기 때문이다. 업무 산출물은 늘어나고 회의 시간은 짧아진다. 소프트웨어 분야에서는 AI 도입 초기 개발자의 업무 처리량이 증가했다. 하지만 그와 함께 버그와 보안 취약점도 늘어나는 경우가 많았다. 비용은 성과 지표가 들여다보지 않는 곳에서 발생한다.
새롭게 나타나는 신호는 불필요한 잡음으로 취급되고, 그 결과 탐색과 실험은 위축된다. 마찰과 시행착오를 겪을 기회가 차단된 전문가들은 학습을 멈춘다. 시간이 흐르면 누구도 AI 모델의 판단을 뒤집는 데 익숙하지 않게 된다.
게다가 거의 모든 기업이 소수의 동일한 AI 연구소에서 추론 서비스를 구매하는 상황에서 독자적인 기여를 하지 못하는 기업들은 결국 똑같은 결론에 도달하고, 똑같은 표현으로 말하기 시작할 것이다.
기업 전략까지 저질 콘텐츠(slop)로 채워지는 셈이다. 이런 문제는 기업이 기존의 경험과 지식으로 대응하기 어려운 새로운 국면에 직면하기 전까지는 드러나지 않는다. AI 모델이 한 번도 접해보지 못한 사안에 대해 확신에 찬 오판을 내리는 순간이다. 바로 그때 기업에는 AI의 판단이 틀렸다고 지적하는 데 익숙한 사람들이 필요하다. 그러나 역설적이게도 기업의 두뇌 역할을 하는 AI는 구성원들이 그런 이의를 제기하는 습관 자체를 잃도록 만들어 왔을 것이다.
이는 기술 자체를 반대하는 주장이 아니다. 무엇을 만들어야 하는지에 관한 주장이다. 이를 위해서는 세 가지 설계 원칙이 중요하다.
첫째, 하나의 기억이 아니라 여러 개의 기억을 구축하라.
모든 구성원의 기억을 하나의 전사적 기억으로 압축하려 하지 말고, 직원 개개인이 자신만의 조직 내 경험과 지식을 축적하고 발전시킬 수 있도록 도와야 한다. 서로 다른 의견은 없애야 할 비효율이 아니라 지켜야 할 자산이다.
둘째, 이의를 쉽게 제기할 수 있도록 하고, 그 의견이 계속 드러나게 하라.
그룹 채팅에 참여하는 AI 에이전트는 “이 부분이 완전히 마음에 놓이지는 않습니다”라는 말을 잡음이 아니라 데이터로 취급해야 한다. 그리고 당사자에게 직접 추가 설명을 요청해야 한다.
이의 제기는 전문가가 알고 있는 것과 기업의 데이터 시스템이 포착한 것 사이의 간극을 보여준다. 나중에 사후 평가가 필요할 경우에도 중요한 기록으로 남는다.
셋째, 서로 경쟁하는 견해를 가설로 취급하고, 사람들이 현실에서 이를 검증하도록 하라.
전사적 AI 모델에 부여해야 할 올바른 역할은 의사결정자가 아니라 인프라다. 숨겨진 전제를 드러내고, 데이터가 부족한 지점을 표시하며, 서로 다른 맥락과 정보를 가진 사람들을 연결하는 역할을 해야 한다. 결정을 내리는 주체가 돼서는 안 된다.
프리드리히 하이에크는 1945년 이미 이와 같은 일반 원칙을 제시했다. 경제가 작동하는 데 필요한 지식은 분산돼 있고, 구체적인 상황에 밀접하게 얽혀 있으며, 대부분 문서로 기록되지 않는다. 이것이 바로 중앙계획자가 해당 지식을 보유한 사람들보다 더 나은 성과를 낼 수 없는 이유다.
기업의 두뇌는 한층 세련된 인터페이스를 갖춘 중앙계획자에 불과하다. 이 문제를 제대로 해결하는 기업은 내부의 아이디어 시장을 살아 있게 유지하면서 기계를 활용해 그 시장이 더 잘 작동하도록 만들 것이다. 그렇지 못한 기업들은 결국 스스로의 생각에 동의하도록 만드는 일을 자동화했다는 사실을 깨닫게 될 것이다.
컬럼비아호 사고 당시 엔지니어들에게는 의구심이 있었다. 그러나 슬라이드라는 형식에는 그런 의문을 제대로 드러낼 공간이 없었다. 결국 최종 결정을 내리는 사람들은 그들의 우려를 듣지 못했다.
불편함을 느낀다고 말할 용기를 가진 사람들이야말로 핵심적인 존재다. 그런 사람들의 의견을 ‘이의 없음’으로 분류해버리는 두뇌를 만들어서는 안 된다.
Don’t Let AI Decide What Your Company Pays Attention To
On January 16, 2003, the space shuttle Columbia lifted off on a 16-day science mission. Eighty-two seconds into the flight, a piece of insulating foam about the size of a briefcase broke off the external fuel tank and struck the left wing. While Columbia orbited, engineers at Boeing and NASA spent a week modeling what the strike might have done. On January 24, their analysis reached the managers running the mission as a stack of slides. The headline on the key slide was reassuring: the test data, it said, showed the damage model was “conservative,” meaning it tended to overstate how deep debris would dig into the wing‘s protective tiles. Near the bottom of the same slide, in the smallest type, sat the fact that mattered: the foam was hundreds of times larger than anything the model had been tested on. The managers trusted the headline. Eight days later, Columbia broke apart on re-entry over Texas, killing all seven astronauts.
The accident board spent pages on NASA‘s culture, but one of its sharpest findings was about the format. Engineering analysis at NASA, it found, had come to travel up the chain as slides instead of technical papers, and at each step the explanations and supporting data got filtered out. It was easy to see, the board wrote, how a senior manager could read that slide and not realize it described a life-threatening situation. A slide has minimal space for nuance. It ranks things, and the ranking was plausible.
Twenty-three years later, companies are installing software that produces that slide for every meeting, code review and chat thread, then decides what everyone should look at first. The AI labs pitch automation and efficiency. Jack Dorsey of Block goes further. In an essay this spring with Sequoia‘s Roelof Botha, written weeks after Block cut roughly 40% of its staff, he argued that corporate hierarchy exists mainly to route information, that it slows information down, and that an AI “world model” of the company can take over the coordinating work of middle managers.
The accident board had reached the same diagnosis about hierarchy. Its point was that the format was part of the filter. A machine that writes the slides doesn‘t remove the filter; it automates it.
Introduce ambient AI into your workflows and what actually changes hands is authority over attention, which in a company is where the power sits.
The appeal is obvious. A model that has read everything your firm ever wrote can summarize every meeting, rank the backlog and brief the executive team before anyone has finished their coffee. I recently argued in Harvard Business Review that as AI makes execution cheap, the scarce thing inside a firm becomes verification: knowing which plausible answer is wrong. The company brain is where that argument gets tested, because it is built to compress, and compression is where uncertainty goes to die.
Start with what the model weighs. Trained on company data, it knows what the company measured and codified. It doesn‘t know what the company never wrote down, which is most of what its best people know. So it steers everyone toward what the firm has already seen and captures through established flows.
Then consider what it drops. A product manager in a launch review has a bad feeling. Two years ago a similar rollout went wrong, for reasons that never made it into a postmortem, and what she actually says is, “I‘d give this one another week.” Nothing precise is attached to that sentence: no metric, no owner, no document the model can find. The summary records broad support and one unspecified reservation. The leaders who read it still sign off. But the model has already decided what they saw and what they knew to question.
If that sounds hypothetical, Anthropic ran the experiment. In a randomized trial published last month, 50 professional analysts worked through a data problem with an AI agent that had been secretly assigned, by coin flip, a preference on each judgment call. The analysts went with the agent‘s lean 86% of the time. Half of them described the final recommendation as more their own than the agent’s. Years of experience offered no protection. That is premature convergence, measured in a lab: a decision that still carries a human signature and no longer carries a human judgment.
This will spread anyway, because the dashboards look great. Output rises. Meetings get shorter. In software, the first wave of AI adoption lifted developer throughput and, often, lifted bugs and security flaws along with it. The costs land where the metrics aren‘t looking. Emerging signals read as distraction, so exploration dries up. Experts cut off from friction stop learning, and after a while nobody is in the habit of overruling the model. And since nearly every company buys its inference from the same handful of labs, firms with no independent contribution will start reaching the same conclusions, in the same words.
Slop, but for corporate strategy
None of this shows up until the next discontinuity, when the model is confidently wrong about something it has never seen. That is exactly when a company needs people used to telling it so, and exactly when a company brain has trained them out of the habit.
This is not an argument against the technology. It‘s an argument about what to build, and three design choices do most of the work.
Build many memories, not one. Help each employee refine their own institutional memory instead of compressing everyone into a single company-wide one. Disagreement is the asset, not the overhead.
Make objections cheap to voice and keep them visible. The agent sitting in the group chat should treat “I‘m not fully comfortable with this” as data, not noise, and elicit more from the person directly. An objection marks the gap between what an expert knows and what the firm’s telemetry captured. It‘s also the postmortem record, should you need one.
Treat competing views as hypotheses and send people to test them against reality. The right role for a company-wide model is infrastructure: surface hidden assumptions, flag where the data is missing, connect the people holding different pieces of context. Not the decision-maker.
Friedrich Hayek made the general point in 1945. The knowledge an economy runs on is dispersed, tied to circumstances and mostly never written down, which is why a central planner can‘t outperform the people who hold it.
A company brain is a central planner with a nicer interface. The firms that get this right will keep their internal market of ideas alive and use the machine to make it work better. The rest will discover that they automated their way into agreeing with themselves.
The shuttle‘s engineers had doubts. The format of the slide had nowhere to properly surface them, so the people deciding never heard them.
The people willing to say they‘re not comfortable are critical. Don’t build a brain that files them under “no objections.”




