How to Shift Generative AI from Reality-Warping to Reality-Improving Applications [Frank Pasquale-HIC]

현실을 왜곡하는 생성형 AI [프랭크 파스퀘일-HIC] — 이 이미지는 흑인 트럼프 지지자를 묘사한 수십 개의 가짜 이미지 중 하나다. 이 이미지는 트럼프가 이 남자들과 포즈를 취하기 위해 유세차를 멈췄다는 캡션과 함께 소셜 미디어에서 널리 퍼졌다. [AI-제작]

Google CEO Sundar Pichai has characterized AI as “the most profound technology humanity is working on. More profound than fire, electricity, or anything that we have done in the past. The hype around ”existential risk“ in AI follows a similar narrative, analogizing it to Oppenheimer‘s atomic bomb. Such grand pronouncements have stirred many a corporate board and government agency to develop AI deployment plans.

The problem, though, is that it‘s not yet clear if the juice is worth the squeeze. The Head of Global Equity Research at Goldman Sachs recently threw a wet blanket on Promethean AI ambitions. As a company report summarized his findings: “to earn an adequate return on costly AI technology, AI must solve very complex problems, which it currently isn‘t capable of doing, and may never be.“

According to an Upwork survey, “Almost 80% of workers who use generative AI in their jobs said it has added to their workload and is hampering their productivity.“ The core problem is that LLMs are language models, not knowledge models.

They can predict what the next word in a text (or pixel in an image) is likely to be, but they‘ve done no reasoning to make that prediction. That lack of reasoning limits their applicability in many situations.

Call it the “savage unicorn“ problem, after a bizarre image brought to prominence by Gary Marcus. After being prompted to produce a picture of an old man hugging a unicorn in the style of Michelangelo, an AI image engine obliged―but showed the man looking deeply contented while being excruciatingly impaled by the unicorn‘s horn. To be sure, such errors are rare. But in all too many contexts where serious money is involved, the kind of reliability assured by human reasoning is crucial. And AI is just not there yet. This limits generative AI’s capability to be a truly disruptive innovation in business.

Meanwhile, generative AI is disrupting public discourse, often in corrosive and misleading ways. Donald Trump has already had a field day with it during his 2024 campaign.

He touted a fake Taylor Swift endorsement, even though Tennessee‘s Nurture Originals, Foster Art, and Keep Entertainment Safe Act of 2024 (NO FAKES Act) gives Swift the right to sue him for it. Some Trump followers have created and shared fake images meant to boost his standing with minorities and women. A fabricated image of Trump with his arms around smiling black voters was taken as real by at least one BBC interviewee. Trump fans have shared a manipulated video of Kamala Harris meant to discredit her views.

The much-touted reality-warping aspects of generative AI have created what legal scholars Danielle Citron and Bobby Chesney call a “liar‘s dividend:“ opportunistic chances to call into question the authenticity of any photo or video. After Vice President Harris drew large crowds, he ranted ”Has anyone noticed that Kamala CHEATED at the airport? There was nobody at the plane, and she ’A.I.‘d’ it, and showed a massive ‘crowd’ of so-called followers, BUT THEY DIDN‘T EXIST!“

This image, created by a radio host and his team using AI, is one of dozens of fakes portraying black Trump supporters. This image was widely viewed on social media with a caption saying Trump had stopped his motorcade to pose with these men.[AI-generated]

The picture was widely confirmed as real by multiple reliable sources, revealing one more Trump lie. But new technology is making this type of claim ever-easier to make. The AI-enhanced photo-editing capacities of Google‘s recently released Pixel phone are a disinformation dream, giving anyone capacities to easily alter photos in undetectable ways. As Sarah Jeong recently wrote, it‘s possible that “the default assumption about a photo is about to become that it’s faked, because creating realistic and believable fake photos is now trivial to do.

We are not prepared for what happens after.“

While generative AI‘s failures at improving business, and success at disrupting politics, may seem to be different issues, they are actually related. A poorly regulated public sphere means that “anything goes“ in many contexts. Meanwhile, spheres like finance and health care are rightly, tightly regulated. This asymmetry helps drive investment and excitement toward direct-to-consumer applications of image- and text-generating software that can be so easily misused in so many contexts.

So what is to be done? First, there need to be limits on the spread of reality-warping AI.

We need new rules for the dissemination of generative AI. When it is photorealistic, it should always be labelled as AI-generated, whether in a caption or (in the case of images and videos) with some small indicator in the corner (perhaps an icon of a robot). Korea provides one good precedent for taking a step in this direction: after two leading presidential candidates released regionally targeted videos featuring AI versions of themselves in 2021, the South Korean Election Commission required that such avatars must disclose that they are not actual candidates.

Platforms should also require “proof of personhood“ to post materials, to prevent botnets from rapidly disseminating fake images. Researchers from Georgetown, OpenAI, and the Stanford AI Observatory have also proposed many other proposed mitigations of AI propaganda in an insightful report.

But this regulation is only one half of the generative AI puzzle. Governments should also help ensure just rewards to reality-improving technology, to dissipate excess investment in hype-driven industries (ranging from crypto to the metaverse to the current direct-to-consumer GenAI boom). The U.S. Inflation Reduction Act and CHIPS (Creating Helpful Incentives to Produce Semiconductors) Act are two good examples of such legislation: both have spurred higher investment in factories. China provides an industrial policy success story of longer vintage. As Angela Zhang‘s recent book High Wire: How China Regulates Big Tech and Governs its Economy demonstrates, its government has backed many forms of “hard tech,“ the type of ”new quality productive forces“ behind better automobiles and robotics.

Generative AI can play important roles in such “hard tech“―imagine voice or text- commanded robots “learning“ from videos of tasks to be done. But ordinary markets are often not patient enough to finance such advances adequately. Enlightened industrial policy needs to fill this vacuum, shifting investment from reality-warping to reality-improving generative AI.

구글 CEO 선다 피차이는 AI를 “인류가 작업 중인 가장 심오한 기술“로 묘사하며, ”불, 전기, 혹은 과거에 우리가 이룬 어떤 것보다도 더 심오하다“고 말했다. AI의 ‘실존적 위험’에 대한 과장된 논의는 오펜하이머의 원자폭탄에 비유되며, 비슷한 서사를 따른다. 이러한 거대한 선언들은 많은 기업 이사회와 정부 기관이 AI 도입 계획을 수립하도록 자극했다.

문제는 과연 그만한 가치가 있는지 아직 명확하지 않다는 점이다. 골드만 삭스의 글로벌 주식 리서치 책임자는 최근 프로메테우스식 AI 야망에 찬물을 끼얹었다. 이 회사 보고서는 “비싼 AI 기술로 적절한 수익을 얻으려면 매우 복잡한 문제를 해결해야 하는데, 현재 AI는 이를 할 수 없으며, 아마도 영원히 할 수 없을 것“이라는 결론을 내렸다. 업워크(Upwork) 설문조사 결과에 따르면, ”생성형 AI를 업무에 사용하는 근로자의 약 80%가 업무량이 증가했고 생산성이 저하됐다“고 나와 있다. 문제의 핵심은 대규모언어모델(LLM)은 언어 모델일 뿐, 지식 모델이 아니라는 점이다. 이 모델들은 텍스트나 이미지에서 다음 단어나 픽셀이 무엇일지 예측할 수는 있지만, 그 예측을 위해 추론을 하진 않는다. 이러한 추론의 부재는 많은 상황에서 AI의 적용 가능성을 제한한다.

이것은 게리 마커스가 주목한 기이한 이미지에서 따온 ‘야만적인 유니콘(savage unicorn)’ 문제라고 부른다. 유니콘을 껴안고 있는 노인을 미켈란젤로 스타일로 그리라는 요청을 받은 AI 이미지 엔진이 노인이 유니콘의 뿔에 고통스럽게 찔리면서도 만족스러운 표정을 짓고 있는 모습을 그렸다. 물론, 이러한 오류는 드물다. 하지만 많은 돈이 걸린 상황에서는 인간의 추론이 보장하는 신뢰성이 매우 중요하다. 그리고 AI는 아직 그 수준에 도달하지 못했다. 이 때문에 생성형 AI는 비즈니스에서 진정한 혁신을 이루기에는 한계가 있다.

한편, 생성형 AI는 공공의 담론을 어지럽히며, 종종 해롭고 오해를 불러일으키는 방식으로 사용되고 있다. 도널드 트럼프는 2024년 대선 캠페인에서 이를 적극 활용했다. 그는 테일러 스위프트의 지지를 받았다는 가짜 정보를 퍼뜨렸는데, 2024년 테네시 주의 ‘노 페이크 법(NO FAKES Act)’에 따르면 스위프트는 이에 대해 소송을 제기할 권리가 있다. 일부 트럼프 지지자들은 그가 소수자와 여성들 사이에서 인기를 끌도록 조작된 이미지를 만들어 공유했다. 예를 들어, 트럼프가 웃고 있는 흑인 유권자들과 함께 찍힌 조작된 사진이 최소한 한 명의 BBC 인터뷰 참가자에게는 진짜로 받아들여졌다. 또한, 트럼프 지지자들은 카멀라 해리스의 견해를 깎아내리기 위해 조작된 영상을 유포하기도 했다.

많이 회자되는 생성형 AI의 현실 왜곡 기능이 만들어낸 ‘거짓말쟁이의 배당금(liar’s dividend)‘이라는 개념은 법학자 다니엘 시트론과 바비 체스니가 언급했다. 이 개념은 어떤 사진이나 동영상의 진위 여부를 쉽게 의심할 수 있는 기회를 제공하는 상황을 의미한다. 대규모 군중을 모은 카멀라 해리스 부통령의 사진에 대해, 트럼프는 “카멀라가 공항에서 속임수를 썼다는 걸 눈치챈 사람 있나? 비행기에는 아무도 없었는데 ’AI‘를 이용해 가짜 대규모 ’군중‘을 만들어 보여줬다. 하지만 그 사람들은 실제로 존재하지 않았다!“고 주장했다.

해리스의 사진은 여러 신뢰할 수 있는 출처에 의해 진짜임이 확인됐고, 이는 트럼프의 또 다른 거짓말로 드러났다. 그러나 새로운 기술 덕분에 이러한 주장을 하는 것이 점점 더 쉬워지고 있다. 구글이 최근 출시한 픽셀 9 휴대폰의 AI 기반 사진 편집 기능은 허위 정보 확산에 최적화된 도구로, 누구나 손쉽게 사진을 자연스럽게 조작할 수 있게 해준다. 사라 정은 최근 글에서 “이제 사진이 조작됐을 것이라는 가정이 기본이 될지도 모른다. 현실적이고 그럴듯한 가짜 사진을 만드는 것이 이제 너무 쉬워졌기 때문이다. 우리는 이런 상황이 가져올 결과에 대해 아직 준비가 돼 있지 않다“고 지적했다.

생성형 AI가 비즈니스 개선에는 실패하고 정치적 혼란을 초래하는 데 성공한 것처럼 보이고 이 두 가지 문제는 서로 다른 것처럼 보이지만 실제로는 관련이 있다. 규제가 부족한 공공 영역에서는 다양한 상황에서 “무엇이든 통하기“ 때문이다. 반면, 금융과 의료 분야는 적절하게 엄격한 규제를 받고 있다. 이러한 비대칭성은 이미지 및 텍스트 생성 소프트웨어의 D2C(direct-to-consumer)앱에 대한 투자와 관심을 유도하는데, 이러한 소프트웨어는 여러 상황에서 쉽게 악용될 수 있다.

그렇다면 어떻게 해야 할까? 먼저, 현실을 왜곡하는 AI의 확산을 제한해야 한다. 생성형 AI의 유포에 대한 새로운 규칙이 필요하다. 특히 사진처럼 사실적일 경우, 이미지나 영상에 AI로 생성했단 것을 알리는 캡션이나 모서리에 로봇 아이콘 등 작은 표시가 반드시 포함돼야 한다. 한국은 이 방향으로 한 발 나아간 좋은 선례를 제공했다. 2021년 두 주요 대선 후보가 AI 버전의 자신을 등장시킨 지역 맞춤형 영상을 공개하자, 한국 선거관리위원회는 이러한 아바타가 실제 후보가 아님을 명시해야 한다고 규정했다.

플랫폼은 사람들이 자료를 게시할 때 ‘개인 증명’을 요구해야 하며, 이는 봇넷(botnet)이 가짜 이미지를 빠르게 퍼뜨리는 것을 방지하기 위해서다. 봇넷은 악성 소프트웨어(멀웨어)에 감염되어 공격자나 사이버 범죄자에 의해 조종되는 컴퓨터 네트워크다. 조지타운, 오픈AI, 스탠포드 AI 감시소(Stanford AI Observatory)의 연구자들은 AI 선전에 대한 여러 가지 완화 방안을 제안한 통찰력 있는 보고서를 발표했다.

하지만 이 규제는 생성형 AI 문제의 절반에 불과하다. 정부는 현실을 개선하는 기술에 정당한 보상을 보장해, 열광에 휘둘리는 산업에 과도한 투자가 집중되지 않도록 해야 한다. 그런 산업에는 암호화폐, 메타버스, 현재의 D2C생성형 AI 붐 등이 있다. 미국의 인플레이션 감축법과 칩스 법(CHIPS Act)은 이러한 법률의 좋은 예다. 두 법안 모두 공장에 대한 투자를 촉진했다. 중국은 더 오래된 산업 정책 성공 사례를 제공한다. 안젤라 장의 최근 저서 《하이 와이어: 중국이 빅테크를 규제하고 경제를 운영하는 방법》에서 보여주듯, 중국 정부는 더 나은 자동차와 로봇을 만드는 ‘새로운 품질의 생산력’을 배경으로 하는 다양한 형태의 ‘하드 테크’를 지원해왔다. 하드 테크는 상상력과 혁신이 요구되는 획기적인 제품을 창출하는 기술이다.

생성형AI는 이러한 ‘하드 테크’에서 중요한 역할을 할 수 있다. 예를 들어, 음성이나 텍스트 명령을 받은 로봇이 수행해야 할 작업의 동영상을 통해 ‘학습’하는 모습을 상상해 보라. 그러나 일반적인 시장은 이러한 발전을 충분히 뒷받침할 인내심이 부족하다. 이 공백을 채우기 위해서는 선도적인 산업 정책이 필요하며, 현실을 왜곡하는 대신 현실을 개선하는 생성형 AI로 투자를 전환해야 한다.