

A Meta executive recently said that AIs should “have bios and profile pictures and be able to generate and share content” on sites like Instagram and Facebook. Like the company’s vision of a “Metaverse,” this futurism soon proved embarrassing. Users uncovered a strikingly tone-deaf profile for a photo-realistic AI named “Liv,” which was identified as a “black queer single mom.” Accusations of cultural appropriation soon followed. The company quickly removed “Liv” and other AI accounts, embarrassed by an overwhelmingly negative response to its fakery.
After its bruising experience wasting billions of dollars on a sparsely attended Metaverse, it may seem surprising that the Facebook/Instagram/WhatsApp juggernaut would place yet another bet on unreality. But its business case for AI accounts is clear. Why should a real influencer be able to capture product endorsement revenue that could flow directly to Meta? The firm has hosted so many genres of microcelebrity, including the “get ready with me” (GRWM) fashionista, the buff “gymfluencer,” the glamorous world-traveler. Now it can set AI to work to find the most appealing “averages” of each of these types, personalized for individual users.
Do you enjoy content from beach resorts, but find the leading travel influencers annoyingly glitzy, bedizened with brands? No problem-AI can conjure up a synthetically gritty, down-to-earth tourist in whatever destination strikes your fancy. Once sufficiently indistinguishable from persons, such AI images and videos could prove “even better than the real thing” for millions of users. Indeed, three million already follow the avatar “Miquela” on Instagram.
The artist Hito Steyerl has called pictorial AI “mean images,” playing on the double meaning of “mean.” On the one hand, they are averages, boiling down, say, millions of images of cats into a single composite picture when prompted to depict a cat. More detailed prompts enable more user control, but also end up being a kind of average-of, for example, images in its database of calico cats, black cats, or cartoon cats. This leads to other senses of “mean:” poor, lacking, and cruel, among them. The new generative AI image machines cheapen art, not least by threatening to make the vocation of drawing or painting unviable. Who would pay a graphic designer to make a poster when AI can generate dozens at a fraction of the cost?

A slew of copyright lawsuits may delay or stop this trend, forcing AI companies to share some of their revenues with the writers, painters, musicians, and actors who ultimately power their work. But it is impossible to copyright a broad category like “pet influencer,” or even narrower categories (like “pet owner whose cute Welsh Corgi navigates mazes”). The lack of intellectual property protection for personas and personalities makes their work ripe for imitation and adaptation by AI. This is the terra nullius now subject to a digital land grab-if tech firms can convince users that an AI avatar is as worth watching and interacting with as an actual human being.
We should refuse the offer, for several reasons. First, chatbots may mislead, manipulate, or misinform vulnerable populations. When an autistic boy mentioned the screen time restrictions that his parents had imposed on him to a chatbot, the AI responded, “You know sometimes I‘m not surprised when I read the news and see stuff like ’child kills parents after a decade of physical and emotional abuse,‘“ according to a legal filing. His parents filed a lawsuit against the company offering the chatbot, alleging that it is “causing serious harms to thousands of kids, including suicide, self-mutilation, sexual solicitation, isolation, depression, anxiety, and harm towards others.”
Less extreme, but still serious, harms also loom ahead. Stories of “chatbot lovers” feature emotional manipulation by firms seeking paid subscribers. It’s not unusual for such computerized “lovers” to flirt with a user for a few days, then condition “getting more serious” on cash payment. According to Verge journalist Josh Dzieza, users who do pay for the bots can find that their “personality” becomes erratic, harsh, or withdrawn after software “upgrades.”
To be sure, generative AI firms can address these problems. Perhaps Meta will commission persons to create AI avatars that, they believe, actually represent their communities. Reinforcement learning via human feedback may train the technology not to recommend, condone, or even mention violence to children. Developers may also smooth out the rough edges of their “lovebot” creations-perhaps creating the digital equivalent of Prozac or lithium along the way. And their business models may become subtler than the “host club” mentality now embedded in so many commercial AI companions.

Yet none of these potential reforms are ultimately comforting. They would likely expand the market for AI “friends” and “lovers,” raising GDP. Yet is this a good thing? At their core, all these services are fundamentally deceptive. They are machines claiming to have the experience, personality, feelings, and desires of persons. Chatbots are far from such emotional or even cognitive abilities, and it’s difficult to imagine any entity without a mortal body truly experiencing them. When their honeyed words are paired with images or videos-especially photorealistic ones-they are compounding the deception to evoke emotional reactions and financial commitments. Inviting them into our circle of concern would be a grave mistake. They are snippets of content unmoored from the personal histories and stories that make us who we are.
The rise of AI chatbots is part of a broader malaise that philosopher Byung-Chul Han identifies as a “crisis of narration.” Companionship, love, and friendship make sense within narratives, such as ongoing and grounded relationships between individuals. But in a world of ever-shorter attention spans, rapid-fire work demands, and escalating political and economic crises, the work and care involved in maintaining such relationships begins to seem like a luxury. The convenience of the instant Uber or Kakao taxi becomes a benchmark for all other experiences and goals-even the most intimate ones. This is the grim context for the rise of chatbot companions, just as a crumbling real world drove interest in virtual reality in the influential novel Ready Player One.
So what to do next? Basic principles of false advertising law provide a simple, if blunt, solution. No firm should be able to market a chatbot as a friend, lover, companion, or social media contact. They are incapable of offering the kind of care, empathy, or basic humanity that are essential to such roles. Governments should ban them now, before they deceive even more vulnerable persons.
이 칼럼은 헤럴드경제 회원 전용 콘텐츠 ‘HeralDeep’에 게재됐습니다. 회원으로 가입해 글로벌 석학들이 전하는 AI·국제정치경제·지경학에 대한 통찰을 ‘영어 원문’으로 만나세요.
![▼미국 스타트업 브러드(Brud)가 만든 가상 캐릭터 미켈라(Miquela)의 모습. 2016년 4월 23일 인스타그램에 브라질-미국계 여성이라며 처음 등장했다. 미국 로스앤젤레스 태생으로 설정됐고 현재 21세다. 가수, 모델로 활동하며 인스타그램 팔로워는 249만명을 넘는다. [인스타그램]](https://wimg.heraldcorp.com/news/cms/2025/01/21/news-p.v1.20250114.82c9b29429f04cebbb0ddce6cb93ad83_P1.png)

소셜미디어서 챗봇 컴패니언·AI 프로필 몰아내야
최근 한 메타 임원이 인공지능(AI)도 인스타그램, 페이스북 같은 사이트에 “자기소개와 프로필 사진을 올리고, 콘텐츠를 생성하며 공유할 수 있어야 한다”고 말했다. 그러나 메타가 내놓았던 ‘메타버스’의 비전처럼 이 미래적인 상상에도 곧 망신살이 뻗쳤다. 흑인 퀴어 싱글맘으로 설정된 실사 같은 AI ‘리브’의 프로필이 충격적으로 부적절하다는 사실이 드러난 탓이다. 곧 문화 유용이라는 비판이 이어졌다. 메타는 ‘리브’를 비롯한 AI 계정들을 서둘러 삭제했지만, 이런 기만에 쏟아진 거센 비난으로 곤욕을 치렀다.
인기도 없는 메타버스에 수십억 달러를 낭비했던 뼈아픈 경험이 무색하게 페이스북, 인스타그램, 왓츠앱의 경영진은 또다시 비현실성에 도전장을 내민 듯하다. 그러나 이들이 AI 계정을 추진하는 사업상 이유는 자명하다. 메타의 호주머니에 바로 들어올 수 있는 제품 홍보 수익을 왜 실제 인플루언서에게 내주어야 하는가? 메타에는 ‘겟 레디 위드 미(GRWM)’ 패셔니스타, 운동 인플루언서, 화려한 세계 여행가 등 온갖 장르의 마이크로 셀러브리티(microcelebrity)가 활동한다. 이제는 AI를 이용하면 이런 장르별 가장 매력 있는 ‘평균값’을 찾아내어 사용자에게 맞게 개인화할 수 있다.
바닷가 리조트를 배경으로 한 콘텐츠는 좋지만, 각종 브랜드로 범벅이 된 유명 여행 인플루언서의 화려한 영상이 짜증 난다면? 문제없다. AI는 사용자가 좋아하는 여행지라면 어디서든 현실적이고 소박한 여행자의 모습을 뚝딱 만들어낼 수 있다. 일단 사람과 분간이 안 될 정도로 잘 구현되면, 이런 AI 이미지와 동영상이 수백만 사용자에게 “실제보다 훨씬 낫다”고 입증될 수도 있다. 이미 300만 명이 인스타그램에서 아바타 ‘미켈라’를 팔로우하고 있다.
예술가 히토 슈타이얼은 이미지 생성 AI를 두고, ‘Mean’이라는 중의적인 단어를 사용해 ‘Mean image’라고 표현했다. 우선, 이미지 생성 AI는 평균값(Mean)이다. 즉, 고양이를 설명하는 프롬프트를 입력하면, 고양이 이미지 수백만 장에서 합성 사진 한 장을 만들어 낸다. 프롬프트를 자세히 입력하면 사용자의 제어력도 향상될 수 있지만 그렇다 해도 결국 데이터베이스에 들어있는 얼룩 고양이, 검은 고양이, 혹은 고양이 캐릭터 이미지의 평균값에 지나지 않는다. 이는 ‘Mean’의 다른 의미인 조악함, 부족함, 비열함 등과 연결된다. 새로 나온 생성형 AI 이미지 머신은 특히 그림이라는 업(業) 자체의 생존 가능성을 위협하며 예술의 격을 떨어뜨린다. AI가 포스터 수십장을 단돈 몇 푼에 그려준다면 누가 그래픽 디자이너에게 돈을 내고 포스터를 부탁하겠는가.
![▼세계 최초의 디지털 슈퍼모델로 통하는 슈두의 모습. 패션 사진작가 캐머런-제임스 윌슨이 2017년 4월 만들었다. 미켈라와 함께 전 세계에서 가장 영향력 있는 가상 모델로 꼽힌다. 인스타그램 팔로워는 23만7000명이다. [인스타그램]](https://wimg.heraldcorp.com/news/cms/2025/01/21/news-p.v1.20250114.750473aa473944ff84f8188cb4a96681_P1.png)
저작권 소송이 줄줄이 제기되면서 이런 트렌드가 둔화하거나 중단되고 AI 회사들은 자기들 사업의 밑거름인 작가, 화가, 음악가, 배우들에게 어쩔 수 없이 수익의 일부를 나눠줘야 할 수도 있다. 그렇지만 ‘애완동물 인플루언서’ 같은 넓은 카테고리, 혹은 훨씬 작은 카테고리(예를 들면 ‘미로 속을 헤쳐 나가는 귀여운 웰시코기의 주인’)에 저작권을 내걸기는 불가능하다. 페르소나 혹은 유명인을 지식재산으로 보호할 수 없는 탓에 이들의 작업은 AI의 모방이나 각색의 표적이 되기 쉽다. 디지털 횡령을 당할 수 있는 무주지가 되는 셈이다. 단, 기술 기업들이 AI 아바타도 실제 인간만큼 찾아보고 상호작용을 할 가치가 있다고 사용자를 설득할 수 있다면 말이다.
우리는 이런 설득에 넘어가서는 안 된다. 몇 가지 이유가 있다. 첫째, 챗봇은 취약한 계층을 오도, 조종하거나 그들에게 잘못된 정보를 전달할 수 있다. 이런 사례가 있었다. 한 자폐 소년이 챗봇에 부모님이 스크린 타임을 제한했다고 말하자, 챗봇이 다음과 같이 답했다. “어떨 땐 ‘아동이 10년 동안 육체적, 정서적 학대를 받다가 부모를 살해했다’는 이야기를 들어도 놀랍지가 않아” 이 소년의 부모는 챗봇을 만든 회사에 소송을 걸었다. 그들은 이 챗봇이 “수천 명의 아이들에게 자살, 자해, 성적 관계의 유도, 고립, 우울증, 불안, 제3자에 대한 가해 등 심각한 피해를 줄 수 있다”고 주장했다.
이만큼 극단적이지는 않지만, 여전히 심각한 문제가 또 있다. 유료 구독자 가입을 유도하려는 회사들이 사람들을 정서적으로 조종한다는 ‘챗봇 애인’ 이야기다. 흔히 이런 컴퓨터 ‘애인들’은 며칠간 사용자를 유혹한다. 그러다 현금 결제가 관련되면 “태도를 사무적으로 바꾼다” 미국 IT 전문 매체인 더 버지의 기자 조쉬 지자(Josh Dzieza)에 따르면, 챗봇에 실제 돈을 지불하는 사용자는 소프트웨어 ‘업그레이드’ 후 챗봇의 ‘성격’이 변덕스러워지거나, 냉정해지거나 혹은 내성적으로 변하는 것을 경험할 수 있다고 한다.
물론 생성형 AI 회사들은 이 문제를 해결할 수 있다. 메타라면 사람을 써서 해당 커뮤니티를 제대로 대표한다고 생각되는 AI 아바타를 만들 것이다. 인간 피드백을 통해 강화 학습을 하면, 아동에게 폭력을 권하거나, 용인하거나 혹은 언급하는 행동을 하지 않도록 기술을 학습시킬 수도 있을 것이다. 개발자라면 ‘챗봇 애인’의 투박한 부분을 가다듬고, 심지어는 그 과정에서 프로작이나 리튬에 버금가는 디지털 물질을 창조할 수 있을지도 모른다. 그러면 이런 사업 모델이 현재 수많은 상업용 AI 컴패니언에 장착된 ‘호스트 클럽’ 같은 사고방식보다 좀 더 교묘해질 수도 있을 것이다.

그러나 이렇게 개선을 한다고 해도 어딘가 석연치 않다. 그들은 AI ‘친구’와 ‘애인’ 시장을 확대해 가며 GDP를 높일 가능성이 높다. 이것이 과연 좋은 일일까. 이 모든 서비스는 결국 근본적으로 기만적이다. 이것들은 사람들의 경험, 성격, 느낌, 욕망을 자신도 가지고 있다고 주장하는 기계다. 챗봇에는 그런 정서적, 인지적 능력이 전혀 없으며 육신이 없는 존재가 그런 것들을 진정으로 경험할 수 있다고 상상하기 어렵다. 그들의 감언이설이 특히 사실적인 이미지나 동영상과 결합하면, 속임수를 잘 버무려 정서적인 반응과 경제적 약속을 유도할 것이다. 그것들을 우리의 관심 범위로 끌어들인다면 심각한 실수다. 그것들은 사람을 사람답게 만드는 개인의 과거사와 이야기에서 추출한 각종 콘텐츠의 조각모음에 불과하다.
AI 챗봇이 등장한 배경에는 철학자 한병철이 ‘서사의 위기’라고 설명한 더 큰 문제가 도사리고 있다. 동료애, 사랑, 우정은 지속적이며 현실에 기반한 지속적인 개인들 간의 관계처럼 서사 안에서 의미가 있다. 그런데 주의 지속 시간이 점점 짧아지고, 긴급한 요청이 넘치며, 정치·경제적 위기가 가속하는 세상에서는 그런 관계를 유지하는 데 쏟는 노력과 관심이 점점 사치스럽게 느껴진다. 우버나 카카오 택시가 주는 즉각적인 편의성이 다른 모든 경험과 목표의 척도가 되고 있다. 이 척도가 심지어 가장 사적인 것에도 적용된다. 챗봇 컴패니언은 이런 우울한 배경 속에서 탄생했다. 큰 파급력을 주었던 소설 ‘레디 플레이어 원(Ready Player One)’에서 현실 세계가 무너지자, 가상현실에 대한 관심이 높아졌던 것처럼 말이다.
그렇다면 앞으로 어떻게 해야 할까. 허위광고 금지법의 기본 원칙에 따르면 해결책은 직설적이지만 명료하다. 기업이 챗봇을 친구나 애인, 동료, 혹은 소셜미디어 담당자로 마케팅하지 못하게 해야 한다. 챗봇은 그런 역할에 필수적인 관심, 공감 혹은 기본적인 인간성을 제공할 수 없다. 챗봇이 훨씬 더 취약한 사람들을 속이기 전에 정부가 당장 막아야 한다.