이재명 정부는 메가프로젝트 발표에 이어 ‘샌프란시스코 AI 선언’을 발표하는 등 한미 AI 동맹 구축에 열심이다. 규모가 엄청남은 물론이고 그 속도와 방향도 파격적이다.

수많은 사람들이 AI를 실생활에서 경험하며 그 신통방통함에 감탄도 하고, 유례없는 반도체 호황에 기대도 크다.

그러나 AI를 지렛대로 삼은 성장과 번영이 모두에게 혜택을 주지는 않을 것이라는 사실도 드러나고 있다.

반도체 거품에 대한 우려와 무엇보다 대규모 데이터센터 구축 등이 낳을 환경 파괴, ‘총동원’과 ‘속도전’을 위한 각종 규제 완화에 대한 우려도 커지고 있다. 환경 NGO 등은 ‘(가칭)3대 메가프로젝트 규탄 공동행동’ 결성을 추진하고 있다.

보통 사람들에게는 AI가 성능 좋은 검색 도구나 사무 자동화 수단 정도로 이용되고 있는 반면, 국가와 빅테크 기업들에게는 강력한 군사 무기이자 대중 감시, 노동 통제 수단으로 이용되고 있다. AI가 민주적 권리를 억압하고 아래로부터의 통제를 약화시키는 수단으로 발전하고 있다는 우려도 커지고 있다.

2021년 출판된 케이트 크로퍼드의 《AI 지도책》(노승영 옮김, 소소의책)은 그런 우려를 선구적으로 다룬 저작이다. 미국 예일대학교가 출판한 이 책은 2021년 미국도서관협회 우수학술도서로 선정됐고, 진보적 과학 저널 《뉴사이언티스트》에서 ‘올해 최고의 책’으로도 뽑혔다.

크로퍼드는 인공지능의 ‘지능’(소프트웨어)뿐 아니라 몸통이라 할 수 있는 물리적 기반 자체가 현 체제의 파괴적인 성격을 고스란히 반영하고 있다고 지적한다.

AI의 두뇌가 뻗어 나온 몸통은 어떻게 생겼나

인공지능이라는 최첨단 산업은 자본주의 역사상 가장 오래된 산업의 하나인 광업에 직접 의존하고 있다. 미중 관세 협상에서 보듯 AI의 원료인 희토류에 대한 통제력은 호르무즈해협이나 석유에 대한 통제력과 비슷한 힘을 발휘한다.

크로퍼드는 미국 네바다의 리튬 광산과 중국의 희토류 광산을 살펴보며, 채굴이 오래도록 이문을 남길 수 있었던 이유를 짚는다. “예로부터 광업에서 이윤이 날 수 있었던 것은 환경 피해, 광부들의 질병과 사망, 지역사회 해체 같은 진짜 비용을 감당하지 않아도 되었기 때문”이다.

희토류 1톤을 정련하는 데 “7만 5,000리터의[같은 양의 물은 75톤이다] 산성 폐기물과 방사성 폐기물 1톤”이 나오고, 자연어 처리 모델 하나를 훈련하는 데만 이산화탄소 300톤이 나온다. 가솔린 승용차 다섯 대가 폐차될 때까지 뿜는 양이다.

이재명 정부의 3대 메가프로젝트에 관해 정부와 언론은 투자 규모와 수출 실적을 앞세우지만, 그 이면에는 전력과 물의 청구서가 깔려 있다. 정부 추산으로도 3대 메가프로젝트에 필요한 추가 전력은 2025년 최대 전력 수요의 4분의 1에 달한다. 데이터센터는 냉각을 위해 막대한 물을 소모하기도 한다. 크로퍼드의 말대로 이 ‘진짜 비용’은 대개 장부 밖에 있고, 발전소가 들어설 지역과 송전탑 아래 마을의 몫으로 남는다.

두 번째 장에서 크로퍼드는 아마존 물류센터로 시선을 옮긴다. 물류센터 곳곳에 설치된 카메라와 센서가 노동자의 동선을 초 단위로 계측하고, 실적과 부상률이 함께 오른다. 아마존 최고경영자 제프 베이조스는 감춰진 이들의 노동을 뻔뻔하게도 ‘인공 인공지능’이라 불렀다고 한다. 자율주행차 뒤에 앉은 대기 운전자, 콜센터의 AI 응답 뒤에서 대기하는 노동자 등 AI 기반 ‘자동화’는 흔히 보이지 않는 곳으로 밀려난 노동자들에 의해 유지된다.

한국의 쿠팡은 아마존의 이런 시스템을 가장 적극 차용한 기업이다. 크로퍼드가 그린 물류창고의 시간 통제는 쿠팡 물류센터 노동자들의 과로와 안전을 둘러싼 논란으로 이미 우리에게 익숙하다.

데이터를 실어 나르는 ‘지능’의 맨 앞에는 반도체 노동자들이 있다. 반도체노동자의건강과인권지킴이(반올림)가 정부 역학조사 자료를 분석해 밝힌 바로는, 삼성전자를 포함한 6개 반도체 회사에서 암에 걸린 노동자가 3,442명이고 그중 1,178명이 숨졌다. 피해의 절반이 삼성에서 나왔다.

‘분류’는 중립적일 수 있는가

세 번째 장의 표적은 데이터다. 크로퍼드는 사람들의 얼굴 정보와 기록을 동의 없이 긁어모아 기계학습의 재료로 쓰는 과정을 좇는다. 그는 이런 수집이 중립적이지 않다고 지적한다. “데이터 수집이 선의의 행위라는 신화는 권력의 작동 실태를 가려, 가장 많은 이익을 얻으면서도 결과에 대한 책임을 모면하는 자들을 보호한다.”

공유지였던 것이 소리 소문도 없이 사유화되는 이 과정을 그는 “공적 공간의 약탈”이라 부른다.

청와대 정책실장 김용범의 ‘AI 국가론’은 이 약탈을 국가 전략의 언어로 번역한다. 그는 “공공 서비스를 국민 대신 찾아 신청까지 도와주는 AI 에이전트, 그리고 공공 데이터를 열어 민간이 가져다 쓰게 하는 일”이라고 설명했다. 국민이 공공 서비스를 이용하며 쌓는 데이터가, 민간이 팔 상품의 재료로 흘러 들어간다는 뜻이다.

크로퍼드는 분류에 전제된 정치를 들춰낸다. 그는 19세기 새뮤얼 모턴의 두개계측(두개골을 재어 인종을 ‘객관적’으로 서열화한 사이비 과학)을 독자들에게 환기시키며, 분류가 세계를 재는 척하면서 실은 위계를 만들어 강요한다고 말한다.

아마존이 시범적으로 구축한 직원 추천·채용 AI는 여성을 추천하지 않았다. “모형은 범주로서의 여성을 차별하는 편향이 있었을 뿐 아니라 한쪽 성별에서 흔히 볼 수 있는 언어 형태도 차별하는 성향을 보였다.” AI가 기존 사회의 편견을 반영한 아마존 사용자들의 선택 ‘패턴’을 학습했기 때문이다.

편향을 해소하려는 시도가 또 다른 편향을 낳기도 했다. IBM은 유색인 여성에 대한 편향을 해소하기 위한 실험으로, 인력을 동원해 이미지에 라벨을 달게 했다. 결과는? 편향이 ‘제거된’ AI는 “이분법적 성별에 속하지 않은 사람들의 존재를 외면했다.”

AI를 진짜 지능처럼 보이게 만들어 준 기계학습의 부상에서 결정적 구실을 한 데이터베이스 이미지넷의 아홉 가지 최상위 범주는 ‘식물, 지형, 자연물, 운동, 인공물, 균류, 사람, 동물, 기타’이다. “이 기이한 범주 아래 모든 것이 배치된다.”

과학적 근거가 빈약하다고 지적된 범주들이 고스란히 사용됐다. 그는 “얼굴을 분석하여 사람의 내적 감정 상태를 정확히 판단할 수 있다는 주장은 그 전제의 근거가 박약하다”고 지적한다. 그럼에도 군대와 경찰, 기업들은 이런 기술을 표준으로 채택하고 있다. 이러한 ‘감정 인식’ 산업의 규모는 “170억 달러”에 달한다고 한다.

한때 우려를 낳았던 기업들의 무차별적인 개인 사진 수집·축적·이용은 이제 당연한 업계 관행이 됐다.

AI 민주화?

여섯 번째 장에서 크로퍼드의 지도는 국가에 이른다. 그는 전 CIA 요원 스노든이 폭로한 감시 기법들을 짚으며, 정보기관의 도구가 어떻게 일상으로 스며들었는지 추적한다. “국가안보국의 독특한 방법과 도구는 교실, 경찰서, 직장, 고용지원센터에 스며들었다.”

책의 결론에서 그는 이렇게 요약한다. “AI 시스템은 더 폭넓은 경제적·정치적 힘으로부터 생겨나는 권력의 표현이며, 권력을 휘두르는 자들을 위해 이익을 증가시키고 통제권을 중앙 집중화하기 위해 창조된다.” 그는 오늘의 AI가 20세기 국가의 공적 프로젝트(공적 자금을 지원받는 군사 목적이나 공공 서비스 목적의 연구)로 시작해 결국 소수 기업의 손에 사유화된 역사를 보여 준다. 국가가 비용을 대고 이윤은 사기업이 가져간 것이다.

김용범은 SNS에 쓴 글에서 국가가 할 일은 “시장이 혼자서는 넘지 못하는 문턱만 넘겨주고 물러나는 것”이라고 했다. 신자유주의 시대에는 폐해로 여겨지던 일이, 국가자본주의가 재부상하는 현재 미덕으로 격상된 것이다. “개별 병원이나 기업이 홀로 감당하기 어려웠던 첫 도입의 위험을 국가가 먼저 떠안아, 공공 영역에서 사용 사례와 데이터와 신뢰를 만들어 낸다.”

이재명 대통령도 전력과 용수의 안정적 공급은 국가의 몫이라고 밝혔다. 축적에 드는 비용과 위험을 국가가 떠안고, 그 위에서 이윤을 거두는 것은 삼성과 SK 같은 자본이다.

흩어진 반도체·데이터 수요·규제를 국가가 하나로 “꿰어”(김용범) 축적 회로를 돌리는 일이야말로, 국가와 자본이 한 몸으로 맞물리는 지점이다. 김용범은 “나라가 쓰는 지능의 기반을 남에게 맡기면 속수무책이 된다”며 자본 간 경쟁을 국가 간 경쟁으로 주저없이 격상시켰다. 크로퍼드는 이렇게 말한다.

“외국의 위협이라는 망령은 AI에 대해 일종의 주권을 행사하며 (인프라와 영향력 면에서 초국적인) 기술 기업들의 세력권을 국민국가의 테두리 안에 새로 그리려 한다. 하지만 기술적 우위를 차지하려면 국가 경쟁은 수사적인 동시에 현실적이며 상업 부문과 군사 부문 안팎에서 지정학적 경쟁의 원동력을 만들어내며 두 부문의 경계를 점차 흐릿하게 한다.”

최근 중동의 전쟁들에서 악명을 떨친 첨단 군사 기술 기업 팔란티어와 미국 이민세관단속국(ICE)의 감시 시스템 비질런트가 그 대표적 사례다.

크로퍼드는 AI를 바라보는 주류적 관점을 ‘마법에 홀린 결정론’이라 부른다. AI를 별세상의 마법처럼 여기는 동시에, 그것이 가져올 미래가 결정돼 있다고 본다는 것이다.

기술 유토피아주의와 기술 디스토피아주의는 동일한 결정론에 기초한 서로의 거울상이고 서로를 강화한다. 둘은 “형이상학적 쌍둥이다”. AI 기술의 전제 조건들(신자유주의와 긴축, 인종 불평등, 광범한 노동 착취)은 시야에서 사라지고 문제 제기와 해결책은 기술을 ‘보완’하는 것으로 제한된다.

그는 사회인류학자 F.G. 베일리의 말을 인용한다. “‘신비화를 통해 모호하게 하기’ 기법이 공적 마당에서 구사되는 것은 종종 어떤 현상의 필연성을 주장하기 위해서다.”

크로퍼드는 ‘AI 민주화’라는 발상 자체도 의심한다. “권력의 불균형을 줄이기 위해 AI를 민주화해야 한다는 주장은 평화를 위해 무기 제조를 민주화해야 한다는 주장과 얼추 비슷하다. 오드리 로드의 말마따나 주인의 연장은 결코 주인의 집을 부수지 않는다”.

AI의 실체를 비판적으로 보는 책은 적지 않지만, 크로퍼드는 기술적 해결책에서 한 걸음 더 나아가 현재의 시스템에 도전해야 한다고 주장한다. “권력은 요구하지 않으면 아무것도 양보하지 않는다. 결코 그러지 않았고 결코 그러지 않을 것이다.” 그런 도전의 전략과 주체를 제시하는 것은 좌파의 과제다.

이재명 정부의 메가프로젝트를 우려하는 사람이라면 누구나 《AI 지도책》을 읽어야 한다.