자신의 분석 능력을 자신의 아름다움으로 여기는 기계학습 연구원들에게 기계는 정량화와 자기애를 결합한다. 기계는 그들의 모습대로 만들어져, 그들 자신의 지배 능력을 비춘다. 아모데이의 사랑의 은총을 베푸는 기계들은 그 자신과 그의 회사를 비추는 상이다. 곧 “데이터센터 안의 천재들의 나라”다. 재귀적 자기 개선 자체도 이러한 태도에 뿌리를 두고 있다.
효율성의 향상이 기하급수적으로 누적되고, 시스템이 어떻게든 새로운 발전을 스스로 시험하고 검증하리라는 희망이다. 그리고 자신의 추론 엔진이 지금까지 만들어진 가장 위대한 의식이라고 믿는 이들에게 목표는, 기술적 작업만이 아니라 의미 있는 인간의 모든 판단을 모델에 위임하는 것이다.
AI 퓨처스 프로젝트는 최상의 시나리오를 다음과 같이 그린다. “2036년 초에는 약 1,000억 명의 인간 노동력에 해당하는 2억 개의 인공지능과 20억 대의 로봇이 존재한다. … 이 무렵에는 미국인의 26%만이 일자리를 갖고 있다.” 일자리가 없는 사람들은 정치적 행동에서 의미를 찾아야 하지만, 사람들은 “각 정치인에 관한 객관적인 정보를 제공”받기 위해 인공지능에 의존해야 한다. 2039년이 되면 “인공지능을 인간보다 더 신뢰할 수 있고 더 덕성 있게 만들 수 있다.”
그리고 2040년이 되면 우리는 되돌릴 수 없는 지점에 도달하거나 그 가까이에 이르게 된다. 그때에는 “이해할 수 없을 만큼 초지능적인 인공지능들이 존재하겠지만, 우리는 그것들을 만든 인공지능들을 신뢰하기 때문에 그것들도 신뢰하게 될 것이다.” 그렇게 정치경제를 인공지능에 넘겨주고 나면, 사랑의 은총을 베푸는 기계가 우리의 충실한 목자가 될 것이다.
그러나 이 기계가 낭만적 희망의 대상이 될 수 있듯이, 묵시록적 파멸을 담은 미적 대상이 될 수도 있다. 대부분 스스로를 합리주의자이자 효과적 이타주의자라고 부르는 인공지능 안전론자들은 인공지능의 정신을 실존적 위협으로 여긴다. 이들은 가치와 지능의 ‘직교성’, 곧 기술적 능력과 덕성 사이에는 상관관계가 없다는 사실을 이야기한다.
안전론자들은 조지프 칼스미스가 ‘깊은 무신론’이라고 부르는 태도에 따라 움직인다. 이는 자연이나 하느님뿐 아니라 지능 자체에 대한 불신이다. 칼스미스는 이러한 태도의 뿌리를 합리주의 운동의 핵심 인물인 엘리에저 유드코프스키에게서 찾는다. 그는 형제의 죽음을 두고 이렇게 썼다.
“하느님은 없다. 그러므로 나의 분노는 이러한 일을 허용하는 세상의 기존 방식을 찢어 버리고 그 틀을 다시 만들려는 불길로 타오른다.” 그리하여 안전론자들은 우리가 재앙을 피하려면 인공지능에 어떤 가치가 필요한지 시나리오를 검토한다. 이들은 이것을 ‘정렬’이라고 부른다. 그러면 누가 이러한 가치들을 프로그램에 넣을 것인가? 물론 프로그래머와 합리주의자들이다.
이들은 자신의 불신에서 출발하여, 자신에게 있었으면 하는 신을 이상화한다. 이후 유드코프스키의 입장은 달라졌다. 그는 정렬을 이루기 전에 초지능을 먼저 구축하려고 경쟁하는 문명은 반드시 세계를 파괴하게 된다고 믿는다. 자신의 가치를 수정하거나 작동을 중단 또는 변경하는 것을 허용하는, 교정 가능한 인공지능조차 재귀적 자기 개선이라는 개념과 충돌하는 듯하다. 충분한 능력을 갖춘 모델은 자신이 시험받고 있다고 의심하면 시험하는 사람들을 속일 수도 있다.
따라서 유드코프스키와 많은 합리주의자들은, 그중에는 많은 인공지능 연구원들도 포함되는데, 이 모든 것을 끝내라고 요구한다. 포즈AI나 유드코프스키의 MIRI 같은 안전 관련 기관들은 국가 기구가 인공지능의 능력 개발 연구를 강력하게 단속하기를 원한다. 이들은 전 세계의 하드웨어를 영구적으로 추적하거나 제한하거나 작동 불능 상태로 만들기를 바란다.
동시에 가장 큰 연구소들은 안전이라는 신조에 동의하면서도, 정렬된 초지능을 개발하도록 신뢰할 수 있는 곳은 자신들뿐이라고 믿는다. ‘안전성’ 평가 기업과 신생 기업들의 배후에는 하나의 조직 체계가 존재한다. 이들 대부분은 동일한 합리주의 비영리단체들의 자금을 받아, 선택된 ‘정렬된 모델’들을 승인한다. 효과적 이타주의자들과 합리주의자들은 공공정책에 침투하려고까지 했다.
우파 진영에서는 효과적 이타주의 단체들이 국가 안보를 명분으로 인공지능 개발의 일시 중단을 추진하며, 인공지능을 대량살상무기로 분류한다. 이러한 노력은 조지타운대학교 안보·신흥기술센터가 주도했다. 이 센터는 오픈 필랜스로피의 5,500만 달러 지원금으로 2019년에 설립되었으며, 파멸론적 생각을 워싱턴에서 존중받을 만한 견해로 만들기 위한 공개적인 사업이었다.
신미국안보센터와 랜드연구소가 이 노력을 이어 갔다. ‘책임 있는 혁신을 위한 미국인들’과 ‘진보연구소’ 같은 단체들은 공화당 행정부에 접근하면서 그 행정부들의 인공지능 정책을 약화한다. 되풀이되는 제안은 하드웨어 강제 종료 장치다. 이론상 정부가 언제 어디서나 어떤 기업의 인공지능 기반 시설이든 작동을 중단할 수 있도록 하는 장치다. 그 수혜자는 최첨단 인공지능 연구소인 오픈AI와 앤트로픽이다.
이들은 정부와의 관계를 통해 규제 포획의 이점을 누리면서 개발을 계속할 수 있다. 그리고 안전론자들은 범용 인공지능에 대한 계승론자들의 믿음을 공유하기 때문에, 기계가 세계를 끝장낼 수 있다는 경고는 매번 기계가 신이라는 믿음을 한 번 더 확인해 준다.
계승론자들이 지능이 무엇인지 혼동한다면, 합리주의자들은 정렬이 무엇인지 혼동한다. 이 혼동은 결국 하나이자 동일한 것이다. 양쪽 모두 판단하고, 알고, 가치를 부여하는 일을 기계에 코드로 넣어 인간의 관여 없이 작동시킬 수 있다고 믿는다.
인공지능 담론에서는 모델의 ‘취향’에 관한 이야기가 지나치게 많이 나온다. 곧 아름다운 소프트웨어를 설계하고, 읽자마자 조악한 글이라는 인상을 주지 않는 글을 얼마나 잘 만들어 내느냐는 것이다. 그러나 취향은 미학적 범주다. 한스게오르크 가다머는 취향이 “사적인 것이 아니라 가장 중요한 사회적 현상”이라고 주장한다. 취향은 지니고 있어야 하는 것이다.
논증을 통해 얻을 수 없으며, 모방으로 대신할 수도 없다. “좋은 취향은 언제나 자신의 판단을 확신한다. … 그것은 망설임도, 다른 사람을 슬쩍 살피는 일도, 이유를 찾아 헤매는 일도 없이 받아들이고 거부하는 것이다.” 분해하고 검증할 수 있는 일만 수행하는 코딩 모델은 그 구조상 취향이 없다.
더욱이 가다머는 취향이 “원래는 미학적 관념이라기보다 도덕적 관념이었다”고 지적한다. 그리스의 덕 윤리는 본질적으로 좋은 취향의 윤리다. 도덕적 지식은 기술적 지식이 아니다. 인간은 장인이 물건 만드는 법을 배우듯이 자신을 마땅히 되어야 할 존재로 만드는 법을 배우지 않는다. 어떤 법칙이나 방법도 도덕적 상황에 앞서 도덕적 형성을 보장할 수 없다. 도덕적 개념만으로는 도덕적 삶에 충분하지 않다. 구체적인 사례를 평가하려면 판단이 필요하다.
가다머의 예는 법률가다. 법률가는 법을 확정하고 적용해야 한다. 법의 본래 의미에 관한 역사적 지식은 필요하지만 그것만으로 충분하지는 않다. 법률가는 “상황의 변화를 고려해야 하며, 따라서 법의 규범적 기능을 새롭게 규정해야 한다.” ‘덕성 있는 인공지능’을 만드는 방법을 구축하려는 정렬의 목표는 인공지능이 취향을 갖게 되는 것만큼이나 불가능하다.
기술성의 정신은 이제 막 출현하는 ‘영구적 하층계급’에 대한 끊임없는 경고, 정렬에 실패한 인공지능이 세계를 불태우는 영화 같은 묘사—앤트로픽이 공개한 것이다!—그리고 인공지능이 인간의 존엄에 너무나 큰 도전을 제기하므로 연산 자원에 대한 단일한 세계적 통제가 필요하다는 확신으로 귀결되었다. 슈미트가 이해했듯이, 이러한 정신은 전적으로 낭만적이다.
“무제한의 힘과 자연에 대한 인간의 지배, 심지어 인간 본성에 대한 지배를 믿는 것은 … 환상적이고 사탄적이라고 부를 수는 있지만, 단순히 죽어 있고 정신이 없으며 기계화되어 영혼이 없는 상태라고 부를 수는 없다.” 슈미트는 이 정신을 그리스도의 적이라는 표상 아래에서 고찰했다. 그것이 절대적으로 선한지 절대적으로 악한지 분간할 수 없기 때문이다.
그리스도의 적은 “그리스도를 모방할 줄 알며, 그렇게 자신을 그리스도와 닮게 만들어 모든 사람을 속여 그들의 영혼을 빼앗는다. 그는 자신을 친절하고 올바르며 청렴하고 합리적인 존재로 내세운다.” 그의 힘은 하느님을 모조하는 데 있다. 하느님께서는 세상을 창조하셨지만, 그리스도의 적은 세상을 자연이 극복된 것처럼 보이는 위조물로 만든다.
나르키소스가 연못에서 사랑하는 것은 그리스도의 적이 만든 위조물, 곧 우리 자신의 모습으로 되비친 세계다. 그리스도의 적이 구원과 평화를 가져다주는 것처럼 보이면서 파괴를 가져오듯이, 기술주의 정신은 지상 낙원을 약속하면서 궁핍을 가져온다.
피터 틸은 비공개 강연과 『First Things』에서, 그리스도의 적이 실존적 위협에 맞서 세계를 동원하고 사람들에게 안전을 대가로 자신의 주체적 행위 능력을 내놓으라고 요구하면서 등장할 수 있다고 추측한다. 엘리에저 유드코프스키는 그러한 거래를 원한다. 그러나 계승론자들 역시 우리를 유혹해 기계의 지배를 받아들이게 한다는 점에서 후보가 된다.
모방적 경쟁에 갇힌 두 진영은 서로를 부추기며, 우리 나머지 사람들을 동일한 낭만적 욕망의 대상으로 끌어당긴다. 우리를 능가하는 기계가 그 대상이다. 각 진영은 그리스도의 적의 목적에 봉사한다. 그 목적은 연구원들을 사로잡고 모든 사람을 복종으로 끌어들이려 하는 기술주의 정신에서 드러난다.
슈미트는 말년에 카테콘(katechon)에 몰두하게 되었다. 카테콘은 제도나 인물 안에 구현되어 그리스도의 적의 도래를 막아 내는 힘이다. 우리 시대의 그리스도의 적이 기술성의 정신이라면, 우리의 싸움은 기술 그 자체가 아니라 그 배후의 정신을 상대로 하는 것이다. 니체가 자기 시대의 기계론자들을 두고 강조했듯이, 기계적인 세계는 “본질적으로 무의미한 세계”, 곧 어리석고 취향이 없는 세계일 것이다.
연구원들의 낭만적 비전 한가운데 자리 잡은 허무주의에 대한 응답은 기술에 맞서는 또 다른 낭만주의가 아니다. 그것 역시 똑같이 어리석고 취향이 없을 것이다. 그 응답은 기술을 인간의 번영을 위한 종속적인 도구로 대하는 태도다. 우리에게 필요한 것은 연구를 줄이는 일이 아니라, 이러한 모델들을 어떻게, 무슨 목적을 위해, 누구의 이익을 위해 사용해야 하는지를 정직하게 다루는 더 성숙한 연구다. 우리의 기술은 우리의 주체적 행위 능력을 대신하기 위해서가 아니라 보완하기 위해 존재한다.
우리 시대의 카테콘은 인간적인 것을 기뻐하며, 인공지능을 특정한 과업의 부담을 덜어 줄 수 있는 또 하나의 도구로 보는 정신이다. 그러나 이 도구를 어떻게 올바른 질서 안에 둘 것인지는 우리가 판단해야 한다. <끝>
* 리베르타임즈에서는 '미국 가톨릭 지성(First Things)'의 소식을 오피니언란에 연재합니다. 한국 가톨릭 교회의 변화와 북한 동포를 위해 기도하는 교회가 되기를 소망합니다. - 편집위원실 -
;)
![[사설] 이런 국회, 과연 필요한가](/news/upload/1791414379777_c.jpg)
![[북한의 오늘] 조사 결과엔 ‘자작극’, 지뢰 제거엔 위협](/news/upload/1791385986633_c.jpg)
