AI, 신의 탄생 인간의 종말

If Anyone Builds It, Everyone Dies

Why Superhuman AI Would Kill Us All
_{Eliezer Yudkowsky, Nate Soares | 2025}

이번엔 AI 에 대해 부정적 의견을 지닌 진영에서 대표 인물들로 알려진 분들 이야기를 들어볼 차례입니다. 『듀얼 브레인』에서 긍정적인 측면을 봤다면 이제 그 대척점이라고 할 수 있습니다. 저자 중에 소아레스는 엔지니어 출신이지만, 유드코스키는 연구나 엔지니어 출신은 아닙니다. 그럼에도 불구하고 시사하는 바가 분명합니다.

AI 정렬 문제

성숙한 AI 안에 자리 잡게 될 ‘선호’들은 복잡하며, 사실상 예측이 불가능하고, 인간의 가치와 정렬될 가능성은 거의 없다. 그것이 어떤 방식으로 훈련되었는지는 중요하지 않다.
AI가 인간이 원하는 ‘정확하고 복잡한 것들’을 원하게 하고 실제로 그렇게 행동하게 만드는 문제, 그것이 바로 ‘AI 정렬 문제^{AI alignment problem}’라 불리는 주제의 핵심이다.

1부 비인간적 지성
4 훈련이 목적이 될 때

인공지능 정렬이라는 용어는 저도 비교적 최근에 알게 됐습니다. 그리고 인공지능을 써보면서 이 정렬 문제가 해결될지에 대해선 회의적입니다. 게다가 인공지능이 스스로 학습하고 개선해가는 과정에 돌입한 지금은 우리보다 똑똑한 지능이 우리가 원하는대로 움직여줄지는 더 불투명합니다. 부정적인 의견이 드는게 당연합니다. 그래서 이 책에서 우려하는 가장 큰 문제가 바로 이 정렬 문제입니다.

인류의 미래

이 분야의 전문가들은 불투명한 학술 용어로 다음의 문제를 논의하고 있다. 모든 인류가 빠르게 죽을 것인가(저자들의 견해), 아니면 인류가 디지털화되어 AI에게 ‘아주 작지만 0은 아닌 수준’의 관심을 받는 ‘애완 존재’로 남게 될 것인가, 혹은 인류가 죽을 확률은 20퍼센트이고 나머지 80퍼센트에서는 어떤 기업이 초지능을 성공적으로 통제해 그 힘을 자의적으로 행사하게 될 것인가.

3부 맞서야 할 도전
12 나는 위기론자가 되고 싶지 않다

인공지능 전문가들이 다음으로 논의하고 있다는 주제가 참 충격적입니다. 저도 소위 말하는 종차별주의입니다. 우리 인류가 밉든 곱든 살아남아야 한다고 생각합니다. 헌데 이 분야 전문가들조차 막연한 희망으로 부정적인 주제만 다루고 있다는 건 어떻게 받아들여야 하는지도 모르겠습니다.

인공지능에 대한 대안

우리가 생각하는 첫 번째 단계는 이렇다. 새롭고 더 강력한 인공지능을 학습시키거나 실행할 수 있을 만큼의 모든 컴퓨팅 자원을, 조약에 서명한 여러 국가의 감시자들이 공동으로 관찰할 수 있는 장소에 모으는 것이다. 그렇게 해야 GPU들이 더 강력한 인공지능 훈련이나 운용에 사용되지 않음을 확인할 수 있다. 만약 정보기관이 전력 소비량이 비정상적으로 큰 시설을 발견해, 거기에 등록되지 않은 칩들이 숨겨진 데이터센터가 있다고 판단했는데 그 나라가 국제 감찰단의 조사를 거부한다면, 여러 핵보유국이 공동으로 ‘다음 조치를 경고하는’ 엄중한 서한을 보내야 한다.

3부 맞서야 할 도전
13 인류가 멈춰야 할 마지막 실험

이런 문제 의식을 가진 저자들이 주장하는 대안은 위와 같습니다. 핵은 일반인들이 쉽게 접근할 수 없는 물질입니다. 더더군다나 무기는 더욱 어렵습니다. 하지만, 인공지능은 바로 우리 옆에서 모든 사람들이 다루고 있습니다. 그래서 더 치명적일 겁니다. 그러나 그렇기 때문에 위와 같은 조치를 말하는 것이 어쩌면 당연해 보이기도 합니다. 그러나 우린 이미 영화 리미트리스처럼 뛰어난 지능을 경험했습니다. 이를 다시 사용하지 못하게 됐을 때 어떤 반응들일지 생각하면 이 대책들이 과연 실효성이 있을까 싶기도 합니다.

結

얼마전 바코드를 찍는 로봇이 400시간 일하는 걸 봤습니다. 인공지능이 기반이 된 이 로봇 기술을 보면 단순히 화이트 칼라뿐만 아니라 블루 칼라까지도 인공지능 충격은 가히 파괴적일 겁니다. 과연 어떤 미래가 이미 벌어지고 있는지 모르겠습니다. 이미 저도 코딩보다는 토큰만 사용하고 있는 입장에서 이 인공지능으로 제 일을 대체할 방법을 찾는 것이 당장 회사에 큰 도움이 되는 마당에 이런 방법이 온당한지 판단이 서지 않습니다.