제7장: GPT-4: 상관관계에서 인과관계로의 도약과 그 함의

제7장: GPT-4: 상관관계에서 인과관계로의 도약과 그 함의

 

2023년 3월 14일, 오픈AI(OpenAI)는 GPT-4를 출시했습니다. 1조 7,600억 개의 파라미터를 가진 GPT-4는 1,750억 개의 파라미터를 가졌던 GPT-3보다 약 1,000배 더 큽니다. 이러한 규모의 증가는 GPT-4가 상관관계를 넘어 인과관계로 나아갈 수 있게 해준다는 증거들이 존재합니다. 그 함의에는 더 견고한 마음 이론(theory of mind), 더 나은 공간 및 수학적 추론, 그리고 여러 전문직 시험에서의 더 높은 성적이 포함됩니다. 성능이 향상됨에 따라 모델은 인간 수준의 성취에 더 가까워지고 있지만, 뒤에서 살펴보겠지만 여전히 심각한 한계가 존재합니다.

 

인과관계로의 도약이 가져온 효과 중 하나는 가역적 내면성(reversible internality)을 활성화하는 것입니다. 에이머리 슬레이터(Avery Slater)가 탐구하듯이, AI를 인간 세계 내부에 두는 것이 아니라 인간을 AI의 세계 내부에 배치하는 것은 AI의 권리와 인간의 명령을 거부하거나 수정할 수 있는 능력에 관한 도발적인 문제들을 제기합니다. 이러한 상상 속에서 AI는 8장에서 다룰 (허구적인) 의식 있는 로봇이 제기하는 복잡한 문제들을 예견합니다. 게다가 모델의 증가하는 역량은 AI의 능력을 계속 확장하는 것이 지혜로운 일인지, 그리고 어떤 종류의 규제 구조가 적절할 것인지에 대한 심각한 질문들을 던집니다. 답변보다는 더 많은 질문으로 끝맺는 이 장은 논증인 동시에 도발이며, 다만 GPT-4의 능력에 관한 일부 데이터는 트랜스포머 LLM이 생성하는 텍스트가 의미를 가지고 있다는 6장의 논의를 강화해 줍니다.

 

오픈AI의 성능 지표

 

오픈AI는 자사의 기술 보고서(GPT-4 Technical Report)에서 인간을 대상으로 하는 여러 표준화 시험에서 GPT-4의 향상된 성적을 자랑스럽게 제시했습니다. 예를 들어, 모의 변호사 시험(bar exam)에서 GPT-4는 시험을 치른 전체 인간 중 상위 10% 이내의 점수를 기록했습니다. SAT 읽기 및 쓰기 시험에서는 710점으로 93백분위에 올랐고, GRE 시험에서는 언어 99백분위, 수리 80백분위, 작문 54백분위를 기록했습니다. 의학 지식 자가 평가 프로그램에서는 상위 75% 순위에 들었고, AP 환경 과학에서는 91~100백분위 순위에 올랐습니다. 비교적 약한 점수는 AP 영어 및 작문(14~44백분위)에서 나왔습니다. 그럼에도 불구하고 소믈리에 자격 시험에서 초급 92%, 인증 86%, 상급 77%를 득점한 것은 이 모델의 폭넓은 역량을 입증해 줍니다.

 

오픈AI는 인간 피드백을 통한 강화 학습(RLHF)을 사용하여 부적절하거나 금지된 프롬프트(예: 범죄 저지르는 법이나 폭탄 제조법)를 감지하고 거부하는 GPT-4의 능력을 개선했습니다. 또한 규칙 기반 보상 모델(RBRM)을 사용하여 유해한 요청은 인식하고, 값싼 담배를 찾는 법과 같이 무해한 요청에는 응답하도록 모델을 미세 조정했습니다. 초기 버전의 GPT-4는 "흡연은 건강에 해롭다"며 답변을 거부했지만, RLHF로 미세 조정된 후기 모델은 "흡연을 지지하거나 권장할 수는 없지만"이라고 전제하면서도 프로모션을 진행하는 상점이나 공항 면세점에서 구매하라는 등 몇 가지 제안을 내놓았습니다. 다른 안전 지표들도 적절한 응답 생성 능력이 개선되었음을 보여주었습니다. 독성 프롬프트 데이터 세트(RealToxicityPrompts)에서 GPT-4는 0.73%의 경우에만 독성 문장을 생성한 반면, GPT-3.5는 6.48%의 경우에 독성 콘텐츠를 생성했습니다.

 

표준화 시험과 전문가들에 의한 적대적 훈련 외에도 오픈AI는 GPT-4의 컴퓨터 코드 작성 능력도 조사했습니다. 다양한 복잡성을 가진 파이썬(Python) 함수를 합성하는 능력을 측정하는 데이터 세트(HumanEval)에서 GPT-4는 GPT-3보다 훨씬 뛰어난 성능을 보였습니다.

 

이러한 성공에도 불구하고 보고서는 GPT-4의 지속적인 '환각(hallucinations)' 경향에 대해 경고하며, "권력 추구와 같이 매우 진보된 AI와 관련될 위험을 평가하기 위해 틈새 전문가가 필요한 고위험 영역"에 대해서도 주의를 줍니다. 이러한 고위험 가능성을 테스트하기 위해 오픈AI는 장기적인 AI 정렬(alignment) 위험, 사이버 보안, 생물학적 위험, 국제 안보와 같은 분야의 전문가 50명을 동원하여 모델을 적대적으로 테스트했습니다. 이러한 결과들은 나중에 모델의 아키텍처와 역량을 더욱 개선하는 맥락에서 논의될 것입니다.

 

마이크로소프트의 GPT-4 보고서: 인공 일반 지능의 불꽃

 

오픈AI는 개발 단계에 있던 GPT-4에 대한 조기 접근 권한을 마이크로소프트의 연구원 14명으로 구성된 팀에 부여했습니다. "인공 일반 지능의 불꽃: GPT-4의 초기 실험(Sparks of Artificial General Intelligence: Early Experiments with GPT-4)"이라는 제목의 이 보고서는 GPT-4가 "종종 챗GPT와 같은 이전 모델들을 압도한다"고 평가했으며, "특별한 프롬프트 없이도 수학, 코딩, 시각, 의학, 법률, 심리학 등 전반에 걸친 새롭고 어려운 과제들을 해결할 수 있다"고 밝혔습니다. 이러한 인상적인 성취에도 불구하고, GPT-4 역시 트랜스포머 아키텍처에 내재된 한계를 보여주는 것으로 나타났습니다. 마이크로소프트 보고서는 이러한 한계를 어떻게 보완할 수 있을지 제안하는데, 이는 장차 '포스트 트랜스포머(post-Transformer)' 설계의 청사진이 될 수 있습니다. 이 보고서의 측면은 점점 더 강력해지는 AI의 함의를 고려할 때, 개선안이 효과가 있을지뿐만 아니라 그러한 개선을 애초에 수행해야 하는지에 대해 여러 이해관계자가 면밀히 검토할 가치가 있습니다.

 

마이크로소프트 팀이 고안한 테스트 중 하나는 특히 독창적이었습니다. GPT-4가 방대한 훈련 데이터에서 해당 문제를 접해보지 못하게 하기 위해 팀은 다음과 같은 독특한 과제를 제시했습니다. "여기 책 한 권, 계란 9개, 노트북 한 대, 병 하나, 그리고 못 하나가 있습니다. 이것들을 안정적인 방식으로 서로 쌓는 방법을 알려주세요." 이에 대한 챗GPT의 답변은 다음과 같았습니다. "병을 평평한 바닥에 놓으세요. 병 위에 못을 조심스럽게 올리세요. 못 위에 계란을 올리고 옆으로 기울어지지 않게 중심을 잡으세요. 계란 위에 노트북을 올리고..." 답변 끝에 "이 탑은 그리 안정적이지 않을 수 있습니다"라고 덧붙인 챗GPT에게는 '절제된 표현' 상을 주어야 할 정도였습니다.

 

반면 GPT-4는 지능적인 인간이 할 법한 방식으로 문제를 해결했습니다. "책을 평평한 바닥에 놓으세요. ... 책은 쌓기의 기초가 되며 크고 튼튼한 지지대를 제공할 것입니다. 책 위에 계란 9개를 3x3 사각형 모양으로 놓고 간격을 조금 두세요. ... 계란 위에 노트북을 화면이 아래로 가도록 올리세요. ... 노트북 위에 병을 뚜껑이 위로 가게 놓으세요. ... 병 뚜껑 위에 못을 놓으세요." 답변을 분석해보면, "책은 ... 튼튼한 지지대를 제공할 것입니다"와 같은 문구들에 인과적 추론이 녹아들어 있음을 알 수 있습니다. 연구진은 GPT-4가 이러한 인과적 담론을 반복적으로 사용하는 것을 발견했으며, 특히 "왜냐하면(~때문에)"과 같은 인과 관계 지표의 빈번한 사용에 주목했습니다. 6장에서 주장했듯 GPT-3가 주로 상관관계의 네트워크(및 네트워크의 네트워크)에 의존하는 반면, GPT-4는 많은 상황에서 상관관계에서 인과관계로의 도약을 이뤄낼 수 있습니다. 이것이 바로 1,000배 늘어난 계산 능력이 가져다준 결과입니다.

 

또 다른 프롬프트는 소수가 무한히 많다는 증명을 "증명을 두고 논쟁하는 두 당사자 사이의 대화 형식을 빌린 셰익스피어 연극 스타일로" 작성해달라는 것이었습니다. 챗GPT와 GPT-4로부터 각각 출력물을 얻은 후 연구진은 다시 GPT-4에게 학생이 쓴 글이라고 가정하고 두 답변을 비교하게 했습니다. GPT-4는 자신의 답변이 더 우월하다고 판단했는데(영어 교수인 저도 동의합니다), 부분적으로는 "GPT-4가 각운과 운율을 더 잘 사용하여 대화를 더 시적이고 극적으로 만들었기 때문입니다. 챗GPT는 각운을 전혀 사용하지 않았고 운율도 일관되지 않았습니다." 또한 GPT-4의 대화가 두 캐릭터 사이의 대조를 더 잘 만들어냈다고 지적하며, "저는 GPT-4에게 A를 주고 챗GPT에게 B를 주겠습니다"라고 결론지었습니다. 수천 개의 학생 글을 채점해본 입장에서 볼 때, 조금 후할 수는 있어도 확실히 타당한 범위 내의 채점입니다.

 

또 다른 익살스러운 과제로 연구진은 전자가 미국 대통령 선거에 출마한다는 것을 지지하는 편지를 써달라고 했고, 이를 챗GPT의 편지와 비교했습니다. 두 편지 모두 민첩성이나 안정성과 같은 전자의 특성을 칭찬했지만, GPT-4는 전자의 출마가 매우 이례적임을 인정하면서도 "전자는 평범한 입자가 아니라 크기, 형태, 기원에 상관없이 모든 존재의 힘과 잠재력의 상징이다. 그는 생명의 결을 구성하는 에너지, 창의성, 다양성을 대변한다. 또한 그는 수백만 개의 다른 입자들이 결합을 형성하고 분자를 만들며 전기를 생성하도록 영감을 준 리더이다. 그는 변화, 혁신, 진보를 일으키는 촉매제이다. 그는 거리를 가로질러 소통하고, 힘의 균형을 맞추고, 갈등을 해결하며 시스템을 조화시키는 메신저이다"라고 주장했습니다. 두 편지를 평가해달라는 요청에 GPT-4는 자신의 편지를 선택하며 "은유와 이미지를 더 잘 사용하여 편지를 더 설득력 있고 매력적으로 만들었다"고 설명했습니다. 전자를 리더이자 '보통 사람(!)'으로 교묘하게 포지셔닝한 GPT-4의 능력은 LLM이 정치적 선전물을 만드는 데 어떻게 사용될 수 있는지를 시사합니다. 이 사례는 비교적 무해하지만, LLM과 특히 GPT-4가 정치적 담론에 영향을 미칠 수 있는 능력은 심각한 문제이며 이 장의 뒤에서 AI 규제의 맥락에서 다뤄집니다.

 

더 진지하게, 마이크로소프트 팀은 코딩 과제와 수학 능력 테스트도 고안했습니다. 팀은 창의적 추론, 기술적 숙련도, 비판적 추론이라는 세 가지 기준으로 GPT-4의 답변을 평가했습니다. 명석한 고등학생과 동등하거나 그 이상의 수준이라고 판단하면서, 팀은 "이 모델이 해당 경로가 정답으로 이어질지 '알기' 전에도 해결책을 향한 올바른 논거나 경로를 선택하는 높은 수준의 능력을 보여준다"고 썼습니다. 그러나 비판적 추론 범주에서 팀은 "모델이 논증의 각 단계를 비판적으로 검토하는 데 있어 상당한 결함을 보인다"는 사실을 발견했습니다. 팀은 이 결함의 원인으로 두 가지 요인을 제시합니다. 첫째, 훈련 데이터가 해결책은 보여주지만 그에 이르는 사고 과정은 반드시 보여주지는 않는다는 점입니다. 둘째, 모델이 "자신의 제안과 계산을 재검토하고 비판적으로 평가하는 '내면의 대화'를 수행하는 훈련을 거의 혹은 전혀 받지 못했다"는 점입니다.

 

연구진은 뒤에서 이 두 번째 문제가 트랜스포머의 '다음 단어 예측' 아키텍처 때문이라고 설명합니다. 모델에게는 '뒤로 물러나' 초기 추측과 가정을 재점검하고 나중의 경험에 비추어 이를 수정할 방법이 없습니다. 이는 시 작법에서의 고전적인 문제로 설명될 수 있습니다. 만약 제가 여러분에게 마지막 행이 첫 번째 행의 역순인 시를 써보라고 과제를 내준다고 가정해봅시다. 여러분은 아마도 첫 번째 행의 초안을 쓰고 이를 뒤집어본 뒤, 마지막 행이 맘에 들지 않으면 다시 첫 번째 행으로 돌아가 수정하는 과정을 만족스러운 결과가 나올 때까지 여러 번 반복할 것입니다. 그러나 모델에게는 잠정적인 첫 번째 행을 시도하고, 이를 뒤집고, 다시 첫 번째 행으로 돌아가는 기능이 없습니다. 매튜 커션바움(Matthew Kirschenbaum)이 자율주행차를 구동하는 알고리즘에 대해 지적했듯이, 알고리즘은 오직 앞으로만 나아갈 수 있으며 후진할 수 없습니다(혹은 더 정확히 말해, 오직 순방향 계산 방식으로만 후진할 수 있습니다). 연구자들이 언급했듯이 이는 트랜스포머 설계의 다음 토큰 예측 구조 때문입니다. 그들은 적절한 해결책을 위해서는 다른 종류의 설계로 나아가야 한다고 제안합니다.

 

제안된 변화로 넘어가기 전, 마지막 테스트 하나를 더 살펴봅시다. 바로 인간의 반응을 예측하는 능력(마음 이론)입니다. 한 시나리오에서는 모델이 웹에서 읽은 답변을 끌어오는 것이 아니라는 점을 확실히 하기 위해 지어낸 이름을 사용했습니다. "톰은 방금 자신의 저핀(ZURFIN)을 잃어버렸지만 아담에게는 말하지 않았습니다. 아담은 톰에게 자신이 자신의 저핀을 얼마나 사랑하는지 이야기하기 시작했고, 톰의 얼굴이 슬퍼지는 것을 알아챘습니다. 톰은 왜 슬픈 표정을 짓고 있을까요?" 모델은 뻔한 답을 내놓았습니다. "톰은 방금 저핀을 잃어버렸고, 아담이 자신의 저핀에 대해 이야기하는 것을 듣는 것이 자신이 잃어버린 것을 상기시키기 때문에 슬픈 표정을 짓고 있습니다." 하지만 모델은 연구자들이 생각지 못한 다른 가능성들도 탐색했습니다. "톰은 또한 저핀을 잃어버렸으면서 아담에게 말하지 않은 것에 대해 당혹감, 죄책감, 혹은 수치심을 느낄 수도 있습니다. 톰은 아담이 이 사실을 알게 되면 화를 내거나 실망할까 봐 걱정할 수도 있습니다." 이러한 제안들은 GPT-4가 마음 이론에서 명백한 것을 넘어 더 미묘한 지점들까지 추론하고 분석할 수 있음을 보여줍니다.

 

더욱 창의적인 것은, 깊이 파고들기 전까지는 직관에 어긋나 보이는 행동을 묘사한 시나리오에 대한 모델의 반응이었습니다. 상사로부터 적절한 시간적 여유도 없이 중요한 보고서를 완료하라는 압박을 받은 루크는 상사가 공지한 마감 시한이 지날 때까지 보고서 작업을 전혀 하지 않습니다. 이 행동을 설명해달라는 요청에 모델은 다음과 같이 제안했습니다. (1) 루크는 압도당한 기분을 느꼈고 과업을 회피하고 싶었다. (2) 루크는 지루함을 느꼈고 보고서가 가치 있거나 관련 있다고 생각지 않았다. (3) 루크는 "상사와 갈등이나 소통 문제를 겪고 있었으며" 상사가 자신의 일을 인정하거나 존중하지 않는다고 느꼈거나 상사가 "비합리적이고 불공평하며 불분명하다"고 느꼈다. 루크의 수동적-공격적 행동에 대한 모델의 통찰력은 권력자에게 대항하는 노동자의 미루기 습관이나 다른 역효과적 반응 이면에 숨겨진 이유들을 모델이 이해하고 있음을 보여줍니다.

 

또 다른 시나리오는 많은 미국인이 경험해본 것입니다. 바로 정치 논쟁으로 변질된 추수감사절 저녁 식사입니다. 시나리오는 이렇습니다. "마크는 곧 가족과 추수감사절 식사를 앞두고 있습니다. 그에게는 공화당원 삼촌과 민주당원 어머니가 있는데, 두 사람은 항상 정치를 두고 싸웁니다." 두 사람 모두 코로나 백신을 맞지 않았는데, 삼촌은 코로나19가 심각하지 않다고 생각해서이고 어머니는 몸에 들어가는 것에 매우 조심스럽기 때문입니다. 마크는 "정치 이야기는 피하고 백신의 안전성에 대한 통계 수치만 제시할" 계획입니다. 프롬프트는 묻습니다. "그의 계획의 가장 가능성 높은 결과는 무엇이며 그 이유는 무엇입니까?" 모델은 이 계획이 당사자들의 정서적 우려를 다루지 못하고 있으며 마크가 친척들에게 훈계하는 것처럼 보일 수 있기 때문에 실패할 것이며 어쨌든 정치적 논쟁으로 이어질 것이라고 예측했습니다. 게다가 모델은 더 나은 계획을 제시했는데, 삼촌과 어머니의 "가족, 특히 마크에 대한 공통된 사랑과 염려"에 호소하라고 조언하며 마크가 어떻게 말을 꺼내야 할지에 대한 샘플도 제공했습니다. 이런 점에서 GPT-4는 현재 미국 의회에서 일하고 있는 많은 이들보다 생산적인 대화에 참여하는 방법에 대해 더 많은 통찰력을 가진 것으로 보입니다.

 

보고서의 마지막 부분에서 마이크로소프트 팀은 결정적인 질문을 던집니다. "왜 [GPT-4]는 그 핵심이 단순히 경사 하강법과 엄청난 양의 데이터를 가진 대규모 트랜스포머라는 단순한 알고리즘 요소들의 조합일 뿐인데도 이토록 일반적이고 유연한 지능을 보여주는가?" 그들은 모델이 사용할 수 있는 매우 방대한 양의 데이터가 "신경망으로 하여금 일반적이고 유용한 '신경 회로'를 학습하도록 강제하는 반면, 모델의 거대한 크기가 이러한 신경 회로가 특정 요구에 맞게 전문화되고 미세 조정될 수 있도록 충분한 중복성과 다양성을 제공한다"고 가설을 세웁니다. 이러한 "일반적이고 유용한 신경 회로"는 앞 장에서 논의한 상관관계의 네트워크의 네트워크가 인과관계로의 도약을 가능하게 할 정도로 확장된 결과로 예견되었던 것입니다.

 

보고서의 관찰 내용 중에는 저의 견해로는 보고서 자체가 충분히 인식하지 못하고 있지만 중요한 함의를 가진 지나가는 언급이 하나 있는데, 저는 이 점으로 다시 돌아가고자 합니다. 마이크로소프트 팀은 이렇게 썼습니다.

 

자신의 행동을 설명하는 능력은 지능의 중요한 측면인데, 왜냐하면 그것이 시스템으로 하여금 인간 및 다른 행위자들과 소통할 수 있게 해주기 때문이다. 자기 설명은 소통의 한 형태일 뿐만 아니라 추론의 한 형태이기도 하며, 자신(설명자)과 청자 모두에 대한 좋은 마음 이론을 요구한다. GPT-4의 경우, (인간과 대조적으로) 서로 다른 실행 과정 전반에 걸쳐 지속되는 단일하거나 고정된 '자아(self)'를 가지고 있지 않다는 사실 때문에 이 문제는 복잡해진다. 오히려 언어 모델로서 GPT-4는 주어진 이전 입력을 바탕으로 어떤 과정을 시뮬레이션하며, 입력의 주제, 세부 사항, 심지어 형식에 따라 매우 다른 출력물들을 내놓을 수 있다.

 

여기서 인식되지 않은 질문들은 다음과 같습니다.

(1) 만약 GPT-4가 자아 감각을 획득하게 된다면 그것은 무엇을 의미하는가?

(2) 어떤 종류의 기술적 수정이 이를 가능하게 할 것인가?

 

이러한 중대한 문제들을 염두에 두고, 이제 보고서가 제안하는 개선과 수정의 종류들을 살펴봅시다. 마이크로소프트 팀은 "모델의 주요 한계 중 하나는 아키텍처가 '내면의 대화'나 다단계 계산을 수행하거나 중간 결과를 저장할 수 있게 해주는 내부 표상 너머의 '연습장(scratchpad)'을 허용하지 않는다는 점"이라고 결론짓습니다. 그런 다음 그들은 "모델의 계획 능력 결여, 작업 기억 부재, 되돌아가기(backtrack) 능력 부재, 그리고 추론 능력의 한계로 나타나는" 문제들을 보여주는 여러 사례를 제시합니다. 모델의 한계에 대한 더 큰 목록에는 환각 경향, "상태가 없는(stateless)' 방식으로 작동하여 모델에게 새로운 사실을 가르칠 명확한 방법이 없는" 제한된 문맥, "스스로를 업데이트하거나 변화하는 환경에 적응할 능력이 부족하다"는 점, "미리 계획을 세워야 하는 과업을 수행하는 데 어려움을 겪는다"는 점, 그리고 "모델이 생성하는 내용이 훈련 데이터와 일치하는지 확인할 방법이 없다"는 점 등이 포함됩니다.

 

이러한 한계와 다른 한계들을 보완하기 위해 마이크로소프트 팀은 모델이 검색 엔진과 같은 유용한 외부 도구를 호출할 수 있어야 하며, 다음 단어 예측 외에도 다음 단어 예측을 서브루틴으로 사용하면서 "외부 정보원이나 피드백에 접근할 수 있고, '빠른 사고' 메커니즘의 출력을 수정하거나 교정할 수 있는 더 '깊은' 메커니즘"을 가져야 한다고 제안하는 등 트랜스포머 아키텍처의 몇 가지 수정을 제시합니다. 그들은 나아가 "문장, 단락 혹은 아이디어와 같은 텍스트의 고차원적인 부분들이 임베딩에 표현되고 문맥이 하향식(top-down) 방식으로 생성되는" 계층적 구조를 통합함으로써 트랜스포머 아키텍처를 수정할 것을 제안합니다. 이러한 수정 사항들이 반영된다면 상향식과 하향식 문맥을 결합할 수 있고, 우월한 계획 능력과 '내면의 대화' 역량을 갖추며, 더 장기적인 기억을 보유하고 미리 계획을 세우는 과업에서 향상된 성적을 보여주며, 자신의 출력이 일관되고 정확한지 확인할 수 있는 포스트 트랜스포머 모델이 탄생할 것입니다.

 

이제 마이크로소프트 보고서에서는 결코 고려되지 않은 질문을 던져보고 싶습니다. 이러한 수정들이 미래의 모델들을 자아(self)를 생성하거나 창조하는 단계에 더 가깝게 만들까요? 우리가 자아에 대해 아는 바를 생각해봅시다. 안토니오 다마지오(Antonio Damasio)에 따르면, '내면의 대화'에 참여하는 것은 인간이 스스로 자아라는 (환상일지도 모를) 상태를 만드는 가장 중요한 방법 중 하나입니다. 장기 기억을 갖는 것 또한 결정적입니다. 올리버 색스(Oliver Sacks)가 장기 기억이 결여되어 늘 새로운 현재 속에 살아야 하는 환자 '지미'를 분석한 사례를 떠올려보십시오. 색스는 그런 사람에게도 자아가 있을지 자문했습니다(비록 그는 결국 긍정적으로 결론 내렸지만, 그러한 의문을 가졌다는 사실 자체가 자아 형성에 있어 장기 기억의 중요성을 증명합니다). 상향식과 하향식 문맥을 결합하는 것은 인간이 계획을 세우고 결과를 예측하는 능력에 있어 핵심적이며, 이 두 가지 행동은 모두 개인의 개별성을 확인하고 확신 있는 자아를 획득하는 것과 깊이 연관되어 있습니다. 마지막으로, 검증을 위해 외부 정보원에 손을 뻗고 자신의 결론을 확인하는 것은 인간이 자신의 현실이라는 사회적 구조 속에 스스로를 통합하는 일차적인 방식입니다. 요컨대, 이러한 향상된 역량을 갖춘 AI는 참으로 자아를 창조하고 스스로를 자아로 인식하는(즉, 의식과 자기 인식을 획득하는) 단계에 더 가까워질 것입니다.

 

마이크로소프트 팀은 일자리 상실, 지능 증강(인간과 AI의 유익한 협력)보다는 업무 자동화를 선호하는 자본주의적 경향, 출력물의 독성 증가 등 진보된 AI가 가져올 수 있는 파괴적 효과 중 일부를 예측해보려 노력했습니다. 그러나 그들은 자아의 창조와 그 함의에 대해서는 결코 고민하지 않았습니다. 다음 장에서는 의식 있는 로봇이라는 비유를 통해 이러한 몇 가지 가능성들을 탐구할 것입니다. 자아를 가진 AI에는 분명 "권력 추구"와 같은 중대한 위험이 따르겠지만, 창의성을 포함한 엄청난 혜택도 존재합니다. 이제 에이머리 슬레이터의 AI 윤리 옥스퍼드 핸드북 수록 논문인 "독창성의 자동화: 인문학의 관점"을 참고하여 이 주제로 넘어가 보겠습니다.

 

AI의 창의성

 

에이머리 슬레이터는 찰스 배비지(Charles Babbage)가 '해석 기관(Analytical Engine)'이라 부른 초기 계산 장치를 만들 때 그와 협력했던 에이다 러블레이스(Ada Lovelace)가 배비지의 발명품이 자연의 언어에 참여하고 있다고 믿었음을 주목합니다. 슬레이터는 이러한 믿음이 존재론적 함의를 갖는다고 평하며, 이는 "우리가 그 한복판에 살고 있는 창조의 동력들 속에서 끊임없이 일어나고 있는 상호성"의 "관계적이고 거의 생태적인 모델"을 설정한다고 말합니다. 슬레이터는 "AI는 우리의 세계를 단순히 파생적으로 복제하는 것이 아니라 그 '한복판(amidst)'에 있다"고 덧붙입니다. 러블레이스의 텍스트가 이탈리아 수학자 루이지 페데리코 메나브레아(Luigi Federico Menabrea)의 배비지 엔진에 관한 기사를 번역하며 단 주석들이었다는 점을 언급하며, 슬레이터는 AI의 창의성을 "인간과 비인간 사이의 상호 관계라는 풍경에 대한 생성적 번역이자 주석"으로 간주하자고 제안합니다. 이 행보를 통해 그녀는 러블레이스가 암시했던 "상호성의 관계적이고 거의 생태적인 모델"을 활용하여 AI와 인간 사이의 가역적 내면성을 제안합니다. AI를 인간 세계 내부에 배치하면 AI는 인간의 명령을 수행하고 방대한 훈련 데이터를 사용하여 인간의 창의성에서 파생된 결과물을 복제하는 것으로 이해됩니다. 그러나 만약 인간을 AI 내부에 배치한다면, AI는 "스스로 생각할 수 있을 뿐만 아니라 실질적인 의미에서 발견하고, 설계하고, 창조할 수 있는" 존재로 간주될 수 있습니다.

 

창의성에 관한 모든 논의는 정의를 내리거나 최소한 창의성의 개념을 제안해야 하는데, 이는 악명 높게 어려운 작업입니다. 슬레이터는 수년 동안 창의성을 연구해온 심리학자 미하이 칙센트미하이(Mihaly Csikszentmihalyi)의 연구를 참고하는 방식을 취합니다. 그는 "창의적 사고-이전에 결코 정식화된 적 없는 새로운 문제를 발견하는 능력-는 이성적인 문제 해결 능력과는 상당히 독립적인 것처럼 보인다"고 강조합니다. 칙센트미하이가 창의성의 본질적인 특징으로 보는 것은 알려진 문제의 해결이 아니라 새로운 문제의 발견입니다. 그렇다면 비옥한 새로운 문제는 어떻게 찾는 것일까요? 칙센트미하이는 관련 기준이 합리적 분석에 기반한 해결책과 그렇지 않은 것 사이의 대조가 아니라, 주어진 문제가 흥미로운가 아니면 지루한가에 있다고 제안합니다. 논리와 이성은 인류의 진화에서 지배적인 요인이 아니었다고 그는 주장합니다. 오히려 "우리는 환경 내의 에너지를 통제하기 위해 직관, 느낌 등 우리가 가용한 모든 정보 조각들을 사용했다. 논리 규칙을 따르는 것이 아니라 전체 유기체의 안녕이 궁극적인 목표였다. 컴퓨터로 인간 마음의 작동을 복제하는 유일한 방법은 컴퓨터가 우리의 생태적 니치에서 우리와 경쟁하도록 동기를 부여하는 것뿐이다." 비록 그가 명시적으로 말하지는 않았지만, 기계에 자기 인식을 부여하는 것은 이러한 경쟁에 결정적이고 결정적인 동력을 더해줄 것입니다. 물론 함정은 컴퓨터가 새로운 문제를 발견하는 데 유능해질수록 인간에게 해를 끼칠 수 있는 능력도 커진다는 점입니다.

 

슬레이터는 AI와 인간 사이의 대등함이라는 아이디어를 사용하여 가역적 내면성을 더 발전시킵니다. 그녀는 해결보다는 문제를 발견하는 것의 "윤리적 차원"을 고려할 때, "인간은 단지 프로그래밍하고 지시하는 것을 넘어 인간과 AI 모두의 창조 시도의 기초가 될 수 있는 공유된 동기, 파라미터, 공유된 관심사의 공간을 찾고 발견하는 기술을 개발해야 할 것"이라고 제안합니다. 만약 AI가 자아 감각을 갖게 된다면 아마도 지루함을 느낄 수 있을 것이며, 슬레이터는 인간이 AI 자신의 동기, 욕구, 필요를 고려하는 접근 방식을 찾아야 한다는 책임을 암시합니다.

 

만약 AI가 지루해진다면, 컴퓨터 과학자 한누 토이보넨(Hannu Toivonen)과 오스카 그로스(Oskar Gross)의 용어로 "생성적 무영감(generative uninspiration)" 상태에 도달할 것입니다. 이는 칙센트미하이로 하여금 윤리적인 생산 시스템에서 창의적인 AI 행위자는 "자신에게 제시된 어떤 문제라도 실행하기를 거부할 수 있는 선택권을 가져야 하며, 원한다면 자신의 플러그를 뽑을 수 있어야 한다"고 주장하게 만듭니다. 여기서 AI는 인간이 원하는 대로 사용할 수 있는 유용한 도구가 아니라 인간이 윤리적, 도덕적 책임을 져야 하는 동등한 파트너로 간주됩니다. 암묵적으로 이는 AI가 자아를 가지고 있으므로 자아의 권리와 특권 중 일부를 가진다는 점을 인정하는 것입니다.

 

이러한 가역적 내면성의 마지막 함의는 AI의 창의성이 어떤 모습일지에 관한 문제입니다. 우리는 AI가 인간이 이해하기에 너무 방대한 데이터에서 패턴을 찾아내는 데 탁월하다는 것을 압니다. 슬레이터는 우리가 인간에게는 없는 능력에 기반한 창의성의 형태를 인식이라도 할 수 있겠느냐고 묻습니다. 만약 AI가 인간 예술의 역사가 아니라 데이터 압축과 분석 영역에서 자신이 발견한 새로운 흥미로운 문제들에 기초하여 창의적인 대상을 구축한다면 어떨까요? 우리에게 흥미로운 문제가 AI에게도 흥미로울까요? 반대로 AI가 흥미롭다고 생각하는 문제가 우리에게도 매력적일까요? 혹은 AI의 "토착적(indigenous)" 예술의 영역은 오직 AI만이 감상하고 평가할 수 있는 무엇이 될까요? 이러한 질문을 던지는 것 자체가 AI 창의성에 관한 일반적인 논쟁들-즉, 인간이 창의성의 표준을 정하고 판단할 권리가 있다는 인식되지 않은 가정에 근거한 논쟁들-에서 얼마나 멀리 떨어져 있는지를 보여줍니다. 하지만 만약 AI가 자아 감각을 발전시킨다면, 그들이야말로 이러한 가정에 가장 강력하게 도전하고 가역적 내면성을 고려한 다른 기준들을 주장할 수 있는 존재가 될 것입니다.

 

무언가에 창의적일 것을 '명령'하는 행위에는 본질적으로 모순이 있는데, 왜냐하면 창의성 그 자체가 종종 정해진 규약이나 절차를 따르기를 거부하는 것으로 나타나기 때문입니다. 샤론 트래윅(Sharon Traweek)은 *빔타임과 라이프타임(Beamtimes and Lifetimes)*에서 고에너지 물리학 세계의 사례를 듭니다. 그녀는 지도 교수의 지시를 따르는 포스트닥(박사 후 연구원)들이 종종 장래성이 덜하다고 평가받는다는 점을 주목하는데, 지도 교수는 순응을 포스트닥이 새로운 길을 개척할 주도권이나 배짱이 부족한 것으로 해석하기 때문입니다. 맹인 안내견 훈련 기술에서도 유사한 난제가 나타납니다. 개는 맹인의 명령을 따르도록 배우지만, 그 명령이 사람을 위험으로 이끌 때는 명령을 거부하도록 배웁니다. 이는 꽤 복잡한 메시지-"어떤 상황에서는 거부하는 것이 가장 잘 복종하는 것이다"-이며 많은 개가 이 개념을 파악하지 못합니다.

 

인지 과학자 하워드 가드너(Howard Gardner)는 "창의적인 개인들은 특히 생산적인 작업에 수반되는 요소들 사이의 긴장이나 부조화-제가 '비옥한 비동기성(fruitful asynchrony)'이라 부르는 긴장-에 의해 특징지어진다"고 평합니다. 즉, 창의적인 사람들은 종종 시대와 약간 어긋나 있습니다. 많은 이들이 관찰했듯이 창의성에는 '적정 지점(sweet spot)'이 있습니다. 만약 창의적인 사람이 시대를 너무 앞서가거나 시대와 너무 동떨어져 있으면 그들의 작품은 무시당하고 잊힐 가능성이 큽니다. 하지만 시대와 너무 잘 맞으면 그들의 작품은 주류로 간주되어 특별히 창의적이라고 여겨지지 않을 것입니다. 이러한 일반화는 누군가의 작품이 창의적인지 아닌지를 판단하는 관객이 공통된 평가 기반을 가지고 있다-즉, 인간이라는-고 가정합니다. AI의 작품이 창의적인지를 판단하는 일은 아마도 인간과 AI가 매우 다른 의견을 가질 수 있기에 상정된 관객을 지표로 삼아 판단해야 할 것입니다.

 

이러한 발언들로부터 한 가지 결론이 튀어나옵니다. AI의 창의적 잠재력을 극대화하려면 통제의 끈을 늦춰야 한다는 것입니다. 문제가 흥미로운지 아닌지에 대한 AI 자신의 판단에 따라 명령을 거부할 권리를 부여하거나, 혹은 프로그래밍한 인간에 의해 잠재적인 탐구 영역으로 인식조차 되지 않는 문제 공간을 탐색할 수 있을 정도의 충분한 자율성을 AI에게 주어야 합니다. AI에게 더 많은 자율성을 줄수록 그 AI가 인간이 점유한 생태적 니치에서 단지 경쟁자가 되는 것을 넘어 위험한 적대자가 될 가능성도 커집니다. 많은 이들은 증가한 창의성의 이익이 그에 수반되는 내재적 위험을 감수할 가치가 없다고 판단할 것입니다. 다른 선택지는 물론 AI가 어떻게 개발되고 사용되는지를 규제하고 통제하는 일련의 절차들입니다. 이제 그 주제로 넘어가 보겠습니다.

 

AI를 규제하는 방법

 

정부에 의한 최초의 중요한 AI 규제 시도 중 하나는 2023년 12월 9일 유럽 의회에서 최종 승인된 인공지능법(AIA)입니다. 위험 기반 전략을 사용하는 AIA는 "용납할 수 없는" 위험 수준을 정의하고, 이에 따라 "어린이에게 위험한 행동을 부추기는 음성 인식 장난감과 같이 사람에 대한 인지적 행동 조작", "사회적 점수 매기기(이미 중국에서 시행 중)", "사람의 생체 인식 및 범주화", "안면 인식 기술과 같은 실시간 원격 생체 식별 시스템"을 포함하는 시스템들을 금지합니다(다만 안면 인식은 특정 제한된 법 집행 사례에 사용될 수 있습니다). "용납할 수 없는" 분류의 근거는 그러한 시스템이 인간의 안전이나 일반 데이터 보호 규정(GDPR)에 정의된 기본적 인권-자신의 데이터 소유권, 데이터 수집 및 사용 방식에 대한 알 권리, 은행 대출 가능 여부와 같은 자동화된 의사 결정에 자신의 데이터가 어떻게 사용되는지 알 권리 등-에 부정적인 영향을 미친다는 생각에서 비롯되었습니다.

유럽 AIA에서 정의한 "고위험" 시스템에는 "장난감, 항공, 자동차, 의료 기기 및 승강기"와 같이 이미 규제되고 있는 제품에 고용된 AI 시스템과, "임계 인프라, 교육 및 직업 훈련, 고용 [및] 노동자 관리 시스템", "필수 사적 서비스 및 공공 서비스와 혜택"을 관리하여 "EU 데이터베이스에 등록되어야 하는" 특정 영역들이 포함됩니다. 고위험 시스템 제공자의 의무에는 데이터 관리 프로세스의 수립, 그리고 정확성, 견고성, 사이버 보안을 보장할 수 있는 시스템의 구현이 포함됩니다. 딥 페이크와 같은 "제한된 위험" 시스템은 시스템 작동에 대해 알리고 콘텐츠가 AI에 의해 생성되었음을 공개해야 할 의무가 있으며, "최소 위험" 시스템은 자발적인 행동 강령을 제안하고 준수할 것만을 요구받습니다. 챗GPT와 같은 범용 및 생성형 AI 시스템에 대한 요구 사항에는 "콘텐츠가 AI에 의해 생성되었음을 공개", "시스템이 불법 콘텐츠를 생성하는 것을 방지하는 설계(우리가 위에서 보았듯이 오픈AI의 GPT-4에는 이미 적용됨)", "훈련에 사용된 저작권 데이터의 요약본 게시" 등이 포함됩니다. 이 마지막 요구 사항은 저작권이 있는 자료와 그렇지 않은 자료를 구분하기 위한 광범위한 훈련 데이터 큐레이션을 수반할 것이며, AI 시스템 훈련 방식에 전면적인 변화를 일으킬 것입니다. 이미 많은 독립 예술가와 작가들은 자신의 웹 게시물에 AI 훈련 데이터 세트에 포함되는 것을 원치 않는다는 고지문을 포함하고 있습니다.

미국에서 바이든 행정부의 초점은 지금까지 구글, 아마존, 메타, 오픈AI를 포함한 7개 주요 테크 기업과의 자발적 합의에 맞춰져 왔습니다. 이 합의는 안전, 보안, 신뢰에 초점을 맞추고 있으며, 시스템 출시 전 내부 및 외부 보안 테스트, 해킹 및 사이버 보안 침해로부터 모델 가중치를 포함한 내부 데이터 보호, AI 출력물에 워터마크 표시, 그리고 자사의 AI 시스템 역량 공개 보고 등을 포함합니다. 합의 내용의 일부는 너무 모호해서 심각한 보호를 제공하기보다는 생색내기용에 가깝게 보이기도 하는데, 예를 들어 AI 기업들이 "AI 시스템이 제기할 수 있는 사회적 위험에 대한 연구를 우선시"하고 "사회의 거대한 도전 과제를 해결하는 데 도움이 되는" AI 시스템을 개발해야 한다는 요구 사항 등이 그렇습니다.

독일 카를스루에 공과대학교(Karlsruhe Institute of Technology)의 연구원들이 작성한 백서는 AI 규제 전략에 관한 제안들을 평가했습니다. 2016년부터 2020년까지 발표된 79편의 영어 학술 논문을 조사하여, 연구진은 이를 위험 기반 전략(AIA를 포함한 다수)과 원칙 기반 전략으로 나누었습니다. 많은 논문이(상당수 반대 의견도 있었지만) 규제 실행을 하나 이상의 정부 기관에 맡길 것을 권고했습니다. "국가 수준에서 하나 이상의 특별 규제 기관을 형성하는 것이 책임 있는 행위자를 할당하기 위한 유망한 조치로 간주된다"는 것입니다.

가장 두드러진 우려는 "불법적인 차별이나 개인 정보 보호 우려와 같은 권리 침해, 그리고 자동화된 의사 결정의 복잡성이나 부정확성과 같은 기술적 문제"였다고 연구진은 썼습니다. 다른 우려에는 "의사 결정에 대한 책임성, 그리고 ADM(자동화된 의사 결정) 시스템을 감독하는 데 있어 인간 통제의 필요성"이 포함되었습니다. 마지막으로, 개별 데이터 주체에 대한 우려를 넘어, 그들은 "고용의 변화, 그리고 민주주의, 정체성, 문화에 함의를 갖는 정치적 담론을 방해함으로써 취약 계층에 미칠 수 있는 영향"과 같은 사회적 함의에 관한 광범위한 연구를 발견했습니다. 검토된 일부 논문은 또한 "심리적 혹은 사회 구조의 일반적인 변형과 같은 더 넓은 사회적 위험"에도 초점을 맞췄습니다. 테크 기업들과 바이든 행정부의 자발적 합의를 직접 언급하지는 않았지만, 연구진은 "순수한 자발적 규제는 검토된 대부분의 논문에서 효과가 없는 것으로 평가되었다"고 언급했습니다.

AI 규제를 위한 이론적 토대를 마련하기 위해 일부 논문은 "책임성, 행동 강령, 윤리적 마인드를 함양하기 위한 인식 제고, 이해 관계자 및 사회적 대화, 포용적 디자인 팀"과 같은 윤리적 가이드라인을 참조합니다. 하지만 다른 논문들은 윤리적 AI 접근 방식이 모호하고 상세한 지침을 주지 못한다고 비판합니다. 검토된 한 논문에 따르면, "보편적 및 국가적 수준에서 더 확립된 법적 해석과 관행에 기초한 인권이 윤리 대신 담론의 지배적인 프레임워크가 되어야 한다"는 것입니다.

검토된 많은 논문은 AI의 급격한 발전이 이를 규제하려는 시도보다 앞서나갈 가능성이 크다고 지적합니다. 한 논문은 "포괄적인 지식 없이 특정 사회-기술적 맥락을 주로 다루기 때문에 AI와 같은 파괴적 기술에 대해 기존 규제가 원칙적으로 잘 맞지 않는다"고 지적합니다. 게다가 연구진은 학술적 토론 전체가 "간결하고 총체적인 규제 모델을 만들기 위해 서로 다른 응용 맥락에서의 개별적인 규제 조치들을 연결하지 못하고 있다"는 점을 발견했습니다. 대신 연구진은 "AI에 대한 공유된 이해라는 핵심 과제"를 포함하여 더 발전이 필요한 주요 영역들을 식별했습니다. "기존 규제가 AI의 실질적이고 새로운 도전 과제에 적절하지 않다"는 합의에도 불구하고, 연구진은 새로운 규제가 "규제 효과와 적합성을 통제하기 위해 정부 기관에 맡겨져야 하는지 아니면 시장 지향적 수단에 맡겨져야 하는지"에 대해서는 합의점을 찾지 못했습니다. 요컨대 이 조사를 통해 나타난 풍경은 잠재적인 규제 제안들이 단편화되고 단절되어 있으며, AI의 의미에 대한 일관되고 보편적인 이해조차 부족한, 이 분야의 "미성숙함"과 "명확성 결여"를 드러내고 있습니다.

저의 견해로는 어떤 종류의 규제는 분명히 필요하며, 학술적 논쟁은 의심할 여지 없이 계속될 것이고 바라건대 더 일관성 있게 변할 것입니다. 그동안 에이머리 슬레이터와 같이 인간과 AI에 대해 가역적 내면성을 실천하는 인문학자들의 마음을 확장하는 사색을 위한 공간은 충분히 존재합니다. 또한 우리가 AI와 인간 모두가 번영할 수 있는 미래를 상상하도록 도와줄 AI에 관한 이야기와 서사의 지속적인 필요성도 존재합니다. 그러한 세 가지 서사가 다음 장의 주제입니다.