기술이 인류를 구원한다는 착각

에덤 베커, <기술이 인류를 구원한다는 착각>

내용 발췌

 

책 원제

More Everythig Forever.

모든 것을 더 많이 영원히: AI 지배자, 우주제국, 인류운명을 통제하려는 실리콘벨리 

 

Ⅰ 서문 

 

꿈은 언제나 같다. 우주로 가서 영원히 사는 것 

 

엘리에제 유드코프스키 Eliezen Yudkowsky

기계 지능 연구소(MIRI)의 공동설립자.. 

영광스러운 트랜스휴머니스트의 미래 

 

• 트랜스 휴머니즘: 우리가 첨단 기술을 사용해 우리 자신을 변화시키고, 인간성을 초월하여 그 이상의 존재가 될 수 있으며 그래야만 한다는 믿음

은하계 문명을 건설할 것 

 

인공일반지능(AGI)의 출현은 필연적이다.

그 기계가 우리에게 복종하는 것은 필연적이지 않다. 

 

인간의 AGI 목표에 확실히 방해가 될것이다.: 우려와 열망

→국제적 합력에 의한 AI 연구의 즉각 중단. 핵위협으로 강제해야 한다. 

 

2002년 chat GPT 출시.

샘울드먼 Sam Atman, Open AI CEO

재귀적 혁신의 루프, 혁명 속도의 가속화

"모두를 위한 자본주의"라는 비전.

• 모든 사람이 지분 소유자로서 직접 혜택을 본다.

• 가장 부유한 기업들이 대중에게 기부할 것 (세금 납부를 통해) Open AI가 AGI 창조를 통해 세계 부의 상당부분을 장악한다음 이 부를 사람들에게 재분배 할 것이다.

미국을 거대한 기업도시로 만들고, Open AI의 주식이 달러를 대체 하기를, 미국정부는 회사의 한 부서가되어 회사달러를 분배하는 책임을 질 것이다.

→ 국가경제를 완전히 장악, 울트먼이 미국의 왕 이나 세계의 왕이 될 것이다. 

 

보편적 기본소득 대신 보편적 기본 컴퓨팅, 미래의 GPT모델 사용시간을 할당해줌. 

 

제프 베외로스 Jeff Bezos

영구적인 성장의 미래를 가능하게 하기 위해 1조명의 사람들이 우주에 살기를 원한다. 

 

일론 머스크 Elon Musk

인류를 구하기 위해 화성과 그 너머로 가는 것이 중요하다. 

 

마크 안드레센 Marc Andressen.

AI와 기업가 정신의 힘으로 우주를 정복할 영원히 승리 하는 "기술-자본 기계'를 원한다. 

 

:도덕적 논거: 효율적 이타주의 effective altianism

: 합리주의자 운동 rationalist AI 묵시록, 공포 = 유드코프스키 

 

매우 매혹적이다.

모든 한계의 근원, 필멸성까지 초월할 것을 약속한다. 

 

공상과학적 미래 → 

그들이 '더 많은 것'을 촉구하는 행위를 정당화 해준다. 약속전 미래가 오기 전까지 그 미래를 촉구하는 행위는 면죄부를 받는다. 

 

자신들의 사업 확장을 도덕적 명령으로 묘사하고,

세상의 복잡한 문제들을 단순한 기술적 질문으로 축소하면서 결국 오지 않을 유토피아를 목표로. (사이비종교 교주와 같이) 

 

올트먼의 에세이, 

억만장자들이 우리를 통제할 것이다. 미래에 국한되지않고 지금, 여기서 우리를 통제하고 있다. 

 

그들의 미래비전은 뉴스가 되고, 공공의 상상력과 정치적 논쟁의 한계를 규정한다. 미래에 관한 대화의 조건을 설정한다는 것도 권력을 가졌다는 말이다. 이를 원치 않는 다면, 

 

그들이 가진 미래에 대한 아이디어들의 기원과 끔찍한 결과와 그 속에 담긴 윤리적 공백들과 과학적 결함을 이해해야 한다.

 

 

1장. 소멸되지 않기 - 인간의 가치와 효율적 구원 

 

효율적 이타주의: 기부를 위한 벌기. Earn to give

세상을 더 좋은 곳으로 만드는 가장 좋은 방법은 엄청난 돈을 벌어서 그 돈의 상당부분을 사람들을 돕는 가치 있는 대의에 기부하는 것이다. 

 

<= 철학자 피터 싱어

모든 사람이 가처분 소득의 전부(또는 거의 전부)를 자선 단체에 기부해야한다고 주장

공리주의자.

최대의 선과 최소의 고통을 가져오는 선택, 공리라는 추상적인 양을 극대화하는 것을 의미함

윤리적 문제를 최적화의 문제로 축소한다. 

 

특정 상황에서 장애의 영아, 치매성인의 안락사를 도덕적으로 허용한다. 

 

상황에서, 

 

설태적으로 

 

2009년 

 

철학자 윌리암 맥아스킬 William MacAskill 

로비 오드 Toby Ord 

 

2009년 비영리단체 "Giving What We Can" 공동 설립

→ 데이터 기반의 자선 기부 접근 방식=  "효율적 이타주의 " EA로 명명함. 

 

→ CEA 공동설립 

 

출간 책 <what we owe the Future 우리가 미래에 진 빚> 

 

EA 사상의 특징 분파인 장기주의longtermism를 주장

행복한 사람들로 가득한 세대가 가능한 한 많이 이어질 확률을 극대화하는 것 

 

문제의 근본적인 원인은 불확실성이다.

: 시간적 거리와 공간적 거리가 같다는 맥아스킬의 말은 거짓. 전화기와 비행기는 있지만 타임머신은 없다. 

 

우익 미디어, 지구온난화가 별일 아니다라는 주장, 홍보, 그들의 이익에 부합. 기후변화 부정론 만큼 EA를 지원하는 기업자금이 존재함. 비영리 우산단체 Effective Ventures의 단일 최대 기부자는 '오픈 필란트로피' 재단. <= 페이스북 공동 설립자 더스틴 모스코비 부부의 재산. 

 

EA와 연제한 AI 묵시론적 단체는 생명미래연구소FLI,

기술억만장자 얀 탈린이 공동설립. 여기에 일론 머스크 기부함. 

 

 

 

장기주의자들이 좋아하는 좋은 미래는 경이로운 수준의 성장이다. 성장에 대한 열망: 자본주의의 일반적 특징임. 무제한의 성장

 

 

 

실리콘 밸리에 영향 

기술적 특이점 Technological Singularity

이라는 개념, 특이적 신용자들 -기술 발전의 가속화 

 

초지능 AI와 인간-기계 하이브리드 => 유로피아.

물리학 법칙에 의해서만 제한될 뿐 실질적 한계는 없다. 

 

레이 커즈와일 Ray Kunzweil

구글 엔지니어링 이사,

2045년 특이점 도래 → 과학적 증거는 거의 없다.

새로운 층고, 기괴한 종교, 성장을 전제로 세상을 구하기 위해 무한 성장이 필요하다는 수사. 

 

- 제프 베조스, 2018. 우주기업 블루오리진, '정체권 문명'

- 일론 머스크, 식민지 개척은 "의식의 빛'과 멸종이라는 어둠 사이의 투쟁이다. 

 

영구적인 성장과 인류종말 사이의 선택이라는  잘못된 이분법. 

 

영구적인 성장은 불가능하다.

자신들의 실현 불가능한 비전이 실현되는 것을 가로 막을 가상의 공포에 관심을 둠 => 현재 인류가 직면한 실제 문제보다는 자신들이 발명해낸 문제에 집능할 수 있게 됨. 

 

정체에 대한 공포: 정체, 경기침체나 전쟁, 인류의 종말. 

 

또 다른 유령은 유드코프스키의 합리주의자들, 세상에서 가장 시급한 과제는 AI 정렬이다 이 묵시록전 비적은 특이점 AI 기반 유토피아의 이면이다. 

 

내일의 가상 문제를 위해 오늘의 실제 문제를 무시할 수 있게 함. 목적이 수단을 정당화. 

 

일론 머스크, 

스페이스X. 노동자 안전을 포함하여 자신의 목표를 달성하는 길을 가로 막을 수 있는 모든 것을 무시하고 이를 정당화함. 

제프 베조스,

지역 아마존 물류센터의 끔찍한 노동조건. 

 

장기주의자들, 특이점 옹호자들, 합리주의자들의

일련의 욕구들 

공통된 목표와 믿음

아이디어들의 공통점 3가지.

1. 기술 환원적이다. 모든 문제를 기술에 관한 문제로 환원. 세상의 모든 해악, 특이점, 초지능AⅠ, 우주로 간다면해결됨. 질병, 죽음, 지구 온난화, 사회 정치적 문제는 중요하지 않아. < AI 정렬, 10억년 후 태어날 미래세대 

 

2. 수익성,

어떤 댓가를 치르더라도, 영구성장의 약속을 통해 기술 산업의 수익구조를 유지, 확대함.

1. 초월성 추구

모든 한계를 완전히 무시할 수 있다고 느낌 

 

⇒기술적 구원 이데올로기 

 

~모든 것을 지독하게 최적화함으로써 이 유로피아를 앞당기기위해 노력하는 것이 가능한 최대의 선이다. 

 

'부의 복음'의 새로운 버전.:

'기부를 위한 벌기'는 돈의 출처가 그 돈이 쓰이는 대의 만큼 중요하지 않다는 생각에 근거함.

 

 

샘 뱅크먼 - 프리드의 몰락

EA 관점의 저널리즘

세계최적화 worldoptimization.

인간 생물다양성 human biodiversity 유사과학

성혁명은 실수였다. 

 

기술적 구원이데올로기를 이해하는 것은 단지 초부유층의 동기를 이해하는 것만이 아니다. 또한 그들의 권력을 약화시키는 결정적 단계이기도 하다. 

 

불가능한 미래를 위해 사회를 위험한 방향으로 몰아가기 위한 핑계가 바로 기술적 구원이다. 

 

기술 엘리트들의 초월과 탈출의 비전이다.

우리에게 그것도 악몽일 뿐. 

 

영구성장 이데올로기가 가장 순수하게 표현된 형태,

완벽하고 멈출 수 없으며 불가피한  기술유토피아의 환상적 버전 = "특이점"

 

 

2장.  사랑과 은총의 기계들_특이점과 가속의 사부곡 

 

레이 커즈와일, "아버지 부활' 계획. 

키즈와일 22세대,

57세로 아버지가  심장마비로 사망함. 

 

죽음은 비극이다.

2029년까지 AI가 "인간이 할 수 있는 모든 것을 할 수 있게 될 것. 

2024년 까지 우리의 실질적 지능을 10억배 늘릴 것이다. 

⇒특이점: 수학함수가 붕괴하는 지점, 무한대로 치솟기에 '수확가속의 법칙. Louw of accelerating returns. 기술발전의 지수적 추세 => 특이점은 필연적이다. 

 

2029년에 수명탈출 속도. 

 

무어의 법칙, 컴퓨칩의 속도가 18개월마다 두배로 증가한다. 기하급수적 성장은 모든 진화과정의 특징이다. 

 

생명, 우주, 기술의 역사

우리의 기술은 수십억년전 지구에 자기 복제 분자가 출연하면서 기하급수적 추세의 연속일뿐. 

 

이런 추세다 다음 단계가 인공지능이다.

기존 AI 시스림이나 머신러닝 알고리즘이 아니다

'강력한' 인공지능, 일반 인공지능, 연간의 지능을 뛰어넘는 인공지능 우리는 기술과 융합하면서 훨씬 더 똑똑해질 것이다. 

 

인간-기계 문명 => 궁극적인 운명, 즉 우주의 구조 자체를 바꾸는 일을 실견하게 될 것이다. 

 

잭 굿, 앨런 튜링 

레이 솔로모노프, 마빈 민스키 (MIT에서 키즈와일의 지도교수) 

존폰 노이만, 

특이점으로 이어지는 기술 발전의 가속화 개념을 발전시킴. 

 

존 폰 노이만은 맨허튼 프로젝트에 참가, 컴퓨터의 기본 아키력쳐 만듬. 

버너 빈지, 특이점 개념을 가져와 기술 가속화 개념을 발전시킴. 

 

초월에 대한 욕구: 미래학자 맥스 오코너 (모어) : 엑스트로피안 extropian 운동의 창시자 

무질서나 부패의 물리적 척도인 앤트로피의 "은유적 반대" 엔트로피를 "인간 희망의 최대의 적"이라 선언함. 

 

톰 모로우(톰벨)과 함께 1988년 Extropy 잡지 창간. 1992 엑스트로피 연구소 설립 

 

철학자 닉 보스트롬, 엑스토로피 연구소 메일링리스트를

통해 트랜스휴머니즘적 관점을 처음 접함. 1998년 세계 트랜스휴머니즘 협회를 설립 

 

"인간 조건의 재설계 가능성을 추구한다." 

 

많은 공상과학소설에서 특이점을 다룸. 

 

1950년 아이작 아시모프 단편소설. "피할수 없는 갈등"

특이점 개념의 전정한 매력은 모든 질문, 필요, 목망이 코드와 계산이라는 단 하나의 프로크루스테적 해결책에 부합하다는 매혹적인 약속임. 

 

커즈와일이 한가지는 확실이 옳다. 인간은 기하급수적 성장의 가능성을 인식하고 받아들이는 데 어려움을 겪는다는 점. 

 

커즈와일, 2008년 싱귤래더티 대학교 설립.(구글, 오토데스크, 실리콘벨리 기업들의 자금지원 받아)

2012년 구글 엔지니어링 디렉터로 합류. 

 

닉 보스트롬, 저서 「초지능」 2014년 출간 

2005년~2024년 운영된 옥스퍼드 미래인류연구소 (FHI) 설립 소장 지냄. 

 

커즈와일의 차트, 그 문제점들 

 

우리가 태어나기전에 일어났던 모든 일을 배우고 기억하는 것은 불가능하기 때문에 역사를 로그 감각적으로 관점에서 바라온다. 

 

커즈와일은 역사를 로그함수적  관점에서 바라보는 것과 생물학적 및 기술적 발전의 기하급수적 추세를 혼동하고 있다. ex. 그의 생물학적 이정표 목록. 지구상의 모든 생명체 진화에서 특히 중요한 사건들을 선별하기보다 마치 인간이 진화의 궁극적인 목표인 것 처럼 인간 진화로 이어지는 이점표들을 주로 선택함. (진화에는 목표가 없다.) 

 

→ 이러한 편향적 선택은 기하급수적 추세를 만들어내는 것

처럼 보이게함. 과학 및 기술 발전 목록 역시 편향적. 기하급수적 패턴에 부합하지 않는 이정표를 누락시킴. 

유라시아 이외 지역의 기술적 문화적 발전을 완전히 배제함 

 

커크타일은 존재하지 않는 목적론, 즉 어떤 추세를 암시한다.

무어의 법칙.

새로운 칩 제조 기술이 등장할 때마다 트랜지스터의 측면크기가 줄어드는 속도는 물리적 한계 및/또는 재정적 고려 사항으로 인해 둔화되거나 심지어 멈출 것이다. 

 

커즈와일의 가속 수확법칙의 문제는 물리적 한계 때문만은 아니다. 노력과 자원도 기하급수적으로 증가해야 (ex 자금, 인력 등), 무어법칙은 수익 가속의 사례가 아니라 동일한 투자 수준에서 수익 체감의 사례다. 

 

→ 모든 자원은 유한하며, 영원한 것은 없다. 모든 것에는 한계가 있다. 패러다임 전환이 일어나 기하급수적 성장이 계속될 수 있게 한다고 주장. 

 

→유리한 사실만 골라 현실을 왜곡하고 있다. 

 

기술적 수확 체감 현상.

연구생산성, 아이디어를 찾기가 점점 어려워지고 있다. 

 

컴퓨팅기술, 집적회로는 수명이 거의 다했고, 명확한 대체 기술도 보이지 않는다. 지능은 반드시 단순한 방식으로 계산능력과 일치하지 않는다. 지능은 문제해결 그 이상이다. 

 

g는 통계적 신화다. 지능데스트와 이론화라는 방대한 기업을 정당화할뿐.

뇌 스캔 기술없이 컴퓨터가 뇌를 시뮬레이션 할것이다고 주장하는데, 어떻게에 대한 설명이 없다. 

 

동물학자이자 과학사학자, 매튜 코브, 

 

뇌는 기계와 달리 설계된 것이 아니다. 5억년 이상 진화해온 기관. 뉴런은 디지털이 아니다.

시냅스의 수와 강도를 끊임없이 변화시키며,

시냅스만으로 작동하는 것이 아니다. 신경 조절 물질과 신경호르몬 또한 뇌 기능에 중추적 역할을 한다. 

 

연간 인지를 이해하려면 뇌 너머를 살펴야 한다.

→ 체화된 인지. 우리는 환경 속에 자리잡은 신체 그 자체다. 

 

K. 에릭 드렉슬러, 

나노머신, 분자조립기 

 

커즈와일과 같은 부류의 사람들은 기술을 마치 인류의 집단적 선택과는 전혀 무관한, 자기 욕망에 따라 움직이는 냉혹하고 비인간적인 힘인 것 처럼 자주 논한다. - 필연성의 수사 

 

자연의 종말과 거대한 인공 컴퓨터로 이루어진 우주, 그리고 우리가 그 컴퓨터들이 만들어낸 더욱 인공적인 세계에서 살아가는 세상이 도래한다면, 컴퓨터를 조정하는 방법을 아는자들에게는 완전한 통제권이 주어질 것이다. 

죽음의 종말...

 

 

3. 좋이 집게 골렘_AGI와 착시현상

엘리에저 유드코프스키, 기계지능 연구소 MIRI 

AI 안전 분야로 성장, 정렬문제 

 

닉보스트롬의 사고실험, 종이 집게 AI 

단순한 전제 : 인간이나 AI의 동기와 목표가 그 존재의 지능수준과 강하게 연결되어 있지 않다. 

직교성 가설 orthogonalithy thesis, 고지능의 수준과 목표의 내용은 서로 완전히 독립적이다. 

 

직교성 가설 + AGI의 필연적인 권력의지 

유드코프스키, AGI는 피할 수 없다고 주장함. 

 

12세에 학교 중퇴. 드렉슬러의 <창조의 엔진>을 포함해 방대한 공상과학 소설을 읽다. 16세때 버너 번지의 (True Namer...and Other Dangans>를 읽다. 특이점 관련해 쓴 책. 

 

이후 특이점주의자로 "우리의 유일한 책임은 우리보다 똑똑한 무언가를 만들어 내는 것이다. 그 너머의 어떤 문제도 우리가 해결할 몫이 아니다." 익스트로피안 메일링 리스트에서 활동. 나도기술 홍보단체 Foresisut Institute가 운영하는 모임에 참석함. 

 

인공지능 특이점 연구소를 설립. SIAI 

이 연구소 목표는 AGI 개발 가속화, 특이점을 앞당기 는게 목표. 

 

2005년 피터 틸과 만나다.

2006년 커즈와일은 유드코프스키와 틸이 '특이점 서밋'을 시작하도록 도움. 

 

유드코프스키가 블로그에 올린 글들 => the Sequences"

2008년 시작된''합리주의자들'의 기초 text가 됨. 

 

하이테크 자유지상주의 정치, 다자간 연애, 사이케델릭(한환각제 Psychedelics)의 혼합 

우주에서의 무한한 미래를 꿈꿨다. 

 

정렬되지 않는 AGI라는 임박한 위험으로 부터 세상을 구하고, 대신 정렬린 AGI의 도움으로, 낙원을 열어가고 있다는 믿음을 공유함 (커즈와일, 익스트로피안, 트랜스휴머니스트들과) 

 

세계정복은 너무 추한 표현이다

=> 세계 최적화 라고 부르는 것을 선호한다. 

 

개명, 인공지능 특이점 연구소 SIAI => 

기계지능 연구소 MIRI 

 

2012년, 응용합리성 센터 CFAR든 새로 개소함 

 

"지금도 단지 우리에게만 결정적인 시기가 아니라, 우리의 존재 여부에 달려 있는 은하계 문명에게도 결정적인 시기입니다" 

 

낙원 아니면 멸망만이 가능한 유일한 선택지다. 

 

합리주의자들도 효율적 이타주의와 깊은 관계를 맺고 있다. 

 

통제불능 AI에 대한 합리주의자들의 악몽은 커크와일의 특이점 꿈과 동일하게 결함 있는 아이디어에 기반하고 있음. 

 

잭 굿, 스튜어트 러셀, 제프리 힌턴 모두 초지능AI 위험을 경고함. 

 

Open AI→ 안전문제 강조한 다리오 오모데이 남매 퇴사하여 Anthropic 설립, EA출신 직원을 다수 고용. 

 

팀닛 게브루 Timnit Gebru 분산AI 연구소 설립자 

정렬문제는 "현실세계와 씨름할 필요없이 이 멋진

SF적인 것들에 대해 생각하는 방법"이라 보며 이들 주장을 일축함. 

 

얀 드쿤과 유드코프스키와 논쟁

얀 드쿤," 종말의 예언으로 위장된 당시의 SF 시나리오들도 사람들에게 상처를 줄 것이다. 멈추십시요 사람들은 당신의 헛소리를 읽고 임상적 우울증에 빠진다. 다른 이들은 폭력적으로 변할 수도 있다." 

 

이들은 인지과학자가 아니다. AI에 대한 일종의 사변자일 뿐이다. 

"지능은 그런 식으로 작동하지 않는다' 

 

합리주의자들, AI 정렬 문제, 영천한 낙원 아니면 멸망뿐이다. 

 

→ 변경된 커즈와일주의인 셈. 직교성 가설

→ 지능은 성찰, 자기 점검, 자신의 행동과 충동을 비판적으로 평가하는 능력을 요구한다. 

 

고립된 천재에 대한 미국적 신화가 자리잡고 있다. 

 

지능을 개별 정신의 속성으로 취급하고, 이 능력이 우리 문명과 문화 전반에 분산되어 있다는 사실을 인식하지 못한다. 

 

(일반)지능에 대한 합의된 정의는 없다. 

멜라니 미첼,

지능이란? 대부분의 인지과학자들은 "지능이 단일 척도로 측정되어 임의로 높이거나 낮출 수 있는 양이 아니라, 대부분 특정한 진화적 틈새에 적응한 일반적이고 전문화된 능력들의 복잡한 통합이라는 데 동의할 것이다. 

 

AI에 대한 흥분, 특기 chat Gpt 출시 후 관심은 단순한 과대 광고이다. 

 

AI의 오작동에 대한 초기 보고들 + 허위정보를 생성하고 이를 사실처럼 제시하는 경향: 환각 hallucination 

 

학습에 사용한 데이터, 그 모든 정보를 실제로 내부에 가지고 있는 것이 아님. LLM이 아는 것은 토큰들과 그들 사이리 '연결 뿐. LLM이 할줄 아는 유일한 일도 자신에게 주어진 입력에 대응하여 새로운 토글 문자열을 생성하는 것임→ text 예측 생성기 

 

2023년, 5월, 연구 <재귀의 제국: 생성된 데이터로 훈련하는 것이 모델을 망각하게 만든다.>

 

 

우리는 인간이 우리에게 지적으로 말하는 것만 보아왔기 때문에, 대화를 나눌 수 있는 언어 사용 개체에 의도와 생각과 의사를 부여하는데 익숙해져 있다. 이는 이 기계들이 작동하는 방식에 대한 사실이 아니다. LLM에게 의식이나 마음같은 것이 있다고 생각 하는 것은 인지 편향이다. 일종의 pareidolia 파레이돌리아 

과학적 담론이기 보다. 신념의 조항, 일종의 종교적 열광에 가깝다. 이미 존재하는 AI 시스템으로 인해 발생하는 문제들을 포함하여 오늘날 세상의 실제 문제들을 무시하는 것을 쉽게 만든다. 

 

소수 기업에 의해 통제처는 기술이며, 어떤 기술이 만들어지고 그것이 무엇을 하며 누구를 위해 봉사할지에 대한 결정을 궁극적으로 그들이 내릴 것이라는 사실로 부터 우리주의를 다른 곳으로 돌린다. 

 

현실적 문제, 

위험평가 알고리즘→ 양형에 사용될 가능성. 현재 사법 양형 판단을 보조하는데  사용되고 있음. 

 

편향성 문제, 

데이터 셋트내 편향

미국 기술 산업 인력 내 편향.

. 백인 68.5% 압도적으로 많다.  여성 36% 미만

흑인 7.4% 흑인 여성 1.7% 

 

텀닛 게브루, 흑인 여성 AI 산업 종사자. 윤리적 AI'덤리러

LLM 문제점에 관한 연구, <확률적론적 앵무새의 위조에 관하여) 

1) 훈련시키는데 막대한 연산량이 필요하며, 이는 거대한 탄소 발자국으로 이어진다.

2) 모델 자체의 블투명함, 모델을 훈련시키는데 사용된 데이터에 대한 부실한 문서화 => 모델의 출력에서 심각한 문제들을 초래할 수 있다. ex 혐오발언

현상유지 편향에 찌든 텍스트를 출력하는 문제 

모델은 '훈련 데이터로 부터 패권적인 세계관"을 흡수한다.

3) 이 모델들이 생성해 내는 의미의 환상 

LLM이 생성한 텍스트에 대한 인간의 파레이돌리아로 인해 그 텍스트가 세상을 이해하는 무언가에 의해 작성되었거나, 적어도 자신이 무슨 말을 하는지 이해하고 있는 것 처럼 보이게 만른다. LlM이 그럴듯하게 들리는 가짜 뉴스를 생성하는데 사용될 수 있다.

4) 기회비용, 다음 LLM을 만드는데 쏟아 붇는 돈과 시간 => 새로운 종류의 AI를 창조하는 일을 탐구하는 것이 더 낫다. 

 

구글은 2020년 12월 게브루를 해고함 

 

2021년 1월. GPT-4 발표. 결함 있는 얼굴 인식 기술은 경찰부서에서 정기적으로 사용되어 흑인들의 오인 체포↑ 

알고리즈은 신용 점수 산정, 대출 위험 예측에 사용 

=> 소수자 차별 

 

합리주의자, AI 정렬을 걱정하는 이들에게 알고리즘 편향은 상대적으로 중요하지 않는 문제로 치부됨. 

 

AGI와 인증차별 관계, 인공노예 종족. 인공지능과 노예제도의 연결 

일반지능 개념을 마음이나 의식의 개념과 자주 혼동한다. 의식이 곧 지능이라는 생각은 '지능테스트'의 초기화 때부터 현대 인종과학이 세워진 기둥 증 하나다. '지능'이라는 별개의 식별 가능하고 유용하게 정밀한 인간적 특성이 있다는 생각 ('일반 지능'이라 부르는 것) 

 

20세기 초, 지능, 유전적 요인에 의한 타고난 특성이다. → 인종간 지능 차이를 주장 → IQ test 

 

사람마다 다양한 영역에서 능력의 차이가 있는 것은 분명하지만, 그러한 차이의 전부 혹도 대부분을 설명하는 단일한 특성은 없다.

'트랜스 휴머니즘' 단어 자체, 1951년 우생학자 줄리안 헉슬리의 연설에서 대중화됨. 

 

우생학의 유산 => 익스트로피안들에게 이어짐 

MIT의 익스트로피안 협회 팜플렛 

'백인남성에 대한 증오' "익스트로피안 교리에 사회주의자 익스트로피안은 존재할 수 없다" 익스트로피안 대다수는 정부의 완전하거나 거의 완전한 폐지를 주장하는 급진적 자유지상주의자들이다" 

 

→ 민주주의 보다 자본주의를 장려하려는 태도 

세상의 불의와 불평등은 사람들 간의 내적 차이에서 기인한다고 결론냄. 

 

닉 모스트홈, 1996년 익스트로피안 메일링 리스트에서 흑인차별적 발언. . 

 

P.198. 이성론, 효리주의.

이성론과 극우 인종차별주의 사이의 연결고리. 

커티스 야빈 Curtis Yarvin 신반동주의 운동

왕정에서  민주정으로 진보한 것을 거꾸로 돌리려는 어둠의 계몽주의다. 

 

초인본주의자들(트랜스휴머니스트), 엑스트로피언들의 기술 자유지상주의자들, 피터 털 (벤처 자본가) 은 미 공화당의 극우세력과 깊은 관계를 맺고 있다. 

 

시스킨드의 블로그 독자를에게 한 설문물사 결과,

인간종 다양성 개념은 이성론자들 사이에 높은 지지를 받고 있는 것. 

 

인간종 다양성 HBD, 

인종들 사이에 유전자에 기반한 능력 차이가 있다는 육사과학적 주장

= 백인 우월주의, 우생학. 

 

시스킨드, 노벨상 수상자들만의 정자은행을 만들어야 한다"

우월한 인종과 영생을 창조해 내겠다. 영원히 죽지않는 우월한 인증을 만들자는 것. 

 

MIRI 고자산 기부자 중 우생학 + 트랜스휴머니스트 = 제프리엠스틴이 있음. 

이성론자와 효리주의 사회, 성폭력과 성희롱 사례 보고 다수. 

 

시스킨드, 심각한 성차별, 인종차별적 발언을 하는 제일 두드러진 목소리. 효율적 이타주의에서 중요한 인물이다. 

 

왕년의 복음주의 자들이 이성론, EA에 찾아옴. 곧 도래하신 전능한 AI 신 앞에 엎드려 숭배하고 있는 것. 

 

AI 안전을 소재로 이성론자들이 올리는 밈.

공포스러운 존재. 기괴한 변신 괴물

→ 이들의 공포 안에서 투영되고 있는 것들, 자신들의 마음속에 뿌리 박혔던 외국인 혐오, 인종차별, 성차별을 상징하는 컬트

'살에 대한 공포' '육신에 대한 공포'

육신을 폐기해야 한다. 육신은 인류의 적이다. 

 

실리로 빨리 바깥세상에 있는 권력의 전당에 까지 입성했다. 

 

미국, 영국 국가 원수들에게 조언하고, 군산복합체의 심장부에 자리한 싱크탱크들을 점령하고 있음.

 

 

4장. 우주의 끝에 있는 윤리학과 - 영생과 행복의 계산식 

 

옥스포드 대학 교정 한 건물,

효율적 이타극의 연계조직들이 입주해 있음 

 

안데스 신드베리 Anders Sandberg. 금속 메달리온. 인체 냉동보존 증표. 

 

EA. 윤리학자 토비 오드, 매캐스킬과 함께 '줄수 있는 만큼 주기'와 CEA를 설립., '장기론' 이란 말을 만든 장본인. 

 

「사피엔스의 멸망」 2021년. 출간.

매캐스킬 <우리의 미래를 가져다 쓰고 있다> (2023) 출간. 

 

두가지 위협: 인공 팬더믹 (생물학 무기) 

 

더 큰 의협은 AI. 이성론자들의 논리를 그대로 가져옴.

정의되지 않은 가상적인 기술인 AGI가 지구온난화와 핵전쟁을 합친 것 보다 50배 더 큰 위험이라는 말이 무려 옥스퍼드대학 윤리학 교수의 입으로부터 흘러나오는 순간 나는 숨이 막힌다. 

 

매캐스킬, <우리는 미래를 가져다 쓰고 있다>에서 지구온난화를 인류문명에 대한 심각한 위협으로 보지 않는다고 선언함. 

 

기후 과학자 앤드루 왓슨(위 책을 쓰기 위해 접촉했던),

'매캐스킬은 "멍청한 현자의 덫'에 빠졌다." 비고. 현명한 멍청이. 머리가 좋고 아는 게 많아서 자신들이 있는지 몰라서 모르고 있는 것들을 충분히 고려하지 않는다. 

 

일론 머스크 2002년 3월 트위터 인수 

 

'위기의 순간 가설'이라는 장기론의 교리 P.246 

지금 우리가 딱 인류 역사에서 제일 효하고 위험한 

 

5장 걷잡을 수 없는 혼란의 우주 유로피아 

 

마크 앤드리슨, 1993년 gopher => Mosaic 웹브라우저. 

1994년 Netscape Navigator 출시. 닷컴붐의 상징이점. 

Netscape라는 회사 설립 

억만장자로 변신. 벤처 자문회사 설립 '앤드리슨 호로위츠' (16z) 

실리콘벨리의 왕족 

 

2023년 10월 "기술 낙관주의자 선언" 기술로 세계의 모든 병폐를 고칠 수 있다는 생각을 믿기 시작함. 

 

AI의 진보를 늦추려는 시도는 "일종의 살인"이다. 

이성론자, 효율적 이타주의자들의 사고 방식과 차이가 없어 결론만 다를 뿐 거의 갈도 기본전제에서 시작 

시장, 기업, 자본의 힘을 제약하는 모든 것에 반대한다. 

 

'효율적 가족론 '운동. e/acc 

"기술과 시장 (기술자본) 세력들의 힘과 능력은 가속하고 있다. 누구도 멈출 수 없다" 

 

효율적 가속론 이란 기술자본 특이점의 가능성과 그에 이어 창발하는 외식의 능력을 극대화시키기 위한 일련의 사고와 실천법이다. 

 

통계열물리학을 인용(→ 허튼소리, 진실은 그 반대. 열역학과 통계역학 이야 말로 모든 성장은 멈춘다. 어길 수 없는 자연의 법칙의 근원이다.) 

 

"생명, 연산, 문명, 그리고 우주 전체의 한계를 엔트로피가 규정한다."-제임스 세스나 James Sethna. 

 

샘 올트먼, 지능의 폭발을 촉발하는 AGI를 처음으로 만든 회사에 모든 부가 쌓이게 되는 단 하나의 회사가 독점하는 특이점. 

→ 오픈 AI가 세상의 부를 거머쥘 수 있는 방법일지도. 

 

2023년 올드먼과 일리야 수츠케베르, 빌 게이츠, AGI가 지구온난화도 해결해 줄 것이다. 해법으로 지구공학을 주창.

 

기술억만장자들, 무조건적인 성장주의를 뒷받침할 지식인 운동을 만들려. 

진보의 뿌리 '비영리조재 Roots of progress. 

에너지 많이 쓰기,, 

지속가능성이란 나눠 먹을 수 있는 파이의 크기가 영원히 똑같음을 뜻하이기에, 반드시 분쟁으로 이어질 것이다... 새로운 에너지 폭발은 옛 문제를 모두 해결하고 인간 번영의 가능성을 열어줄 것이다" 305 

 

1971년 <성장의 한계> 보고서 출간. 

 

물리학자 제라드 오닐. 1976. I The High Frontiers 우주정거장 건설. 

플로리다의 한 고등학생, 제프 베조스. 로켓발사 전문기업, 블루 오리진"

 

일론 머스크, 화성에 "생물권을 복제" 

인류 문명 복제 발상은 필시 지구온난화, 핵전쟁, 거대한 소행성과의 충돌로 인해 인류가 멸종되는 것에 대한 공포감에서 나왔을 것. 

 

6,600만년 소행성 출동, 살아남은 생명체가 있다는 사실, => 그 날조차 지그의 화성 보다는 살기 좋았다는 사실. 우리의 존재가 바로 브래넌의 주장의 증거다. 

 

지구온난화 대처문제: 화성을 지구화하고 싶어 하는 사람들도 화석연료를 그만 태울 생각도 안하고 지구공학을 이용해서 '지구를 지구화' 할 생각이나 하고 있다 

 

도대체 머스크는 왜 하려는 것일까? 그들이 지구온난화 이야기를 하지 않는 이유는, 그들은 지구온난화에 대해 책임을 지고 있기에, (소행성 충돌의 이유와 달리) 그 책임을 지지 않고 피하는 방법을 찾고 있는 것이다.

 

불평등 문제, 바른 지금 빈곤에 허덕이는 살아 있는 사람들에게 관심없다. 소설가 업튼 싱클레어, "무언가를 이해하지 못해야만 월급이