-
숫자와 수학이란 과학과 정보기술의 융합으로 편견에 사로잡힌 인간보다 훨씬 공정하고 정확하다고 생각되기 쉽지만■
"숫자는 사실만을 말하며, 객관적이고 공정할 것이라는 믿음"그러나 실제로는 윤리와 도덕성이 없슴.
- 진실을 찾는 대신 스스로 진실을 구현해 버림. 피드백 불가
- ‘대량살상무기Weapons of Mass Destruction’ 만큼 위험하다는 뜻으로
‘대량살상수학무기Weapons of Math Destruction’, 라고 이름을 붙임.
■
“수학 모형은 여러 가지 면에서 신을 닮았다. 신처럼 불투명해서 이해하기 힘들다.각 영역의 최고 사제들, 즉 수학자와 컴퓨터 과학자들을 제외하고는 그 누구에게도
내부의 작동 방식을 보여주지 않는다. 그리고 신의 평결처럼, 잘못되거나 유해한
결정을 내릴지라도 반박하거나 수정해달라고 요구할 수 없다. 무엇보다 사회적
약자와 가난한 사람들을 차별하고 부자는 더욱더 부자로 만들어주는 경향이 있다.”
■
 | 대량살상수학무기 -  캐시 오닐 지음, 김정혜 옮김/흐름출판 |
한국 독자들에게
서론 데이터과학자, 퀀트, 그리고 내부고발자
1장 대량살상수학무기의 탄생 : 빅데이터 시대, 알고리즘이 신을 대체하다
모형이란 무엇인가?
과연, 알고리즘은 공정한가?
재범위험성모형과 편견의 덫
대량살상무기의 3가지 조건
LSI-R 재범위험성모형
- 치명적인 피드백 루프를 확대재생산
- 재범위험성모형 자체가 그런 악순환이 발생하는 하나의 원인이며, 그런 악순환이 지속되는 데 일조함
- ‘고위험군’으로 분류된 사람은 일정한 직업이 없을 뿐만 아니라 법적으로 문제가 있는 가족과 친구가 많은 환경에 서 성장했을 가능성이 높다. 게다가 이들은 재범 위험성 평가에서 받은 높은 점수가 더해져, 더욱 무거운 형
을 선고받고 범죄자들에게 둘러싸인 감옥에서 사회와 격리된 채 수년을 보내게 된다.
전과자라는 별까지 단 상태라 일자리를 구하기가 훨씬 어렵다.
2장 셸 쇼크 : 금융과 수학의 결탁이 불러온 파국
어떻게 수학은 금융위기의 공범이 되었나
수학은 미래를 예언하지 못한다
수학 모형의 미몽에서 깨어나다
그러나 변한 것은 없었다
3장 군비 경쟁 : 데이터의 포로가 된 학교와 학생들
2류 시사 주간지의 대학 줄 세우기
대리 데이터가 현실을 대체하다
텍사스 크리스천 대학교의 명문대 프로젝트
미국 대학 등록금이 비싼 이유
“부정행위를 허용해야 공정하다”
결국, 모두가 피해자
4장 선동 도구 : 알고리즘은 당신이 한 일을 알고 있다
약자들을 노리는 약탈적 광고
“그들의 아픔을 공략하라”
온라인 광고는 어떻게 우리를 스토킹하는가
탐욕스러운 기업이 빅데이터를 만나면…
5장 무고한 희생자들 : 가난이 범죄가 되는 미래
귀게 걸면 귀걸이, 코에 걸면 코걸이
불심검문이 오히려 범죄자를 양산한다?
공정성 대 효과성
가난이 범죄가 되는 세상
6장 디지털 골상학 : 당신은 우리가 원하는 직원이 아닙니다
인성적성검사의 비밀
알고리즘은 개성을 싫어한다
세인트 조지 의과대학의 착각
효율성이라는 이름으로 자행되는 차별들
7장 일정의 노예 : 알고리즘의 노예가 된 노동자들
인간, 진정한 부속품이 되다
사다리 걷어차기
생산성을 점수화하기 위한 시도들
심슨의 역설
우리가 저항해야 하는 이유
‘클로프닝 clopening’
- 기업의 입장 에서 볼 때 물류적으로 타당한 업무 방식
- 노동자의 불규칙한 근무 일정은 빅데이터 경제의 새로운 부산물
- 수면 부족과 빡빡한 일정에 쫓기는 것을 의미
- 종잡을 수 없는 불규칙한 근무 일정이 갈수록 보편화
- 삶을 뒤죽박죽 뒤엉키게- 양육 문제 식사도 수면
8장 부수적 피해 : 모든 길은 신용점수로 이어진다
당신은 몇 점인가요?
‘당신은’ 대 ‘당신과 같은 사람은’
취업도 대출도 사랑도 결정하는 신용평가점수
쓰레기를 넣으면 쓰레기가 나온다
오직 인간만이 공정성을 주입할 수 있다
빅데이터 시대의 아이러니
채용과 정의 중간 지대부터는 많은 의사 결정이 자동화 시스템에 의해 처리
-자동화 과정에서 빚어진 실수는 피해자들에게 오랫동안 고통
ex) 비행기 탑승 금지 테러리스트 명단
9장 안전지대는 없다 : 선의에 감춰진 보험의 민낯
자동차 보험료는 어떻게 결정되는가
더 이상 숨을 곳은 없다
행동적 부족의 탄생
당신의 건강을 관리합니다. 사생활을 침해해서라도…
엉터리 수학의 임금 절도
페이스북 자체는 중립적인 중개자가 아님 페이스북이 뉴스피드를 조작
응답자가 게시하는 콘텐츠를 페이스북이 즉각적으로 모든 친구에게 전송
온라인을 통해 서도 감정이 전염
10장 표적이 된 시민들 : 민주주의를 위협하는 빅데이터
세상에서 가장 거대한 실험실
마이크로 타기팅, 유권자 갈라치기
미국 정치권의 빅데이터 활용법
천사도 악마도 될 수 있다
특정 지역의 주민들만을 위한 마이크로 타기팅(선거 홍보 및 후원금 관련)은 "인간의 무의식까지 통제하는 알고리즘의 역습"이라는 문구에 딱 걸맞은 대량 살상 수학 무기다.
결론 수학 모형의 여행을 마치며
데이터 처리 과정은 과거를 코드화할 뿐, 미래를 창조하지 않는다. 미래를 창조하려면 도덕적 상상력이 필요하다. 그런 능력은 오직 인간만이 가지고 있다. 우리는 더 나은 가치를 알고리즘에 명백히 포함시키고, 우리의 윤리적 지표를 따르는 빅데이터 모형을 창조해야 한다. 그렇게 하려면 가끔은 이익보다 공정성을 우선시해야 한다.
**모형 개발자를 위한 히포크라테스 선서 ** (339p)
후주
사람들은 무언가를 명확히 정의하기보다는 강렬한 인상을 주기 위해 수학 공식들을 의도적으로 이용했다. - pp. 83-84
구글과 페이스북
검색 알고리즘 자체가 사악한 행동, 맞춤형 서비스
페이스북
페이스북 안에 존재하는 다양한 광고들
어떤 행동을 하도록 유도
사람의 무의식적인 행동을 데이터화하고 있다.
네이버 뉴스 의도적 노출과 은폐
의도에 따라서 소수의 자본가는 다수의 노동자들을 제어하고 통제하기 위해서 다양한 형태의 알고리즘
알고리즘의 형태를 살짝 바꾼다면 그들이 의도한 방향으로 넘어갈 수 있다
교사 평가 프로그램인 가치부가모형,
범죄예측프로그램,
교도소 시스템,
양형에 사용되는 재범위험성모형,
인사시스템
가난한 저소득층 유색인이 그렇지 않은 사람에 비해 구직에 실패
죄를 지을 경우 그렇지 않은 사람에 비해 형량이 더 무거워 교도소에 오래 수감
직업학교인 영리대학의 표적
캐시 오닐 TED 강연 내용 요약
- 알고리즘이란 코드에 담긴 의견입니다. 사람들은 알고리즘이 객관적이며 사실이고 과학적이라고 생각하지만 이건 마케팅 상술일 뿐입니다. 이것은 또한 그 알고리즘으로 여러분을 위협하고 여러분이 알고리즘을 신뢰하고 두려워하게 만들려는 마케팅 상술인데 왜냐하면 여러분들이 수학을 믿고 두려워하니까요. 빅 데이터를 맹신하면 많은 것이 잘못될 수 있습니다.
- 설계가 잘못된 비행기는 땅으로 추락하고 그러면 모두가 알 수 있지만 설계가 잘못된 알고리즘은 오랜 시간에 걸쳐 조용히 우리를 파멸시킵니다.
- 알고리즘으로 세상이 공평해지진 않습니다. 그걸로 세상이 공정해지진 않아요. 단지 과거의 관행과 우리 행동의 유형을 따라할 뿐입니다. 현상태를 자동화하는 거죠. 우리의 현재가 완벽하다면 훌륭한 알고리즘이겠지만 현실은 완벽하지 않습니다. 그리고 여기에 대부분의 기업이 난처한 소송에 휘말리진 않아도 그런 기업의 데이터 과학자들은 그 데이터에 따라 일하도록 정확성에 집중하도록 요구받고 있습니다.
- 무슨 뜻일지 생각해 보세요. 우리는 모두 편견이 있기 때문에 성차별이나 다른 어떤 편견을 코드에 넣을 수 있습니다.
- 우리는 수정할 수 있죠. 알고리즘을 개선할 수 있습니다. 저는 이걸 알고리즘 감사라고 합니다. 어떻게 하는지 알려드리죠. 첫 번째는 자료 진실성 검사입니다. 제가 말씀드린 재범 위험도 알고리즘에서 자료 진실성 확인은 미국에서 흑인과 백인 모두 같은 비율로 대마초를 피우고 있지만 체포율은 흑인이 훨씬 높음을 인정해야 한다는 겁니다.
- 그래서 모든 알고리즘의 오류를 고려해야 합니다. 얼마나 자주 오류가 발생하고 이 모델이 안 맞는 사람은 누군가요? 그 오류의 댓가는 얼마나 되나요? 그리고 마지막으로 반드시 고려해야 하는 것은 알고리즘의 장기적 영향과 여기서 생겨나는 피드백 고리죠.
- 제가 드릴 메세지가 둘 있는데 하나는 데이터 과학자분들 겁니다. 데이터 과학자 여러분, 우리는 진실의 결정권자가 아닙니다. 우리는 더 큰 사회에서 벌어지는 윤리적 토론을 번역하는 사람에 불과합니다.
- 나머지 비데이터 과학자 여러분 이 문제는 수학 시험이 아닙니다. 이것은 정치적 투쟁입니다. 알고리즘을 지배하는 이들에게 책임을 요구할 필요가 있습니다. 빅 데이터에 대한 맹신의 시기는 반드시 끝나야 합니다. 대단히 감사합니다
댓글