Nudge factor: 2022년 8월 세째 주

 

https://www.economist.com/science-and-technology/2022/07/27/evidence-for-behavioural-interventions-looks-increasingly-shaky

Evidence for behavioural interventions looks increasingly shaky

 

특정 집단 내 구성원끼리 서로 평가해주는 '동료평가 peer review'의 한계, 교수가 교수평가 때문에 학생들에게 후한 학점을 주는 '학점 인플레이션 grade inflation', 인상적인 연구만을 출판하려는 학술지들의 '출판편향 publication bias'. 이것들의 공통점이 무엇일까요? 가격 담합 price fixing처럼, 공모 혹은 결탁 collusion입니다.

『넛지 nudge』는 2008년 첫 출간 후 큰 반향을 일으켰고, 얼마 전에는 13년 만에 ‘완결판’의 형식으로 개정판까지 출시되었습니다. 그런데, 넛지 이론에 출판편향 문제가 불거졌다고 합니다.

---------------------

이하는 원문 번역

‘넛지 효과‘의 갈수록 빈약해지는 증거

출판편향으로 홍역을 앓고 있는 넛지 이론

 

2014년 토론토대학 경제학 교수들은 학부생들에게 성적을 올리려면 얼마나 더 공부 시간을 늘려야겠냐고 물으며, 학생들이 더 열심히 공부하길 기대했다. 하지만 학부생들은 공부를 더 하는 대신, 성적이 더 나빠졌고 으레 그러려니 하고 생각하기까지 되었다.

이 이야기는 “넛지 nudge“의 역효과 사례로 빈번히 인용된다. 행동경제학 대표이론인 넛지 효과를 토대로 천여 개의 가벼운 정부 정책이 출현했고, 경제학자 리처드 세일러 Richard Thaler와 법학자 캐스 선스타인 Cass Sunstein의 2008년 책 제목이기도 하다. 책이 출간된 이래로 넛지 이론은 폭발적인 인기를 끌었다.

현재 전 세계적으로 행동과학을 일상에 적용하는 업무를 전담하는 “넛지”팀이 200개가 넘는다. 넛지는 다른 방식으로 정보를 보여주거나 대안을 제시하는 것과 같은 일련의 심리학적 전략으로, 행동 변화를 강제하기보다 유도해내는 것을 목표로 한다. 두 저자의 말을 빌리자면, “눈높이에 과일을 두는 것은 넛지에 해당하지만, 정크푸드를 금지하는 것은 넛지가 아니다.”

이번 코로나 때 넛지 이론은 통하지 않았다. 코로나 최초 대응으로 “집에 있으면 생명을 구할 수 있습니다”와 같은 부드러운 구호로 개개인의 책임감에 호소했던 영국 정부를 두고, 일부에서는 넛지 이론을 옹호하는 행동과학자들을 비난했고, 5만 달러 상금이 걸린 복권으로 백신 접종률을 끌어올리려 했던 필라델피아주의 계획도 이렇다 할 효과가 없었다.

 

넛지 이론 팬들은 2021년 말에는 조금 나은 소식을 들었다. 넛지 학계에서 선택설계개입 choice architecture interventions으로 알려진 넛지 이론의 학문적 토대를 모두 끌어모아 평가하는 최초의 시도가 이루어졌고, 결과는 극찬 일색이었다. 200개 정도의 넛지 연구를 분석한 제네바대학 심리학자들은 넛지가 전반적으로 효과가 있을 뿐만 아니라, 그 효과도 상당하다는 결론을 내렸다.

 

행동과학에서는 통제집단과 실험집단 각각의 평균 결괏값의 차이를 의미하는 Cohen's d라는 기준을 이용해 효과의 크기를 측정한다. 0점은 해당 넛지가 아무 효과가 없다는 의미이고, 0.8이 넘으면 꽤 큰 효과가 있다는 것으로 간주한다. 제네바 대학연구팀은 넛지를 반영한 정책들은 전반적으로 0.43 Cohen's d 효과 크기로 행동 변화를 유도했다고 밝혔다. 안정적인 중간 수준이고, 정책입안자들의 관심을 끌기 충분한 수치다.

 

하지만 제네바팀의 연구 결과를 확인한 많은 심리학자의 생각은 달랐다. 지난주 「미국 국립과학원회보 Proceedings of the National Academy of Sciences」에는 스위스팀의 최초 분석과 함께, 영국, 헝가리, 미국 학술팀의 개별 반박 자료가 실렸다.

 

이들의 반박 자료에는 두 가지 주장이 공통된다. 첫째, 스위스팀의 학술 실험은 너무 다양한 접근법을 사용해서 효과 크기 간의 편차가 너무 커졌기 때문에 모든 효과 크기를 한 번에 묶어 분석할 수 없다는 것이다. 최초 연구가 주장하는 넛지의 “중간 수준” 효과 크기도 의미 없는 넛지의 영향을 지나치게 과장하고 있고, 의미 있는 넛지의 장점을 과소평가하고 있다는 주장이다.

 

두 번째 반박은 넛지 연구에는 출판편향이 심해, 학술지들은 가장 큰 효과 크기를 담은 연구를 주로 게재하는 경향이 있다는 것이다. 이의를 제기했던 측에서는 출판편향이 초래하는 왜곡 효과를 알아보기 위해 통계 도구를 활용했고, 결과는 최초 연구 결과의 평균 효과 크기가 0.04까지 주저앉았다고 지적한다. 사실상 무의미한 수치나 다름없다.

 

바르샤바대학 심리학자이고 문제를 제기했던 이들 중 한 명인 바르나바 사스 Barnabas Szaszi는 소변기에 파리나 골프 깃발 같은 이미지를 새겨두면 남성들의 조준율이 개선되어 청소비용이 절감되는 유명한 사례도 있기 때문에 모든 넛지의 효과를 부정하는 것은 아니라고 말한다. 하지만 이질적인 것들을 한 데 묶어 메타분석을 하게 되면, 큰 효과를 보인 넛지 정책 실험이 무수한 그렇지 않은 경우에 묻혀버리게 된다. 사스는 그런 메타분석의 경우, 넛지들을 더 작은 별개 집단 종류별로 나누어 분석해야 한다고 말한다. 그래야만 정책 입안자들이 넛지 방법마다의 효과를 더 잘 판단할 수 있고, 나아가 최선의 넛지에서 교훈을 얻을 수 있다.

 

2021년 최초 메타분석을 수행한 제네바팀의 일원인 울프 하넬 Ulf Hahnel은 “제기된 대부분의 논점에 동의한다”고 말하면서도, 자신들이 넛지를 늘 통하는 묘책인 것처럼 주장한 적도 없고, 메타분석의 이질성과 출판편향에 대한 주의도 연구에 포함했다고 한다.

 

최초 연구를 비판하는 이들은 이러한 논쟁이 심리학자들과 사회과학자들이 출판편향 문제를 해결하는 데 더 큰 노력을 기울여야 한다는 것을 방증해준다고 말한다. 현재, 연구자들에게 연구 시작 전 어떤 연구를 할 것인지 사전 등록하게 하고, 학술지들이 결과와 상관없이 어떤 연구든 발표하도록 하는 노력이 진행 중이다. 하지만 호응은 시원치 않다. 넛지가 필요한가?

 

 

 

 

 

 

- 영어공부 카톡상담: WOWRoger

- 와우영어 다음 카페: http://cafe.naver.com/lyingcow

고급진 영어: 와우영어 : 네이버 카페

* 주간 이코노미스트 강의-매주 다른 주제

* TED Ed 강의

* 고급 회화를 위한 Diary of a Wimpy Kid 강의

* 영어의 유창함(fluency)를 위한 Speaking in Grammar 강의

* 써먹을 수 있는 진짜 고급 어휘학습을 위한 Vocabulary in Use 강의

 

- 와우영어 유투브 채널

https://www.youtube.com/channel/UCz676f9BCA95Pi7g-jpdx6w

고급진 영어: 와우영어