웹2.0과집단지성: 효과적인 집단지성 활성화 도구는 어떻게 디자인되어야 하는가?

다가올 미래의 웹, 혹은 새로운 버전의 웹이란 인상을 주는 “웹2.0”이란 용어는 실상 “닷컴버블의붕괴를 이기고 살아남은 기업들의 공통점”, 즉 오히려 과거지향적인 벤치마크를 그 개념의 출발점으로 합니다. 물론 애당초 벤치마크를 하는 이유가 성공사례를 모방하여 그 성공요인을 자신에게도 적용하려는 것이라는 점, 그리고 뛰어난 벤치마크는 해당산업의 경쟁자뿐 아니라 다른 산업에도 전파되고 적용된다는 점에서 웹2.0에는 미래적인 요소, 트랜드적인 요소가 있습니다. 하지만, 그것의 시작은 성공하지 못한 기업(“웹1.0”)과 성공한 기업(“웹2.0”)의 다양한 사례에 대한 비교분석이었으며, 만약 이점을 간과한다면웹2.0의 다양한 하위개념들로 혼란스러워져 그 실체를 파악하기 어렵게 됩니다.

웹2.0은 “플랫폼으로서의웹(Web as platform)”이란 명제아래 RIA(RichInternet Application), SaaS(Software As A Service), 오픈API, 에이젝스(Ajax), 매쉬업(Mash-up), 롱테일(Long tail), 영구적 베타(Perpetual Beta), 분산화(decentralization), 네트워크 효과(network effect) 등다양한 기술과 개념과 밈(Meme)의 포괄적 집합의 개념으로 이루어져 있습니다. 그리고, 그 바탕에는 ‘연결’, ‘개방’, ‘참여’, ‘공유’ 라는 웹의 기본정신을 충실히 이루어 내는 구조를 만드는 것이 역시 성공의 중요한 요소였다 라는 근본주의적 분석도포함되어 있습니다.

하지만, 과연 웹2.0의다양한 하위개념들이 정말 ‘새로운’ 것들인가? 또, 얼마나 ‘지속가능’할 것인가? 과연 웹2.0이발견했다는 이전과 다른 ‘가치를 창출’하는 방법은 무엇인가? 에 대한 논란은 웹2.0이 처음 개념화되기 시작한 2004년 이후 지금까지도 여전히 뜨겁게 이어져 오고 있습니다. 다시말해 ‘웹2.0의 에센스는 과연 무엇인가?’에 대해 세상은 명쾌한 답을 요구하고 있으며, 이에 대해 Read-Write Web(Richard MacManus), People Web(Dion Hinchcliffe),Machine Web(Jeff Bezos), Semantic Web 등 다양한 이해와 의견이 피력되고 논의되어 왔습니다.

최근 웹2.0의 주창자와 옹호론자들 사이에선 웹2.0은 “집단지성을 활성화하는 것(HarnessingCollective Intelligence)”이라는 쪽으로 논의가 수렴되어 가고 있습니다. 특히팀 오라일리(Tim O’Reilly)는 2006년 12월 6일의 “Web 2.0Compact Definition: Trying Again”이란 제목의 블로그 포스트에서 “집단지성을활성화하는 것(Harnessing Collective Intelligence)이 웹2.0의 핵심이다”라고 정의했습니다.

하지만, 정작 ‘집단지성(Collective Intelligence)이란 것이 무엇인가’에대해서는 아직 합의가 이루어지지 않은 상황입니다. 집단지성에 처음으로 대문자를 붙여 명명하고 인터넷이란언어, 문자 이후 가장 강력한 도구를 갖게 된 인류가 나아가야 할 유토피아적 미래로 그것을 설파한 피에르레비(Pierre Levy)교수, 인류 진화의 다음 단계로글로벌 브레인(Global Brain)이란 이름으로 묘사한 하워드 블룸(Howard Bloom)교수, 코인텔리전스(Co-Intellince)란 용어를 만들고 포괄적 접근을 시도하는 톰 애틀리(TomAtlee) 등 많은 연구자들의 다양한 개념이 조금씩의 차이를 두고 집단지성을 규정하고 있습니다.

따라서, ‘집단’과 ‘지성’에 대해서도 각각의 다른 설명과 이해가 존재합니다. 사람이건 곤충이건 둘 이상의 생명체만 모이면 집단지성을 관찰할 수 있다는 의견부터, 적어도 던바 넘버(Dunbar number)인 150명을 넘어서는 사람이 모여야 ‘지성’이 발현되는 ‘집단’이된다는 주장, 또는 익명성을 보장하기 위해 10명 이상의사람만 모이면 된다는 생각까지 ‘집단’의 정의에 대해 다양한스펙트럼이 존재합니다. ‘지성’에 대해서도 그것은 ‘지성’이 아니고 ‘지능’에 더 가깝다든지, 혹은 ‘집단지성’의 ‘지성’은 ‘문제해결 능력’, ‘학습’, ‘인식’, ‘사고’, ‘의사결정’, ‘정보의수집’, ‘분별력’, 심지어 ‘육감’까지 다양한 지적 능력 중 하나이거나 또는 그 모두라는 주장이공존합니다.

쉬운 단어의 조합으로 이루어진 용어가 흔히 그렇듯, ‘집단지성’도 그 용어의 평이성과 이해의 용이성이 오히려 오해와 자의적 해석을 유발하여,말하는 사람이 무엇을 의미하건 그 용도로 마구 사용되는 경향이 있습니다. 다만, 분명한 것은 그것이 무엇이건 ‘집단지성’이란 것의 중요성과 활용가능성에 대한 인식이 영어권을 중심으로 세계적으로 퍼지고 있으며, 그것의 실체와 구현방법을 파악하기 위해 많은 사람들이 노력을 경주하고 있다는 사실입니다. 그리고, ‘집단지성’은그에 대한 공통된 이해와 합의가 점차 형성, 조정, 발전되어가는 중에 있는 개념이므로, 그 논의가 끝나고 모든 파악이 종결되었을 때에는 이미 그 과실은 적극적으로참여하고 먼저 이해한 사람들이 다 나누어 가졌을 것이라는 사실입니다. 그러므로, 이 집단지성에 관한 사고의 장에 적극 참여하는 것이 웹2.0의 시대에우리나라의 학계와 산업계에 주어진 매우 중요한 과제일 것입니다.

흔히 집단지성을 잘 구현한 웹2.0 서비스 모델로 ‘위키피디어(Wikipedia)’와 ‘블로고스피어(Blogosphere)’ 그리고 ‘디그닷컴(digg.com)’ 같은 ‘소셜 뉴스’가 언급됩니다. 이들은 분산화(decentralization)된구조를 바탕으로 하며, 집단의 참여에 의해 개개인이 혼자서는 이룰 수 없었을 일을 달성할 수 있게 합니다. 마치 1911년 ‘집단지성’이란 개념에 단초를 제공했던 곤충학자 윌리엄 모튼 휠러(WilliamMorton Wheeler)가 흰개미 한마리는 4m 높이의 개미집을 만들 수 없어도, 흰개미 집단은 “초유기체(superorganism)”로한 몸처럼 작동하여 그것을 가능케 한다 라고 한 것처럼, 이들 서비스에서 사람들은 인터넷이란 도구를활용하여 훌륭하게 방대한 지식을 모으고, 아이디어를 교환하고, 의견을조정하며, 정보의 중요도를 결정해 냅니다. 권위적인 조정자의중앙집중적 개입이 없이도 훌륭히 분업과 협업을 이루어 냅니다.

하지만, 이런 사용자의 행위와 목적이 일대일로 대응하는, 그리고 사용자의 선의에 의존하는 웹2.0 서비스 모델은 하나같이스팸과 오남용에 취약하다는 약점과 사회적 태만(social loafing)에 쉽게 노출되기 때문에 집단지성을극대화 하기 위해 필요한 최대한 많은 사람의 참여를 끌어내기 어렵다는 단점을 가지고 있습니다. 종교학교수로 경력을 속이고 위키피디어 관리위원으로 활동하여 파문을 일으켰던 24살의 대학 중퇴생 에스제이(Essjay)의 사례와 블로고스피어에 넘쳐나는 에드센스 수익만을 노린 스플로그와 펌블로그들, 그리고 “디그 마피아”의기사 순위조작 음모 등은 이런 류의 서비스 모델의 신뢰성과 발전가능성에 큰 위협이 되고 있으며, 앤드류킨(Andrew Keen)같은 엘리트주의자가 ‘집단지성’과 ‘시민 저널리즘’에대해 냉소적으로 논박할 수 있는 근거를 제공하고 있습니다. 특히 한 사람의 악의적 사용자가 만든 바이러스가전체 시스템을 붕괴시킬 수도 있고, 몇 사람의 악플이 한 사람을 죽음으로 몰고 갈 수 있을 만큼 개인의힘과 영향력이 커진 사이버스페이스에서 스팸과 오남용에 취약하다는 것은 매우 커다란 약점으로 작용합니다. 더불어, 결국 그것을 참조하는 사람의 수에 비해 극소수의 이용자만 편집에 참여하는 위키피디어나, 메인 페이지의 최고 인기 기사의 추천수도 보통 몇 백을 넘지 못하는 디그닷컴의 경우는 과연 그것이 진짜 ‘집단’의 지성인가에 의문을 제기하게 됩니다. 이처럼 타인의 노력의 결과물에 쉽게 편승하여 이득만을 취하려는 대다수 사람들의 ‘사회적 태만’을 쉽게 극복하지 못한다는 것은 해당 서비스의 성장에분명한 한계를 가지게 하며, 새로운 서비스 모델이 사용자의 참여를 끌어내고 자리를 잡기도 쉽지 않게하는 요인이 됩니다.

근본적으로 이것은 언급된 서비스들이 사람들로 하여금 시공간의 제약을 극복할 수 있게 하고, 참여자의 협업에 실시간성을 부여하긴 했으나, 이런 류의 서비스들에서목격할 수 있는 ‘집단지성’이라는 것은 ‘집단지성’이라고는 불리우긴 해도 결국 확장된 형태의 ‘협업(collaboration)’의 모습을 띄고 있기 때문입니다. 그것은 우리가 인터넷이 없던 시절에도 협업을 하려고 하면 늘 등장하는 고전적인 딜레마들을 그대로 가지고 있기때문입니다.

반면, 구글의 페이지랭크(PageRank)나마가린(mar.gar.in)과 같은 소셜 북마킹 서비스, 클라우드마크(Cloudmark)의 스팸 필터, Last.fm같은 ‘협업 필터링(collaborative filtering)’, reCAPTCHA같은프로젝트는 집단지성을 구현하는 데에 조금 다른 접근방식을 보여 줍니다. 이들은 마치 시장의 ‘보이지 않는 손’처럼 사용자들의 개인적이고 이기적인 목적의 행위에서집단지성을 추출해 냅니다.

구글은 웹페이지에 걸린 링크를 한 페이지가 다른 페이지에 투표한 것으로 보아 많은 링크를 받았을수록, 또 권위있는 페이지에서 링크를 받았을수록 더 중요한 페이지로 판단하여 검색결과의 우선순위를 정합니다. 구글이 웹2.0기업인 이유는 그들의 엄청난 수익성이나 그들이 만들어내는다양한 서비스 때문이 아니라, 페이지랭크라는 구글 검색의 기반이 되는 알고리듬이 하이퍼링크라는 웹의본질과 그 구조에 숨어있는 의미를 파악하여 집단지성을 반영한 것이기 때문입니다.

마가린(mar.gar.in)과 같은 소셜 북마킹 서비스는, 사용자가 자신이 나중에 다시 찾아볼 것 같은 웹페이지를 ‘개인적인이유’로 북마크하여 저장하고, 자신의 목적에 맞는 태그를원하는 수만큼 붙여 분류해두면, 그 웹페이지를 얼마나 많은 다른 사용자가 북마크했는지 알려주어 웹페이지의중요도를 판단케 해줍니다. 또한, 동일 태그나 연관 태그가붙은 다른 북마크를 찾아보거나, 유사한 태그를 사용한 다른 사용자의 북마크를 둘러보면, 자신이 미처 몰랐지만 관심있어 할 만한 정보를 담은 웹페이지를 쉽게 발견할 수 있습니다. 사람들은 개인적인 목적으로 소셜 북마크라는 도구를 사용하지만, 그것이결국 소수의 포털 편집인력이 하는 것 보다 더 나은 방법으로 웹페이지를 걸러주고, 분류하고, 중요도를 판별해 주어 ‘소셜 서치’가가능하게 합니다. 또한, 페이지랭크에는 웹페이지를 만든 사람만의집단지성이라는 한계가 존재하는 반면, 소셜 북마크는 그보다 더 중요한,웹페이지를 보는 사람, 즉 정보사용자의 집단지성을 활용한다는 커다란 장점이 있습니다.

같은 방식으로 Last.fm은 개별 사용자가 어떤 곡이 마음에 들어서계속 듣는지, 아니면 듣기 싫어 다음 곡으로 건너뛰는지의 데이터를 취합하여 비슷한 취향의 음악들을 분류하고, 유사한 성향의 사용자가 좋아할 만한 음악을 계속 찾아줍니다. 클라우드마크는키워드를 사용해 스팸을 걸러내는 대신, 사람들이 스팸이라고 지워버린 메일데이터를 기반으로 스팸을 판별해줍니다. reCHAPTCHA 프로젝트는 사람들이 스팸방지어를 입력하느라 헛되이 사용하는 시간을, OCR이 인식하지 못했던 북스캔 데이터를 스팸방지어로 사용하고 사람들이 입력한 올바른 문자열로 도서관 전산화데이터를 교정함으로써 의미있게 활용하도록 도와줍니다.

이처럼 협업의 연장선상에서 해석되는 전통적인 의미의 ‘집단지성’과는 조금 다르게, 사람들의 이기적이고 개인적인 행위에서 특정한 메커니즘을통해 추출해 내는 ‘지성’을 “대중의 지혜(The Wisdom of Crowds)”라고 합니다. ‘광기’라는 말이 더 어울리는 ‘대중’에게 ‘지혜’가 있음을간파해낸 사람이 뉴요커의 비즈니스 칼럼니스트이며 2004년 동명의 책을 발간한 제임스 서로위키(James Surowiecki)입니다.

“대중의 지혜”가 발현되기위해서는 다양성과 독립성을 가진 대중, 그리고 특정한 취합 메커니즘(aggregatingmechanism)이 필요합니다. 다양성과 독립성이 없는 대중은 지혜를 발현하기 보다 ‘광기’로 흐르기 쉽습니다. ‘집단사고(Group thinking)’나 ‘정보 캐스케이드(Information Cascade)’가 작동하여 올바른 ‘지성’을 발현할 수 없습니다. 마치 시장경제처럼 현상에 대해 ‘다양한’ 인식을 가진 사람들이 ‘독립적’으로 자신이 옳다고 생각하는 것을, 자신에게 이롭다고 생각하는 방향으로취할 때 “대중의 지혜”가 발현됩니다. 이를 보장하기 위해 대중의 구성원은 서로를 모방하기 보다 스스로 생각하고 행동해야 합니다. 의견을 교환하고 조정하여 결론에 도달하기 보다 자신이 맞다고 생각하는 것을 행하기만 하면 됩니다. 이것이 계급구조와 모방을 기본 구조로 하는 글로벌 브레인이나, 힘을합쳐 하나의 목적을 이루기 위해 의사소통과 직접적 의견조정을 해야하는 전통적인 의미의 집단지성과 대중의 지혜가 가장 큰 다른 점입니다.

그리고, 같은 맥락에서 ‘취합메커니즘(aggregating mechanism)’이란 ‘합의(consensus)’가 아닙니다. 집단의 모든 구성원이 동의하는 공통된의견을 논의를 통해 만들어 내는 것이 아니라, 개개인이 옳다고 생각하는 바를 자신을 위해서 수행하면, 그 이기적인 행위의 집합에서 ‘지성’을 추출해내는 방법을 일컫는 것입니다. 또한 이 ‘취합 메커니즘’은 분산화되어 있어야 합니다. 이것이 크라우드 소싱(Crowd sourcing)을 집단지성으로파악하기 어렵게 하는 점 입니다. 크라우드 소싱은 결국 밖에서 의견을 듣되 정답을 정하는 것은 소수의내부인이 하게 되기 때문입니다. 이것은 우리가 잘아는 고객제안과 별로 다른 점이 없습니다. 더불어 이것이 네이버 지식in을 “대중의지혜”내지는 웹2.0이란 맥락에서 ‘집단지성’을 구현한 것으로 보기 어렵게 되는 이유입니다. 지식in은 질문자가 정답을 선택하는 구조로 되어있어 답을 찾는 과정은분산화되어 있으나 답을 결정하는 과정이 분산화되어 있지 않기 때문입니다. 집단이 답을 결정한 것이 아니기때문입니다.

이러한 이해를 바탕으로 ‘집단지성’을활성화할 수 있는 효과적인 도구와 플랫폼을 개발하는 것이 웹2.0 시대의 인터넷 기업에게 새로운 기회와도전으로 주어져 있습니다. 구글처럼 기존의 사이버스페이스의 구조에 숨어있는 집단지성의 의미를 읽어내어활용하거나, 개인적인 목적과 용도로 사용하지만 그 안에서 집단지성을 구현해 낼 수 있는 ‘소셜 소프트웨어’를 만들어 내는 것 학계와 산업계에서 집중해야 할일이라 생각합니다. 결국 이를 통해 인류의 다음 번 진화단계로서의 집단지성으로 세상이 나아가는데 일조할수 있을 것입니다.

아직 그 성패를 알 수 없지만, 스폿플렉스(Spotplex)는 매우 좋은 사례를 제공하고 있습니다. 한국에서레퍼레즈(Referez)라는 서비스로 처음 선보였으나 지금은 실리콘밸리로 옮겨가 스폿플렉스라는 이름으로영문 서비스를 시작하여 테크크런치(TechCrunch)의 마이클 애링턴(Michael Arrington)으로부터도 좋은 평가를 받은 바 있습니다. 스폿플렉스는디그처럼 사람들의 추천에 의존하는 대신, 블로그에 삽입된 코드가 기계적으로 많은 사람들이 읽은 포스트를취합하여 보여주도록 되어 있습니다.

확장성(scalability)는 또 다른 이슈입니다. 웹2.0이 영어권 웹환경에서 성공한 기업의 공통점이란 점을 기억한다면, 같은 개념을 적용하여 ‘한국의 웹2.0’도생각해 볼 수 있습니다. 즉, 한국에서 닷컴버블의 붕괴를이기고 살아남은 기업의 공통점을 추려본다면 아마 영어권과는 또 다른 결과를 보여줄 것입니다. 하지만여태까지 한국 서비스의 해외진출 사례가 보여주듯 ‘한국의 웹2.0’ 서비스는확장성을 고려하지 않고 만들어진 것이 많습니다. 이는 한국의 인터넷 기업들이 고민해야 할 또 다른 과제일것입니다.