전운 감도는 하반기 '검색 2.0' 개발경쟁

모 처럼 국내 포털들이 기술개발과 관련 마케팅에 힘을 쏟고 있다. 수치화된 알고리즘과 기계적인 로봇에 의한 웹사이트 수집에서 쇼핑검색, 도서검색, 동영상검색 등 다양화의 길을 걷고 있는 구글과 달리 국내 포털들은 그동안 인위적인 배열과 나열에 의존한 통합검색에서 벗어나 검색엔진 본연의 차세대 검색 기술 개발에 총력을 쏟고 있다.

국내 포털 빅3 가운데 하나인 네이트와 싸이월드를 운영중인 SK커뮤니케이션즈가 '집단 지성'을 반영한 검색 엔진 '써플(searchplus.nate.com)'을 새로 선보이면서 네이버의 첫눈 인수 후 국내에서는 보기 드물게 검색엔진 품질 논쟁이 다시 불고 있다.

집단지성과 UCC로 기술의 빈자리를 채워라

웹 2.0을 대변하는 키워드 가운데 '집단 지성'은 자발적 다수에 의해 꾸며지는 세계 최대 온라인 백과사전 '위키피디아(www.wikipedia.org)'가 대표적이다. 위키피디아의 가장 큰 특징은 극단적으로 소수에 의해 조작될 수 있는 정보조차 다수의 지성에 의한 검토를 거치면 최선의 결과물이 만들어질 것이란 '절대 다수 지능에 대한 믿음'이 바탕에 깔려 있다.

일부는 국내 지식 검색 시스템도 '집단 지성'의 예로 들고 있다. 질문과 대답을 하는 과정에 이의제기가 이어지고 다시 반박해가면서 가장 정확한 답을 찾기 위한 노력이 끊임없이 이어진다는 것이다.

새로운 자체 검색엔진 '써플' 베타를 서비스하기 시작한 SK커뮤니케이션즈는 이러한 집단지성의 개념이 기계적인 알고리즘에 의존하는 검색 기술이 채우지 못한 2%를 채울 수 있다고 주장한다.

이 용자가 단순히 검색결과를 받아들이는 기존 검색과는 달리 탐색 과정을 통해 이용자가 검색 결과에 영향을 줄 수 있는 검색이란 설명이다. 특정 검색결과에 대해 이용자가 더 정확하고, 유용한 정보라고 판단되면 ‘플러스’ 버튼을 누른다. 이렇게 ‘플러스’가 추가된 정보는 보다 내용이 충실한 것으로 평가돼 다른 검색 결과보다 상위에 놓여지며 이런 과정은 실시간으로 검색 결과를 재배치하게 만든다.

SK커뮤니케이션즈는 "많은 사람들이 좋은 정보라 평가한 정보가 가장 먼저 보여지는 것"이라며 '수작업을 통해 가공된 검색결과'라는 말을 통해 네이버의 검색에 대해 정면 겨냥했다.

하 지만 업계는 이러한 실시간 통계에 의한 재배치 방식에 대해 "그다지 새롭진 않다"는 반응을 보이고 있다. 이미 네이버 웹 검색 결과에서도 사용자들이 많이 선택해서 누른 정보가 상위 랭크되고 있으며 엠파스도 열린검색을 통해 사용자의 선택에 의해 '뉴스', '블로그', 게시판' 등 카테고리조차 사용자들의 선택에 의해 실시간 재배치된다는 점을 강조한 바 있다.

또한 집단지성을 이용하는 방법이 사용자가 좋다고 판단한 링크에 '플러스' 버튼 누르기 방식 또한 경쟁 업체들은 '조심스럽다'는 반응이다. 사용자의 적극적인 반응를 수집하는 것은 좋으나 상업적 또는 악의적 목적에 의한 '플러스' 누르기가 횡행할 것이란 우려다.

이에 대해 SK커뮤니케이션즈 관계자는 "한 사람이 하루에 특정 링크에 플러스를 단 한 번만 누를 수 있도록 했다"며 꾸준한 모니터링과 스팸신고를 통해 불건전 정보를 걸러낼 수 있다고 자신했다.

국내 검색엔진, 알고보니 끊임없는 혁신중

' 써플'의 출현은 검색엔진에 대한 세인의 관심을 촉발시킬 것으로 보인다. 알고 보면 '닫혀있다'라는 폐쇄성에 대해 비판받고 있는 국내 검색엔진들은 나름 다양한 방법으로 사용자 검색 편의성을 높이려는 노력을 하고 있다. 이에 전문 기술업체인 온네트의 관심도에 따른 RSS기반 검색엔진 기술 개발도 눈에 띈다.

하반기에는 일단 네이버(www.naver.com)와 다음(www.daum.net)의 차제 검색엔진 업그레이드가 예고되고 있다. 네이버는 최근 인수한 첫눈 검색엔진 개발자들을 포함해 300여명의 검색엔진 개발진이 하반기 검색엔진 업그레이드에 매진하고 있다고 관계자는 전했다.

네 이버 이상훈 서비스파트장은 "현재도 베타 서비스를 통해 게시판 및 블로그 등 외부 데이터 인덱싱에 심혈을 기울이고 있다"며 "사실 검색결과 첫 화면만 보고 폐쇄성을 논하는 경향이 있지만 네이버가 검색을 통해 확보한 데이터 가운데 7, 80%가 외부 데이터를 검색 로봇이 가져 오고 있다"며 네이버 검색의 개방성에 대해 강조했다.

또한 그는 하반기 첫눈(www.1noon.com)의 기술이 합쳐진 검색엔진 개발과 함께 일본 시장 진출을 위한 검색엔진 업그레이드를 병행하고 있다고 전했다.

한 편 UCC 검색엔진 개발에 집중하고 있는 다음의 경우 일단 신뢰성 있는 외부 데이터베이스를 우선 확보하겠다는 전략이다. 또한 다음은 "올 하반기 적용을 목표로 검색엔진을 자체 개발 중에 있으며, 이를 통해 다음 내부의 약 30억건 이상의 양질의 UCC를 빠르고 정확하게 검색결과로 보여줄 수 있도록 대용량처리 기술을 강화할 계획"이라고 밝혔다.

사용자들이 각종 커뮤니티 활동 등을 통해 뿜어내는 양질의 콘텐츠가 그동안 검색 결과에 반영되지 않았다는 지적에 적극적으로 대처한다는 생각이다. 다음은 새로운 자체 검색 기술을 완성하게 되면 장기적으로는 웹검색에 한해 사용하고 있는 구글 검색을 떼어낼 계획도 갖고 있다고 밝혔다.

구글(www.google.co.kr) 의 기계적 검색 기술과 비등한 수준으로 검색 기술을 끌어올리기 위해 애쓰고 있는 야후의 경우 구글을 능가할 수 있는 비법을 사용자들의 기여에서 찾고 있다. 이른바 '태그'와 각종 서비스를 하나로 모으는 '허브'를 통해서 구현하겠다는 것이다. 야후코리아는 이미 작년 12월부터 야후!허브 서비스를 내놓고 베타 서비스 중이다. 야후!허브(hub.yahoo.co.kr)란 태그를 통해 나와 타인의 컨텐츠를 한 곳에 모아 보다 사용자 중심의 검색 결과를 보여주는 검색 서비스이다.

야 후! 관계자는 "현재 허브 서비스는 일일 약 60만명의 이용자가 이용하고 있으며 태그를 통해 재창조된 검색 DB는 약 1200만 건으로 이용자의 좋은 반응을 얻고 있다"고 전했다. UCC와 집단지성을 두루 섭렵한 기획이라고 야후!는 자랑하고 있다.

최근 재도약을 꿈꾸는 파란닷컴도 '온에어(onair.paran.com)' 라는 새로운 사용자 참여 검색 서비스를 선보였다. 이 서비스는 아예 특정 검색 키워드에 대응하는 검색 결과를 사용자가 직접 입력할 수 있는 서비스다. 다른 어느 서비스보다 사용자의 직접 참여에 크게 의존하는 서비스로 다수의 사용자가 한 가지 키워드에 대해 자신이 만든 정보가 정확하다는 것을 놓고 벌이는 경쟁 시스템도 도입돼 있다.

검색포털 사이트 엠파스(www.empas.com)도 꾸준히 외부 포털이나 커뮤니티, 콘텐츠 사이트들을 광범위하게 검색할 수 있는 '열린검색'으로 승부를 보겠다는 생각이다.

한편 첫눈 이후 뚜렷한 중소 개발사의 검색엔진이 사라진 마당에 RSS 구독 SW인 '피쉬(www.3fishes.co.kr)' 를 서비스중인 온네트가 RSS 이용자들의 집단 관심도를 이용한 검색엔진을 개발중이어서 화제다. 온네트가 개발중인 '크로스마인드'라는 기술은 RSS를 기반으로 사용자들이 관심을 갖고 주목하는 콘텐츠를 찾아주는 검색엔진 기반 기술이다.

온 네트 CTO인 박영찬 박사는 "기존 검색들이 문서들에 대한 관계성에만 집중했다면 크로스마인드는 사용자 참여에 기반한 사용자 관심도까지 고려해 검색의 결과를 제공한다는 점이 가장 큰 차이점"이라고 설명했다. 온네트는 이 검색엔진을 국내에서 9월께 선보이고 이 기술이 완성되면 일찌감치 일본 진출도 계획중이다.

외부 데이터베이스 제휴 마케팅과 수익성만을 따지던 인터넷 검색 기술 업계에 간만에 기획력과 기술력으로 승부를 내려는 기술 경쟁이 일고 있다. 이들 가운데 치열한 경쟁 속에서 소비자에게 최종적으로 선택될 검색 기술이 검색 2.0의 권좌에 오를 것으로 보인다. ⓢ

-------------->

#저작권 공지 : 해당 저작권 표시가 없는 글은 링블로그 소유이며 저작권은 크리에이티브 커먼즈 저작자표시-비영리-변경금지 2.5 라이센스를 따릅니다.
이 저작물은 크리에이티브 커먼즈 라이센스에 따라 이용하실 수 있습니다.

써플에 대한 비판 위키페디아가 집단지성의 결과물인건 사실이다. 사용자는 단순히 보는데에서 그치지 않고, 스스로 컨텐츠를 만드는데 동참하고, 만들어진 컨텐츠를 연결시킴으로써 하나의 거대한 지성으로 만들어가고 있다. 이제는 브리테니커 백과사전과 비교될만한 위치에 까지 오른 것으로 알고 있다. 써플에 대해서 비판하자면, 써플은 집단지성이라고 할 수 없다는게 나의 견해다. 사용자의 참여에 의해서 검색된 문서의 중요도가 결정된다고는 하지만 위키페디아처럼 사용자가 지식컨텐츠를 생성하고 연결해서 네트워크 효과를 얻어내는 것과는 다른 차원의 것이라 생각한다. 게시판에 포스팅된 글에 대한 점수를 유저가 줄 수 있도록 했다고 해서, 이게 집단지성이 될 리는 없는 것이다. 검색의 랭킹을 위한 기계적 알고리즘이라는게 아무리 뛰어나다 하더라도, 인간의 그 판단에는 미치지 못함은 분명할것이다. 그러나 지식검색서비스에서 랭킹점수를 메기는 것처럼 유저가 참여할경우 참여자체에는 의의를 둘 수 있을지 모르지만 그 효과가 나타날런지는 회의적이다. 네이버의 지식검색에 질문과 답변에 대한 사용자 랭킹이 있다고 해서, 이걸 집단지성의 결과물이라고 말하는 사람은 없을 것이다. 기술적인 문제도 있는데, 사용자가 점수를 부여한 문서가 계속 첫페이지에 노출된다는 점으로, 새로 추가된 문서나 혹은 사용자 문화에 따라서 중요하지만 관심없는 문서 자체가 검색결과에 나타나지 않을 수도 있다는 점이다. 예를 들어서 자바라는 유명한 그룹이 있다고 가정을 해보자. 그렇다면 연애/오락관련 정보에 민감한 유저가 많은 우리나라의 특성을 봤을 때, 자바라는 그룹에 대한 팬페이지만 잔뜩 올라오고 프로그래밍 언어로써 중요한 위치에 있는 Java언어는 페이지에서 아예 밀려버리는 현상이 발생할 수 있다. 위의 기술적인 문제는 물론 여러가지 방법으로 해결할 수 있을 것이다. 기존의 랭킹공식은 그대로 두고 여기에 사용자의 의견을 수치화 해서 곱해줌으로써 랭킹을 조절하는 방법이 대표적일 것이다. 그러나 이정도를 가지고 집단지성의 반영이라고 하기엔 한참은 부족한거 같다. 또한 너무 주관적이라는 문제도 있다. 위키페디아도 주관적이다고 할 수 있겠지만 이와는 전혀 다르다. 위키페디아도 주관이 들어가긴 하지만 그 주관은 구체적인 컨텐츠의 형식으로 표현이 된다. 고로 그 주관에 문제가 있는지, 받아들일만 한지 보강해야 하는지가 다른 참여하고자 하는 유저에게 구체적으로 들어난다. 그래서 필요한 부분은 보강하고 삭제하는 등의 상호작용이 일어나는 것이다. 즉 개인의 주관을 집단지성화 할 수 있는 구체적인 행위를 하게 된다는 것이다. 그러나 1부터 5까지의 점수를 두고 사용자가 선택하는 것으로 개인의 의견이 집단지성에 작용할 수 있다고 보기는 힘들다는게 개인적인 의견이다. 위키페디아가 집단지성의 대명사가 된건 사용자의 직접적인 참여 때문에 가능한거지, 점수를 카운트 한것 때문에 가능한게 아니다.