[번역] PageRank의 시대는 끝났다

Kagi의 CEO가 작성한 포스트를 번역했습니다.

https://blog.kagi.com/age-pagerank-over

The Age of PageRank is Over | Kagi Blog

 

Sergey Brin과 Larry Page가 그들의 논문에서 PageRank의 개념을 생각해 냈을때 ("The Anatomy of a Large-Scale Hypertextual Web Search Engine"), 그들은 우리가 web을 이용하는 방법을 크게 변경했습니다. 논문 작성 이후의 25년 동안 인류는 연관있는 결과를 찾기 위한 검색에서 그들의 알고리즘에 의존했습니다.

 

PageRank 알고리즘은 다른 사이트로 연결되는 웹사이트가 상업적 동기보다는 장점에 기반할 때 가장 가치가 있을 것이라는 생각에 기반하여 결과를 생성했습니다. 그 당시 웹은 아직 상품, 공유, 개인적 표현 그리고 세계를 통합하는데 사용하던 초창기였습니다. 이 알고리즘은 큰 성공을 거두었습니다. 

 

환상적이였지만, 수년동안 어떤 일들이 벌어지고 있었습니다. 일부 웹사이트가 페이지 순위 덕분에 눈에 띄게 되면서(당연히 그럴 만도 했습니다!), 퍼블리셔들도 유입되는 트래픽으로 수익을 창출할 수 있다는 사실을 깨달았습니다. 동시에 검색 엔진도 광고가 매우 수익성이 높다는 사실을 알게 되었습니다.

 

이는 빠르게 웹의 비지니스 모델이 광고가 되도록 이끌었습니다. 이런 광고의 확산은 또 다른것을 가져왔는데, 이해 상충이라는것을 가져왔습니다. 웹은 광고가 포함된 search engine 혹은 광고가 포함된 사이트인데, 그들의 유저와 고객들은 결국은 2가지 이해를 가지고 있었습니다. 그들의 유저는 보통 web을 browse 혹은 검색하고싶어하고, 그들의 고객은 유저에게 물건을 팔기를 원했죠.

 

수년에 걸쳐 웹은 매우 파괴적인 힘을 가진 지금의 상태로 악화되었습니다. 대부분의 피해는 사용자와 사용자의 삶의 모든 측면에 대한 수익 창출로 인해 발생합니다. 기업은 우리의 선호도, 친구, 가족, 우리가 소비하는 정보, 우리가 생성하는 정보를 수집합니다. 기업은 우리의 선호도, 의견, 구매, 관계를 관리하고 기업의 이익을 극대화합니다. 웹은 개인의 의견, 자유, 정치 및 사회 제도를 해칠 수 있습니다. 웹은 우리의 정보를 훔치고, 우리를 중독시키고, 여러 가지 방식으로 우리에게 해를 끼칩니다.

 

이 비즈니스 모델로 운영되는 웹사이트는 의심하지 않는 방문자의 '참여'를 유도하고 수익을 창출하기 위해 무엇이든 할 수 있는 광고와 추적 기능으로 가득 찬 거대 기업이 되었습니다. 여기에는 알고리즘 피드, 저품질 클릭베이트 기사(전 세계적으로 저널리즘의 악화에 기여함), 가능한 한 많은 광고와 제휴사 링크로 페이지 채우기(사용자 경험과 자체 신뢰도 저하), 45초마다 동영상 광고 재생(자라나는 세대에게 해로움), 최대한 많은 사용자 데이터 채굴 등이 포함됩니다.

 

광고는 웹 사용에 대한 전 세계적인 '세금'이 되었고, 대부분 기술에 익숙하지 않은 가장 취약한 사용자들이 지불했습니다.
자연스럽게 웹 검색의 품질이 저하되기 시작했습니다.슬픈 사실은 이 모든 것이 예측 가능한 일이었다는 것입니다. 1998년 백서에서 브린과 페이지는 당시 다른 검색 엔진이 사용하던 광고 지원 비즈니스 모델을 신랄하게 비판했습니다:

 

"현재 상업용 검색 엔진의 주된 비즈니스 모델은 광고입니다. 광고 비즈니스 모델의 목표가 항상 사용자에게 양질의 검색을 제공하는 것과 일치하는 것은 아닙니다. 예를 들어, 프로토타입 검색 엔진에서 휴대폰에 대한 상위 검색 결과 중 하나는 운전 중 휴대폰 통화와 관련된 주의 산만과 위험성을 자세히 설명하는 연구인 "휴대폰 사용이 운전자 주의력에 미치는 영향"입니다. 이 검색 결과는 웹에서 인용 중요도를 측정하는 페이지랭크 알고리즘에 따라 중요도가 높기 때문에 1위에 올랐습니다 [페이지, 98].

휴대 전화 광고를 표시하는 대가로 돈을 받고 있는 검색 엔진이 유료 광고주에게 돌아가는 페이지를 정당화하기 어려울 것은 분명합니다. 이러한 이유와 다른 미디어에 대한 역사적 경험[Bagdikian, 83]으로 인해 광고로 자금을 조달하는 검색 엔진은 본질적으로 소비자의 요구와는 거리가 먼 광고주에게 편향될 것으로 예상됩니다. ... 또한 광고 수입은 종종 품질이 낮은 검색 결과를 제공하도록 인센티브를 제공합니다. ... 일반적으로 소비자 입장에서는 검색 엔진이 더 좋을수록 소비자가 원하는 것을 찾는 데 필요한 광고가 줄어든다고 주장할 수 있습니다. 이는 당연히 기존 검색 엔진의 광고 지원 비즈니스 모델을 약화시킵니다."

하지만 광고 지원 검색의 위험성을 잘 알고 있었음에도 불구하고 광고 판매는 불과 몇 년 후 새로운 검색 벤처의 주요 비즈니스 모델로 채택되었습니다.

그 결과, 세계에서 가장 뛰어난 검색 기술과 세계에서 가장 뛰어난 인재들의 잠재력은 이해 상충이 내재된 비즈니스 모델에 의해 제한되었습니다. 웹은 끊임없는 광고 기반의 수익 창출에 의해 변화했습니다. 더 이상 아무도 콘텐츠를 링크하거나 큐레이션하지 않기 때문에 바로 그 알고리즘인 PageRank가 무너졌습니다. 링크나 큐레이션을 하는 경우에도 원래 웹과 알고리즘의 본질이었던 가치에 기반한 것이 아니라 주로 상업적 이익을 위한 것이었습니다.

이로 인해 오늘날 주류 검색 엔진의 거의 모든 검색에 동일한 100개 내외의 대형 웹사이트가 표시되는 등 권력이 집중되는 현상이 발생했습니다. 이로 인해 소규모 사이트와 아마추어 블로그는 검색 결과에서 사람들이 발견하고 연결할 수 있는 기회를 얻지 못해 문제가 더욱 악화되었습니다. 오늘날 웹의 주요 목적은 이제 "참여"이며, 제품 관리 측면에서 보면 "얼마나 많은 광고를 사용자의 목구멍으로 밀어 넣을 수 있는가"입니다.

작가이자 정치학자인 이안 브레머는 "세계 최대의 광고 회사가 결정한 알고리즘을 통해 시민으로서 정보를 얻는다는 생각은 제가 정의하는 디스토피아"라고 말했습니다.

웹에서 최고의 페이지를 찾기 위한 모델로서 페이지랭크의 시대는 끝났으며, 알고리즘은 결국 광고에 의해 오염되고 완전히 지배당하고 있습니다.

오늘날 사용자가 광고 지원 검색 엔진을 사용하면 검색 결과에서 노이즈, 잘못되거나 오해의 소지가 있는 웹사이트를 접할 수밖에 없으며, 이는 필연적으로 사용자의 지능을 모욕하고 두뇌를 낭비하게 됩니다. 알고리즘 자체는 광고 수익을 위한 최적화와 사용자가 원하는 것을 위한 최적화 사이에서 끊임없이 내부적인 싸움을 벌이고 있습니다. 대부분의 경우 전자가 승리합니다. 사용자가 가능한 한 빨리 업무를 처리하도록 하는 대신 계속 재방문하고 더 많은 것을 검색하도록 하는 결과를 제공합니다.

이 과정에서 검색, 뉴스, 엔터테인먼트, 소셜 미디어 등 온라인 생활의 거의 모든 영역에서 자기 강화적 독점이 생겨납니다. 이러한 독점은 모두 두 가지 공통점을 가지고 있습니다:

• 광고 기반 비즈니스 모델의 산물이라는 점입니다;
• 광고 기반 비즈니스 모델의 산물이며, 디지털 사회에 건강하지 않고 재미있고 기발하며 흥미진진한 인터넷의 본연의 모습과는 정반대라는 점입니다. 오히려 우리의 온라인 생활과 문화의 거의 모든 측면을 통제하려고 시도합니다.

이것이 바로 저희가 Kagi를 만든 이유입니다. 저희는 이 광기를 멈추고 웹이 나아가고 있는 방향을 바꿔야 한다는 강한 필요성을 느꼈습니다. Kagi가 존재하는 주된 이유는 웹에 대한 근본적으로 다른 관점, 즉 웹의 원래 의도에 가깝고 사용자와 그들의 요구가 중심에 있는 웹을 제공하기 위해서입니다.

 

검색의 미래는 사용자 중심입니다

우리는 적시에 양질의 정보에 접근해야 하는 바쁜 삶을 살고 있을 뿐만 아니라 문명이 고도화되면서 우리 몸에 들어가는 음식에 주의를 기울이는 것처럼 우리 뇌에 어떤 정보가 들어오는지 주의해야 한다는 것을 깨닫기 시작했습니다.

요즘 같은 세상에서는 광고와 소음이 끼어들 여지가 거의 없습니다. 하지만 지난 25년 동안 세상은 이렇게 작동해 왔습니다.

우리 문명이 필연적으로 발전함에 따라, 대부분의 인류가 잘못된 인센티브에 의한 해로운 의제가 우리 삶을 지배하는 세상에서 무례한 각성을 하게 될 것이라고 예측하는 것은 합리적입니다. 정보가 얼마나 중요한지, 현재 우리가 어떻게 대우받고 있는지에 대한 충격과 깨달음은 영화 매트릭스에서 인류를 통제했던 것처럼 혼수상태에서 깨어나는 것과 비슷하게 느껴질 수 있습니다. 우리는 뒤늦게 현재의 상황을 바라보며 "어떻게 이런 일이 일어났을까?"라는 의문을 품게 될 것입니다.

앞으로 현재의 주류 검색 엔진이 살아남으려면 1998년 백서에서 페이지와 브린이 설명한 것처럼 광고를 주요 비즈니스 모델로 삼지 않고 사용자가 원하는 것을 최적화하기 위해 초심으로 돌아가야 할 가능성이 높습니다. 이러한 지각변동은 '언제'가 아니라 '만약'의 문제입니다. 광고 지원 비즈니스 모델을 사용하는 기업이 제공하는 정보에 대한 대중의 신뢰가 약화되면서 이러한 변화는 더욱 가속화될 것입니다.

 

그렇다면 기업이 모든 자원, 기술, 인적 잠재력을 활용하여 완전히 사용자 중심적인 제품을 만드는 세상을 상상해 보세요. 이는 지금까지 볼 수 없었던 혁신을 주도할 것입니다.

다양한 기능을 갖춘 검색 제품이 등장할 것입니다. 여전히 광고가 지원되는 '무료' 제품도 존재하겠지만, 이는 고품질의 정보를 제공하지 않고 광고 수익에 최적화되어 있을 것입니다. 심지어 오늘날 일부 '뉴스' 사이트에서 볼 수 있는 '엔터테인먼트용'이라는 라벨이 붙을 수도 있습니다.

하지만 다양한 가격대에서 다양한 기능을 제공하는 검색 파트너도 있을 것입니다. 예산과 허용 범위에 따라 초급, 중급 또는 전문가 검색 '동료'를 구매할 수 있습니다. 재치나 재치, 특정 혈통, 관심사, 심지어 조정 가능한 편향성과 같은 캐릭터 특성을 가진 검색 컴패니언이 제공됩니다. '도우미'를 보수적이거나 진보적, 상냥하거나 도도하게 설정할 수도 있습니다!

 

미래에는 모든 사람이 동일한 검색 엔진을 공유하는 대신 완전히 개별화된 나만의 개인 비서인 마이크나 줄리아 또는 자비스를 갖게 될 것입니다. 비서와 정보를 공유하는 것을 두려워하는 대신, 비서가 원하는 데이터를 선택하고 비서의 인센티브가 자신의 인센티브와 일치하는지 확인한 후에만 데이터를 제공하게 될 것입니다. 어시스턴트에게 더 많이 말할수록 더 나은 도움을 줄 수 있으므로 근처에 좋은 레스토랑을 추천해 달라고 요청하면 좋아하는 음식과 운전 거리에 따라 옵션을 제공합니다. 좋은 커피 메이커를 추천해 달라고 하면 사용자의 취향만을 고려해 예산 범위 내에서 좋아하는 브랜드의 제품을 추천해 줍니다. 검색은 개인적이고 맥락에 맞는 흥미로운 방식으로 이루어집니다!

 

가장 수준 높은 사람들은 200단어 요약을 위해 몇 페이지 분량의 문서, 심지어 책이나 동영상 전체를 소화해야 하는 질문에 답할 수 있을 것입니다.

물론 0원이 아닌 가격대는 다른 비용과 함께 예산을 책정해야 한다는 것을 의미합니다. 하지만 고품질의 정보에 더 빠르게 액세스할 수 있게 되면 글로벌 경쟁력이 훨씬 높아지므로 다른 구매와 마찬가지로 투자할 가치가 있는지 판단할 수 있습니다. 이는 결국 이러한 제품이 더 나은 제품이 될 수 있도록 인센티브를 제공하게 되며, 이는 완전히 일치하는 인센티브에 의해 긍정적인 피드백 고리를 형성합니다.

이것이 바로 인터넷이 지금처럼 악용되는 도구가 아닌 놀라운 도구로서 잠재력을 최대한 발휘할 수 있는 미래의 비전입니다.

여러분도 이 여정에 동참해 주시기 바랍니다.

[업데이트: 이 블로그 게시물의 첫 번째 버전은 대규모 언어 모델이 등장하기 훨씬 전인 2019년에 게시되었습니다. 현 세대의 LLM은 극심한 한계로 인해 이러한 비전에 도달할 수 없다고 생각합니다. 우리가 여기서 이야기하는 것은 아마도 수십 년 후의 일이며 '스타트렉'이나 1987년 애플의 '지식 내비게이터' 개념에 더 가깝습니다. 요점은 사용자 중심의 정보 검색은 미래의 모습이 어떠하든 유료 비즈니스 모델을 통해 인센티브를 조정할 때만 가능하다는 것입니다. 광고는 검색에 속하지 않습니다.]

블라디미르 프렐로바크
CEO, Kagi Inc.