라이너 (LINER): 형광펜에서 AI, 검색엔진까지!

 
쇼핑이나 자료 조사, 친구와의 논쟁을 끝내려고 할 때 우리는 구글 같은 검색엔진을 찾는다. 그러나 수십억 개의 검색 결과 속에서 필요한 정보를 찾는 것은 건초더미에서 바늘을 찾는 것처럼 느껴진다. 최근 AI와 다양한 *SEO를 활용한 조회수 위주의 정보(일명 Clickbait)가 많아지고 있어 우리를 더욱 혼란스럽게 한다. 우리는 어떻게 만족스러운 검색 경험을 할 수 있을까?

*구글은 '더 나은 품질의 웹페이지'가 아니라 SEO에 최적화된 페이지가 검색 상단에 나타나는 문제를 가지고 있다.

내가 다양한 쿼리로 검색하는 법. 검색은 점점 어려워지고 있다.

 
라이너는 사용자가 웹 페이지에서 원하는 부분에 형광펜을 칠할 수 있게 한다. 이러한 형광펜 데이터를 바탕으로 더 개인화되고 가치 있는 정보를 찾아 이를 통해 검색엔진과 AI를 개발한다. 최근 라이너에 다양한 서비스가 추가되었지만, 이 글에서는 하이라이팅(형광펜을 칠하는 행위) 과 검색, AI, 알고리즘의 관계만 다룬다.
아래 내용은 라이너의 실제 개발 방식과 무관하며 필자가 라이너의 블로그와 기사를 참고하여 해석한 개인적인 의견임을 밝힌다. 
 

라이너 형광펜 예시

 

내가 라이너를 처음 접한 것은 약 2년 전이었다. 각자 다른 전공을 가진 세 명이 리서치를 하는 과제였는데, 모르는 분야의 정보를 단기간에 습득하려니 문제가 상당했다. 그때 한 친구가 라이너를 소개해 주었다. 우리는 라이너를 활용해 각자의 분야에 관련된 논문과 웹 페이지의 핵심 내용에 형광펜을 칠하고 공유 기능을 통해 서로의 형광펜이 칠해진 문서를 웹에서 쉽고 빠르게 공유했다. 이후로 라이너에 대한 관심이 생겨 찾아보게 되었고, 검색과 AI서비스로서 구글을 뛰어넘겠다는 라이너의 기사를 보며 하이라이팅과 검색,AI의 관계에 대해 많은 생각을 가지게 되어 글을 쓰게 되었다.

 
 

하이라이팅: AI학습에 어떤 의미를 지닌가?

우리는 형광펜을 사용하여 중요하거나 기억하고자 하는 정보를 강조한다. 논문의 인용 횟수가 많을수록 그 논문의 가치가 높게 평가되는 것처럼, 웹 검색에서도 라이너의 형광펜이 많이 칠해진 페이지가 그 중요성이 높다고 볼 수 있다. 라이너는 1000만 명 이상의 사용자를 바탕으로 형성된 대중의 지혜(집단지성)를 담은 데이터를 소유하고 있다는 것이다.
 
라이너 사용자들은 단순히 내용을 읽는 것을 넘어, 그것을 분석하고 가치를 판단한다. 이러한 활동을 통해 사용자들은 가치가 낮은 정보를 걸러내고, 유용한 웹 페이지를 선별하며, 가장 중요한 내용을 도출해내고 이것은 라이너 DB(데이터베이스)에 축적된다. 이처럼 정보의 가치를 식별하고 부여하는 능력을 지닌 사용자 집단을 가지고 있는 서비스는 매우 특별하다.
 
많은 기업이 자체 AI의 발전을 위해 노력하고 있다. 일론 머스크는 "트위터 사용자 데이터를 활용하여 AI를 학습시키겠다"고 발표했으며, OpenAI는 뉴욕타임즈의 기사를 활용한 AI 학습으로 법적 문제에 직면했다. 이러한 사례들은 가치 있는 데이터의 수집이 AI의 지도학습(Supervised Learning)의 핵심이기 때문이다.
 
트위터의 경우, 사용자들 사이의 품질 편차가 커서 때때로 오류가 많고 가치가 낮은 정보가 포함될 수 있다. 이러한 정보는 AI 학습에 부정적인 영향을 끼칠 수 있기 때문에, 트위터는 최근 블루체크마크 구독제도를 도입해 계정의 가치를 식별하고 있다. 블루체크마크가 있는 계정은 AI 학습에서 더 큰 가중치를 받는다. 이러한 배경을 바탕으로 볼 때, 라이너는 더 적은 노력으로 고품질의 DB를 구축 및 축적 하고 있다. 다른 서비스들보다 뛰어난 AI 학습 환경을 가지고 있다는 것이다.
 

더 정확한 검색

구글은 사용자와 관련된 다양한 개인 정보를 분석하여 그들의 흥미를 반영한 콘텐츠 및 데이터를 보여준다. 또한, 사용자가 입력한 검색 쿼리의 위치, 제목, 본문, 키워드 등을 고려해 가중치를 부여하고, 이를 통해 페이지 순위를 결정한다. 이것이 바로 우리가 보고 있는 구글의 페이지 순위 (Google PageRank) 시스템이다.

 
라이너 검색은 구글 검색 결과에 형광펜 데이터를 추가하는 방식으로 작동한다. 이를 통해 검색 결과의 매칭 확률, 즉 '근접도(proximity)'를 향상하며, 페이지 순위를 라이너만의 방식으로 재정렬 한다. 이는 구글 검색 결과보다 한 단계 더 '초개인화’,’고가치'인 검색 결과인 것이다.

라이너의 검색 어시스턴트 기능

 
더불어, 라이너는 GPT-4와 자체 DB를 결합하여 검색 결과에 대한 답변을 웹 페이지의 오른쪽에 미리 보여주는 기능을 제공한다. 이를 통해 사용자는 웹 페이지를 탐색하기 전 AI 창을 통해 빠르고 쉽게 필요한 정보만을 얻을 수 있다. 또한, 사용자가 페이지 내에서 형광펜으로 강조할 만한 부분을 사전에 예측하여 보여줌으로써, 더욱 효과적인 정보 탐색을 돕는다.

라이너 AI 예시

빨간 형광펜을 통한 건강한 알고리즘과 AI 학습:

“여러분의 디지털 자산은(자료는) 개인별 맞춤 서비스에 이용되어 스포티파이는 음악을, 유튜브는 동영상을, 뉴욕타임즈는 뉴스 기사를, 페이스북에서는 친구를, 구글은 광고를, 링크드인에서는 일자리를 추천해 준다. 의사들조차 여러분의 유전자에 맞춤 암 치료 방법을 제안하고 있다. 이제껏 여러분의 디지털 인생에서 가장 중요한 알고리즘은 검색이었다. 구글 말이다. 하지만 미래의 핵심 알고리즘은 검색이 아니라 추천이다. 검색은 좁고 제한적이다. 여러분은 무엇을 검색할지 미리 알고 있어야 하며 여러분의 지식과 경험이 받쳐주는 만큼만 검색 할 수 있다. 한편 추천은 풍부하고 제한이 없다. 수십억 명의 축적된 지식과 경험을 바탕으로 하기 때문이다. -수학의 쓸모, N. Paulson.

 
우리는 알고리즘에 의해 추천되는 컨텐츠에 익숙해져 있다. 이 추천 알고리즘은 우리의 흥미를 정확히 포착하지만, 때때로 부정적인 측면을 가지고 있다. 현재 추천되는 컨텐츠가 정말 건강하고 가치 있는 것인지 또한 편향되거나 단지 자극적인 것인지 의문을 제기할 필요가 있다.
 
추천 알고리즘을 만드는 기업은 윤리적이고 지속 가능한 방식으로 알고리즘을 구축해야 한다. 추천 알고리즘은 특정 관심사에 깊이 파고들도록 하지만, 동시에 편향된 사고를 유발할 수 있다. 예를 들어, 보수적 성향의 사람에게 보수적 콘텐츠만 추천하여 다른 관점을 제한하고 극단적 사고로 이끌 수 있다. 이에 대응하기 위해, 일부 기업들은 편향되지 않은 정보를 판단해 가중치를 부여하여 학습시키고 뜻밖의 발견(serendipity)* 같은 요소를 알고리즘에 포함해 사용자의 사고를 확장하려 노력하고 있다.
 

*뜻밖의 발견(serendipity): 친구가 나에게 뜻밖의 영화를 추천해 주었는데 너무 만족하는 것처럼 “예상치 못한 행운” 같은 것.

 
편향성을 줄이기 위해서는 학습 데이터에 다양한 의견을 포함하는 것이 중요하다. 유튜브와 링크드인과 같은 플랫폼은 컨텐츠 제작자 중심으로 운영되어 비판적 목소리나 반대 의견을 찾아보기 어렵다. 이러한 모델은 학습 데이터로서 좋은 환경을 가지고 있다고 하기 어렵다. 이처럼 라이너가 무료로 제공하는 노란색 형광펜(핵심,동의하는 정보를 표현하는 색상)만을 사용하여 알고리즘과 AI를 학습시킬 경우, 에코챔버 효과*가 발생할 수 있다.
 

*에코팸버 효과: 똑같은 소리만 계속 듣게 되면서 생각이 같은 사람끼리 한 구간에서 편견만 키우는 현상.

라이너의 다양한 형관펜 기능. 노란색과 파란색을 제외한 색들은 유료이다. 필자는 임의로 파란색을 "비동의" 로 만들었다.

 
라이너의 형광펜 기능 중 반대나 비판을 표현하는 빨간 형광펜은 알고리즘과 AI가 비편향된 학습을 할 수 있도록 하는 중요한 도구가 될 것이다.

비판적 사고는 창의력을 발휘하고 '상자 밖의 사고'를 촉진하는 데 중요한 역할을 한다. 최근, 사람들이 유튜브의 내용이나 AI가 제공하는 정보를 무조건 신뢰하는 경향이 늘어나고 있다. 이러한 상황에서 비판적 사고 능력을 잃어가는 것은 위험하다.
 
빨간 형광펜으로 학습된 AI와 알고리즘은 컨텐츠를 추천하거나 답변을 제시하기 전에 반대 진영의 의견이나 비판적 의견을 고려하여 사용자에게 알릴 수 있다. 이를 통해 라이너는 비판적 의견을 덜 학습시킨 기업보다 건강한 알고리즘과 AI개발에 우위를 가질 수 있다고 생각한다. 또한 이러한 접근은 단순한 정보 전달이 아닌 사용자의 선택과 추론을 촉진하여 더 다양한 정보를 제공할 수 있다. (그러므로 무료 유저에게도 빨간펜을 사용할 수 있도록 하자!)
 

더 나아가:

• 라이너가 합리적인 사고를 촉진하는 혁신적인 도구로 거듭나기를 바란다. AI가 우리 삶의 다양한 영역에 점점 더 깊숙이 들어오면서, 우리는 정보의 타당성을 끊임없이 판단하고, 인간의 주체성을 가지고 결정을 내려야 한다. 하지만, AI나 검색 결과에 지나치게 의존하는 사람들이 많아지고 있다. 과거 경험에서 학습된 지식과 비판적 사고를 통해 스팸이나 거짓 정보를 식별해온 우리와 달리, 추천이나 AI에 의존하는 다음 세대는 이러한 능력이 약화될 수 있다. 그래서 라이너와 같은 회사들이 더 윤리적인 데이터를 확보하고 비판적 사고를 강화하는 모델을 개발하거나, 이를 지원하는 규정이 조속히 마련되기를 바란다.
• 사용자가 하이라이트한 '내 데이터'를 기반으로, 라이너가 어떻게 알고리즘을 구축했는지를 투명하게 보여주고 수정할 수 있도록 하는 것은 어떨까. 이를 통해 사용자는 자신의 니즈에 맞게 알고리즘을 조정할 수 있으며, 그 결과 검색 경험을 더 원하는 방향으로, 풍부하게 만들 수 있을 것이다.
  
  
• 형광펜 데이터에 방문 시간과 위치(예: section, article, body 등)를 추가하면 사용자의 행동 패턴을 더 정확하게 예측할 수 있지 않을까? 이를 통해 데이터에 차등적인 가중치를 부여하기도 용이해질 것이다. 예를 들어, 사용자가 날씨 예보 기사에서 "태풍", "대중교통", "우산", "자동차"에 각각 형광펜을 사용했다고 가정해 보자. "태풍"과 "대중교통"은 페이지의 heading에, "우산"은 body p에, "자동차"는 figcaption에 위치하고 있었다. 각 단어에 얼마나 가중치를 부여해야 할까? 사용자가 대중교통과 우산을 검색할 확률은 얼마나 될까?
  
  
• 라이너의 기능이 증가함에 따라 사용자 인터페이스(UI)의 복잡성도 점차 증가하고 있다. 사용자가 필요한 기능만을 선택적으로 사용할 수 있도록 하는 방안은 어떨까. 만약 이것이 현재 플러그인의 한계로 인해 어려운 상황이라면, 라이너 전용 브라우저를 개발하는 것을 고려해볼 수도 있겠다.
  
  
• 다른 사용자의 하이라이팅을 볼 수 있는 기능은 라이너를 더 사회적인 플랫폼으로 전환시킬 수 있을 것이다. 사용자의 팔로워 수나 방문 횟수를 기준으로 데이터에 가중치를 부여함으로써 AI와 알고리즘의 학습에 도움을 줄 수 있을 것이다. 또한, 트위터처럼 인증된 사용자에게 추가 가중치를 부여하여 성능을 향상시키는 것도 가능할 것이다.
  
  
• 현재 많은 서비스들이 사용자의 의견이나 선택 없이 자동으로 AI나 알고리즘에 의존하도록 만든다. 정보 결정에 있어 선택권을 제공하는 것은 매우 중요하다. 따라서 라이너가 향후 새로운 서비스를 출시할 때, 사용자의 선택권을 최대한 확대하여 그들이 원하는 결과를 얻을 수 있도록 하면 좋겠다.
  
  
• 대다수의 사람이 북마크한 페이지나 형광펜으로 표시한 내용을 볼 때, 그 정보를 본능적으로 신뢰하게 될 수 도 있다(내가 그런다). 특히 라이너와 같이 지식이 풍부한 사용자가 많은 환경에서는 이러한 경향이 더욱 강할 수 있다. 따라서, 이런 데이터를 공개할 때는 반대되거나 비판적인 의견도 함께 제시되면 좋겠다. AI 챗봇이나 주석을 활용하여 사용자에게 다양한 관점을 제공할 수 있으면 좋겠다.

 

마무리:

전문 지식이 부족하여 오류가 있을 수도 있습니다!
피드백이나 수정 사항 부탁드립니다 :)
 

참고 자료:

https://dkb.blog/p/market-rank
https://hivemind.vc/howtodisruptgoogle/
https://www.youtube.com/@White_tree
https://recruit.getliner.com/news
https://link.springer.com/article/10.1007/s00607-018-0687-5