알고리즘은 우리도 모르는 새 여러 산업 현장과 생활 속에서 널리 활용되고 있다. 알고리즘이 ‘21세기판 보이지 않는 손’이라 불리는 이유다. 알고리즘은 어떤 산업에서 어떤 원리로 작동하며 우리에게 영향을 미치고 있을까.

검색 원하는 정보 순서대로 나열

▶구글, 검색 품질 평가자 수천 명 동원

알고리즘이 가장 먼저 광범위하게 활용된 분야는 단연 ‘검색 엔진’이다. 웹상 정보는 양이 너무 방대해 정보를 정렬하지 않으면 이용자가 원하는 것을 찾기란 불가능에 가깝다. 이용자 니즈에 가장 부합하는 ‘적합도(관련성)’를 판단해 정렬(노출) 순위를 결정하는 것이 검색 알고리즘 경쟁력의 핵심이다.

세계 1위 검색 엔진 구글은 여러 개의 알고리즘으로 구성된 ‘구글 랭킹 시스템’을 이용한다.

먼저 적합도 높은 검색 결과를 신속하게 제공하기 위해 수천억 개의 웹페이지를 검색 색인에 정리해둔다. 이어 가장 유용한 정보를 찾기 위해 검색어의 단어, 페이지 관련성과 유용성, 출처의 전문성, 사용자 위치와 설정 같은 다양한 요소를 검토한다. 각 요소에 적용되는 가중치는 검색어의 성격에 따라 달라진다. 예를 들어 시의성이 중요한 시사 관련 검색어의 경우 ‘사전적 정의’보다는 최신 콘텐츠인지를 더 중시한다. 구글 측은 자사 홈페이지를 통해 “검색 알고리즘이 높은 수준의 관련성과 품질 기준을 충족할 수 있도록 엄격한 절차를 정립해 실시간 테스트를 진행한다. 또 전 세계의 숙련된 외부 검색 품질 평가자 수천 명을 동원하고 있다”고 밝혔다.

정확한 답변을 제공하려면 검색 엔진이 검색어의 의미와 맥락을 이해하는 것이 중요하다. 동음이의어라면 특히 그렇다. 가령 검색창에 ‘전구를 바꾸는 방법’ ‘우체국은 외환을 바꿔줄까’ ‘노트북 밝기를 바꾸는 방법’이라고 입력할 경우, 여기서 ‘바꾸다’는 각각 ‘교체하다’ ‘교환하다’ ‘조절하다’의 의미로 해석해야 정확한 검색 결과를 보여줄 수 있다. 검색어에서 ‘새로운 콘텐츠’를 찾고 있는지 분석하는 것도 중요하다. 인기 급상승 키워드를 검색하면 최신 알고리즘에서 ‘오래된 페이지보다 최신 정보가 더 유용하다’는 신호로 해석한다. 가령 ‘미식축구(NFL) 점수’ 또는 ‘마이크로소프트 매출’ 등을 검색하면 최신 정보가 표시되는 식이다.

구글 측은 “사용자가 어떤 카테고리 정보를 찾으려 하는지 파악하기 위해 노력한다. ‘검색어가 구체적인가, 아니면 광범위한가?’ ‘단순 검색 이상의 정보가 필요하다는 것을 알려주는 ‘리뷰’ ‘사진’ ‘영업 시간’ 등의 단어가 있는가?’ ‘당일 게재된 콘텐츠를 원한다는 것을 암시하는 인기 키워드를 검색하고 있는가?’ ‘주변 업체나 주변 지역의 정보를 찾고 있는가?’ 등의 사항을 고려한다”고 설명한다.

네이버도 검색 랭킹 알고리즘을 활용한다. 가령 ‘김치’를 검색했다면 김치라는 단어가 포함된 모든 문서를 펼쳐놓고, 현재 시점에서 김치를 검색한 사람이 찾는 문서일 가능성이 높은 순서대로 1등부터 꼴등까지 줄을 세운다. 문서에서 파악할 수 있는 요소를 바탕으로 각각의 조건별 가중치를 부여하고 그렇게 계산된 값을 기준으로 실시간에 가깝게 순서를 정한다. 네이버 측은 “만약 이런 검색 모델이 없다면 ‘시장에 갔다가 김치 가게를 지나갔다’는 글이 그저 최신 글이라는 이유로 김치를 검색한 결과에 가장 먼저 노출되는 경우가 생길 수 있다. 관련도 순으로 정렬하면 ‘김장 김치 담그는 나만의 비법 공개’ 글이 최상단에 노출된다”고 설명했다.

만약 수입 김치에서 대장균이 검출됐다는 뉴스가 화제인 상황이라면 검색 결과는 또 달라진다. 김치 만드는 방법보다는 대장균 검출과 관련된 내용의 블로그 포스트가 검색 결과에 먼저 나올 수 있다. 관련도에 ‘시의성’이라는 조건값을 추가로 적용한 결과다. 네이버 측은 “이처럼 검색 이용자 요구에 적합한 검색 결과를 제공하기 위해서는 어떤 문서가 더 적합한 문서인지 판단할 수 있는 단서가 필요하다. 검색 랭킹에 활용할 수 있는 유의미한 단서가 많을수록 이용자 요구에 더 적합한 검색 결과를 제공할 수 있다. 문서와 검색어 간의 유사성, 문서 자체의 품질, 이용자 선호도 등을 고려해 적합도를 판단하고 있다”고 전했다.
 

콘텐츠 취향을 저격하라

▶넷플릭스, 영상 분류 전담 ‘태거’ 활약

유튜브, 넷플릭스, 틱톡 등 콘텐츠 스트리밍 서비스는 이용자가 선호할 만한 콘텐츠를 화면 위쪽에 배치하기 위해 알고리즘을 활용한다. 각 사 알고리즘이 작동하는 방식은 큰 틀에서는 비슷하지만 조금씩 차이가 있다.

유튜브와 틱톡은 이용자 개인의 취향이 가장 중요한 요소다. 예를 들어 틱톡은 이용자가 가입할 때 관심이 많은 카테고리를 선택하도록 한 뒤 여기에 맞는 영상을 보여준다. 이후 어떤 콘텐츠를 보고 ‘좋아요’ 버튼을 눌렀는지, 어떤 영상을 반복 시청하거나 다른 사람과 공유했는지 등을 토대로 취향에 맞는 게시물을 선정한다. 소비자가 구독하는 계정, 게시글, 작성 내용, 검색 내용, 언어·국가 설정 등도 고려한다. 만약 소비자가 가입할 때 관심 카테고리를 선택하지 않았다면 우선 플랫폼 내에서 전반적으로 인기가 많은 영상을 보여준다. 이후 시청자가 어떤 동영상에 적극적인 반응을 보이는지 모니터링해 화면 위쪽에 배치될 콘텐츠를 정한다.

소비자가 어떤 영상을 싫어하는지도 알고리즘에 활용되는 중요한 정보다. 틱톡이 추천하는 콘텐츠가 마음에 들지 않는다면 사용자는 영상을 길게 터치해 관심이 없다는 의사를 표현할 수 있다. 특정 크리에이터가 만든 게시물이나 특정 음원이 들어간 콘텐츠를 차단하는 것도 가능하다. 틱톡 관계자는 “적극적으로 피드백을 보낼수록 입맛에 맞는 영상을 추천받을 확률이 높다”고 설명했다.

유튜브 검색·추천 알고리즘 역시 비슷한 방식으로 작동한다. 이용자가 본 영상과 보지 않은 영상, ‘좋아요’ ‘싫어요’ ‘관심 없음’ 등 콘텐츠를 감상한 뒤 보인 반응 등을 토대로 우선적으로 보여줄 영상을 선정한다.

넷플릭스는 특정 사용자 개인만의 취향뿐 아니라 취향이 비슷한 다른 사용자가 어떤 콘텐츠를 선호하는지도 감안한다. 좋아하는 콘텐츠가 비슷한 회원을 한 그룹으로 묶고 이 집단에 속하는 사용자들이 선호하는 콘텐츠 중 개인 취향과 가장 잘 맞는 영상을 추천하는 방식이다. 나이·국적 등이 전혀 다른 회원이 한 그룹으로 묶일 수도 있고 한 이용자가 여러 가지 그룹에 속할 수도 있다.

‘태거(tagger)’라는 직군을 고용한다는 점도 눈길을 끈다. 태거는 넷플릭스 콘텐츠를 감상하고 ‘꼬리표(tag)’를 다는 역할을 한다. 장르와 줄거리, 분위기, 등장 인물 특성 등을 감안해 콘텐츠를 약 5만 종류의 카테고리로 잘게 쪼갠다. 카테고리는 ‘액션’ ‘코미디’처럼 단순한 항목이 아니라 ‘주도적인 여성이 등장하는 TV 프로그램’처럼 상당히 구체적이다. 콘텐츠를 최대한 세부적으로 분류해 추천 정확도를 끌어올리는 것이다.

쇼핑 필요한 상품 알아서 추천

▶넷플릭스처럼…‘검색창 없는 쇼핑몰’

온라인 쇼핑몰에서 쓰는 알고리즘은 고객이 관심을 보일 만한 제품을 추천하는 용도로 활용된다.

이커머스 업체들이 알고리즘 추천 시스템을 이용하는 가장 큰 이유는 효율성이다. 카카오커머스 관계자는 “쇼핑 AI 알고리즘은 사용자가 원하는 상품을 빠르게 찾고 다양한 상품을 발견할 수 있도록 돕는다”고 설명했다. 온라인 쇼핑몰에는 수천 가지 품목, 수억 개에 달하는 상품이 ‘진열’돼 있다. 소비자가 상품을 찾고자 일일이 검색하면 시간이 오래 걸릴 수밖에 없다. 쇼핑 알고리즘은 이 과정에 소요되는 시간을 줄여준다. 이용 패턴을 분석해 선호할 만한 물건을 추려 원하는 상품을 빠르게 찾도록 돕는다. 판매자가 자사 상품에 관심이 많은 소비자에게 제품을 보여줄 수 있다는 장점도 갖췄다. 상품 구입 확률이 높은 ‘타깃’ 소비자를 가려내 집중 광고를 하기도 한다. 11번가 관계자는 “소비자의 이전 검색어, 검색 빈도, 구매 이력, 시청 시간, 나이, 검색 키워드와 상품의 매칭 여부, 클릭·주문·거래액 등 고객의 행적을 종합적으로 분석해 순위를 매겨 노출한다”고 설명했다. 카카오선물하기 같이 다른 사람에게 상품을 전달하는 경우도 비슷한 원리가 적용된다.

쇼핑 분야는 알고리즘 추천이 구매와 직결될 수 있다. 때문에 특정 업체가 유리하도록 조작하는 것 아니냐는 공정성 논란이 끊이지 않는다.

단, 이커머스 업계는 철저히 고객 개개인 데이터를 기반으로 분석하기 때문에 특정 업체만 ‘밀어주는’ 형태의 조작은 힘들다고 입을 모은다.

“알고리즘은 데이터를 기반으로 설계하는 것이 원칙이다. 예를 들면 고객이 클릭을 많이 한 상품, 구매를 많이 한 상품, 리뷰가 많이 작성된 상품들이 검색 결과 상단에 노출된다. 외부 개입 없이 모두 사용자의 행동 로그(행적) 데이터를 바탕으로 한 결과값으로 상품을 추천한다.” 11번가 관계자의 설명이다.

쇼핑 알고리즘의 최종 목적은 ‘검색창 없는 쇼핑몰’이다. 고객이 원하는 상품을 사전에 정확히 파악하고 추천해 검색할 필요조차 없는 시스템을 만드는 것. 11번가는 사용자의 검색 과정을 최소화하는 ‘주문 노력 최소화 상거래(Zero Effort Commerce)’를 최종 목표로 알고리즘을 개발한다. 롯데ON 역시 조영제 대표가 “넷플릭스처럼 검색 없이 고객이 원하는 물건을 바로 알려주는 쇼핑몰이 궁극적인 목표”라고 밝힌 바 있다.
 

투자 상품 분석부터 운용까지

▶AI 알고리즘 펀드 최고 수익률 23.5%

금융투자 업계에서는 알고리즘을 크게 세 가지 영역에서 활용한다. 투자자문, 자산운용, 상품운용이다.

투자자문 부문에서는 알고리즘이 투자자 성향에 맞는 투자 포트폴리오를 제안하는 역할을 한다. 이를테면 저위험 저수익 추구형 투자자에게는 채권형 펀드 위주 포트폴리오를, 고위험 고수익 추구형 투자자에게는 주식형 펀드 위주 포트폴리오를 제안하는 식이다. 신한금융투자의 ‘취향 저격 종목 발굴’이나 삼성증권의 ‘주식 선호 분석’처럼 고객이 관심을 가질 만한 주식을 추천해주는 서비스도 있다.

자산운용 부문에서 활용되는 알고리즘은 단순히 포트폴리오를 제안하는 것을 넘어서 금융상품 매매, 자산 포트폴리오 리밸런싱(재구성) 등을 직접 담당한다. 소비자가 직접 상품을 고르고 매매하지 않아도 알고리즘이 알아서 자산을 굴려준다. 핀트, 쿼터백, 파운트 등은 이런 서비스를 제공하는 대표 핀테크 앱이다.

투자자문·자산운용 부문에서 쓰는 알고리즘은 다양한 시장 지표를 분석해 적절한 상품을 추린다. 투자하는 국가의 경제성장률과 전망치, 금리·환율 등 거시 지표, 잠재 투자 대상이 속한 시장 내 주요 원재료 가격, 업종 지수 등이 대표적인 분석 지표다.

단, 업체·상품별 구체적인 알고리즘 작동 방식이나 요소별 가중치, 업데이트 주기 등은 제각각이다. 예를 들어 하나금융투자가 제공하는 ‘하나더원AI스퀘어랩’은 시장 지표와 거시 지표가 각각 절반씩 비중을 차지한다. 하나금융투자 관계자는 “1년 내외 주기로 알고리즘을 업데이트할 계획”이라고 설명했다.

신한금융투자 종목 추천 서비스는 고객이 자사 앱에서 조회했거나 사고판 주식 등을 분석해 종목을 추린다. 특히 최근 3개월 매매 이력에 높은 가중치를 부여한다. 삼성증권 주식선호분석 서비스는 고객의 1년간 투자 패턴, 투자 성향이 비슷한 다른 고객이 선호하는 종목, 주가 흐름 등을 토대로 유망 종목을 추린 뒤 주가가 뛸 확률이 가장 높다고 판단되는 주식을 선정한다.

펀드나 ETF, EMP 등 개별 상품을 운용하는 데 알고리즘이 활용되는 경우도 많다. 에프앤가이드에 따르면 국내에서 운용되는 펀드 중 인공지능 알고리즘이 쓰이는 ‘로보어드바이저 펀드’는 18개에 달한다(설정액 10억원 이상). 최근 돋보이는 성과를 낸 상품은 ‘유진챔피언뉴이코노미AI4.0’과 ‘키움쿼터백글로벌EMP로보어드바이저’. 각각 6개월 수익률 23.47%, 19.5%를 기록했다(10월 27일 기준). 유진챔피언뉴이코노미AI4.0은 4차 산업혁명 관련 기업에 주로 투자한다. 미국 국무부와 연방은행 등 공공기관과 민관 금융기관이 발표하는 데이터를 활용해 편입 종목을 고른다.

키움쿼터백글로벌EMP로보어드바이저는 키움자산운용과 쿼터백자산운용이 함께 만들었다. 기업 실적 개선 속도, 기업 이익 추정치 등을 분석해 국내외 ETF에 자산을 분산한다. 1개월에 한 번씩 포트폴리오를 조정한다.

교육·의료·채용 정확성에 방점

▶점수 예측, 병상 배정…5초 안에 뚝딱

교육·의료·채용 등 새로운 분야에서도 알고리즘이 활용되는 추세다. 이들은 다른 분야에 비해 상대적으로 공익적, 비상업적 목적이 중요해 효율성보다는 ‘정확성’에 초점을 맞추는 것이 특징이다.

교육 분야는 ‘실력 측정’에 알고리즘을 활용한다. 사용자가 문제를 풀고 나면 점수·소요 시간·선택 답변 등을 분석해 어느 정도 실력인지 가늠하는 방식이다. AI 교육업체 뤼이드가 개발한 ‘산타토익’이 대표 사례다. 토익 문제 6개를 풀고 나면 사용자가 실제 토익 시험에서 몇 점을 받을 것으로 예상되는지 알려준다. 이후 읽기·쓰기·듣기 중 부족한 과목을 짚은 뒤 해당 과목을 집중 준비할 수 있도록 돕는다.

뤼이드 관계자는 “6문항을 풀고 나면 문제풀이 데이터를 바탕으로 점수를 예측한다. 정확도는 90% 이상이다. 이후 알고리즘이 문제풀이 시간, 학습자료 시청 여부를 더해 학습 수준까지 진단한다”고 설명했다.

의료 현장에서는 병상 배정·의료 자원 활용에 알고리즘 원리를 활용한다. 한림대성심병원 ‘커맨드센터’는 알고리즘을 활용한 병상 배정 시스템이다. 환자 질병, 현재 상태, 그리고 병원에 남은 병상 특성 등을 분석해 최적의 병상을 배정한다. 배정까지 걸리는 시간은 5초가 채 걸리지 않는다. 한림대성심병원 측은 과거 데이터와 현재 상황을 모두 고려한 배정이 가능하다는 게 알고리즘 시스템의 장점이라고 설명한다.

“코로나19 대유행같이 특수 상황이 발생하면 병원 이용 환자의 수와 패턴이 크게 달라진다. 과거 데이터만 기반으로 하는 AI 기반 시스템으로는 한계가 크다. 과거 자료는 물론 환자 특성·병원 자원 배치 정책 등 현재 상황까지 반영 가능한 알고리즘 병상 배정이 필요한 이유다.”

채용 시장에서도 알고리즘이 각광받는다. 알고리즘을 쓰면 지원자 외모나 학연 등 업무 능력과 관계없는 요소에 휩쓸리지 않고 공정하게 인재를 뽑을 수 있다는 인식이 확산되면서다. 마이다스아이티가 개발한 AI 면접 시스템은 알고리즘을 이용해 면접자의 특성을 분석한다. 마이다스아이티 관계자는 “문제를 푸는 과정에서 지원자가 어떤 자극을 느끼는지 학습한다. 자극 패턴과 반응이 어떻게 나타났는가를 확인한 후 어느 직군과 직무에 적합한지 알려준다”고 귀띔했다.

일각에서는 AI 채용 알고리즘의 공정성에 의문을 표하기도 한다. 부정적인 시각을 제기하는 측은 아마존을 사례로 들며 알고리즘을 믿을 수 없다고 주장한다. 2018년 아마존은 채용 시스템이 여성을 차별했던 것으로 드러나면서 AI 채용 시스템을 폐기한 바 있다. 다만 국내 업체는 공정성 논란에 대해 문제가 없다고 본다. 국내의 경우 면접 당시 반응과 풀이 과정만 객관적으로 보기 때문에 지원자의 개인정보까지 들여다본 아마존과는 다르다는 설명이다.

[노승욱·김기진·반진욱 기자]

[본 기사는 매경이코노미 제2082호 (2020.11.04~11.10일자) 기사입니다]