공지사항

[2018 서울미래컨퍼런스] “40만개 기사 1시간 만에 크롤링… 2020년 빅데이터로 냉·난방”
등록일 2018.10.22
관련링크 http://www.seoul.co.kr/news/newsView.php?id=20181019005004
2015~2018년 언론 기사 크롤링 시연 
연령별·성별 관심 뉴스 한번에 보여줘 
“남북관계에서도 빅데이터 활용 가능”
서진수 데이터앤피플 대표

▲ 서진수 데이터앤피플 대표

4개로 분할된 커다란 화면에 작은 글씨로 된 수백개의 기사 제목들이 쉴 새 없이 아래서 위로 넘어갔다. 청중들이 궁금한 표정으로 화면을 응시하자 강단에 올라선 서진수 데이터앤피플 대표는 “여러분은 지금 약 40만개의 기사를 크롤링하고 있는 모습을 보고 계신다”면서 “빅데이터 기술의 발전은 과거 사람들이 일일이 손으로 찾아서 한다면 불가능할 수도 있는 일을 1시간 만에 가능하도록 만들었다”고 말했다. 데이터 분석 업체인 ‘데이터앤피플’과 ‘컨시어지소프트’ 대표를 맡고 있는 서 대표는 데이터 분석 분야에서 10년 이상 종사한 빅데이터 전문가다.
데이터분석 업체 데이터앤피플이 2015~2018년 서울신문을 포함한 대한민국 주요 언론사 기사 38만 6805건을 독자의 검색어, 클릭 수 등을 통해 빅데이터로 분석한 모습. 40대 남녀 독자가 연도별로 관심이 많이 보인 단어를 그래픽을 통해 확인할 수 있다. 같은 나이대임에도 연도별로 성별에 따른 관심도가 확연히 다른점이 눈에 띈다. 서진수 데이터앤피플 대표는 “빅데이터의 강점은 많은 사람들의 개별적인 관심도나 취향 등을 이러한 데이터를 기반으로 분석해 낼 수 있다는 것”이라고 말했다.  데이터앤피플 제공

▲ 데이터분석 업체 데이터앤피플이 2015~2018년 서울신문을 포함한 대한민국 주요 언론사 기사 38만 6805건을 독자의 검색어, 클릭 수 등을 통해 빅데이터로 분석한 모습. 40대 남녀 독자가 연도별로 관심이 많이 보인 단어를 그래픽을 통해 확인할 수 있다. 같은 나이대임에도 연도별로 성별에 따른 관심도가 확연히 다른점이 눈에 띈다. 서진수 데이터앤피플 대표는 “빅데이터의 강점은 많은 사람들의 개별적인 관심도나 취향 등을 이러한 데이터를 기반으로 분석해 낼 수 있다는 것”이라고 말했다. 
데이터앤피플 제공

서 대표는 18일 서울미래컨퍼런스에서 ‘빅데이터로 보는 대한민국 2020’이라는 주제로 빅데이터가 우리 실생활에 얼마나 가까이 와 있는지, 또 미래엔 어떻게 실생활에 접목될 수 있는지를 알기 쉽게 설명했다. 크롤링이란 인터넷에 흩어져 있는 문서나 사진, 동영상 등 다양한 형태의 데이터를 수집하는 것을 의미한다.

이날 서 대표는 막연하게 “빅데이터가 미래를 바꿀 것”이라고 강조하는 대신 빅데이터가 실제 우리 생활을 어떻게 바꿀 수 있는지 설명하는 데 주력했다. 서 대표는 2015~2018년 서울신문을 포함한 우리나라 주요 언론사들이 쓴 기사 38만 6805건의 분야별 기사를 크롤링하는 작업을 거쳐 연령대·성별에 따라 각각 어떤 뉴스에 관심을 많이 보였는지 분석한 데이터를 예로 제시했다. 서 대표 분석에 따르면 2015년 40대 남성은 삼성과 현대차, 애플 등 기업과 관련한 뉴스에 관심을 보인 반면, 40대 여성은 아동학대와 어린이, 수능 등에 더 높은 관심을 나타냈다.

서 대표는 “같은 시대에 살고 있지만 정보를 취득하는 사람을 어떻게 분류하느냐에 따라 선호하는 정보가 달라지는 것을 알 수 있다”면서 “예를 들어 박근혜-최순실 게이트가 전 국민의 가장 큰 이슈였던 2016년 40대 남성이 가장 많이 검색한 단어는 ‘박근혜 대통령’, 40대 여성이 가장 높은 관심을 보인 단어는 ‘최순실’이었다. 같은 이슈도 정보 수용자에 따라 다르게 받아들여진다는 뜻”이라고 말했다.

서 대표는 빅데이터 기술 발전으로 취향을 개별적으로 파악할 수 있게 되면서 실생활의 편의성은 점점 커질 것이라고 설명했다. “뉴스만 해도 이미 주요 포털사이트는 내가 기존에 클릭했던 뉴스 데이터를 바탕으로 내가 보고 싶어 할 만한 ‘비슷하지만 새로운’ 뉴스를 찾아서 보여준다”고 말했다. 쇼핑에서도 빅데이터 기술은 다양하게 활용된다. 서 대표는 “지금은 귀갓길에 외부에서 미리 집 안의 냉난방을 켤 수 있는 기술이 나오고 있지만 2020년에는 사용자의 귀갓길 패턴과 날씨 등을 빅데이터로 분석해 집에 도착하기 전에 인공지능(AI)이 알아서 냉난방을 켜주는 시대가 올 것”이라고 예측했다.

빅데이터 기술은 생활 편의뿐 아니라 미래 예측에서도 주요하게 쓰일 수 있다. 서 대표는 “정확히 예측하기는 쉽지 않겠지만 현재 가장 관심이 높은 남북관계에서도 빅데이터의 활용이 가능하다”면서 “예컨대 과거 북한과 비슷한 규모의 경제 수준과 사회 분위기의 국가 사례들을 빅데이터로 분석한 결과를 대북관계 등에 참고할 수도 있을 것”이라고 말했다.

결국 빅데이터 기술의 발전은 일부 기술개발자들이 아닌 우리 같은 사람들이 모두 모여 이룰 수 있다고 서 대표는 강조했다. 서 대표는 “스마트폰이나 인터넷은 개발자의 노력도 있었지만 수많은 사용자들이 신기술을 직접 접하면서 단점을 보완하는 방식으로 발전해 왔다”면서 “2020년의 대한민국을 바꿀 수 있는 빅데이터 기술은 바로 여러분이 함께 만들어 가는 것”이라고 강조했다.

박재홍 기자 maeno@seoul.co.kr

 

[2018 서울미래컨퍼런스] “인구 감소 대비한다면 위기 아닌 기회”
[2018 서울미래컨퍼런스] 650명 참석 성황… 블록체인 세션은 녹음하며 ‘열공’
Top