Big Data vs Thick Data ⓒTriciawang

빅데이터의 맥락에서 민족지학적 데이터를 포지셔닝하는 개념적 단어가 부족했던 것을 인지한 후 1년 동안 질적, 양적 연구에 대한 통합적 접근법을 옹호하기 위해 화자는 "심층적 데이터 (THICK DATA)"*라는 용어를 사용하기 시작했다. 심층적 데이터는 사람들의 감정, 이야기, 그리고 그들 세계의 모델을 밝혀내는 질적인 민족학적 연구 방법을 사용하여 빛을 발하는 데이터로 수량화하기 어려운 ‘끈적끈적한 것’으로 비유되기도 한다. Thick Data* 는 작은 표본 크기이지만, 이를 통해 믿을 수 없을 정도의 깊은 의미와 인사이트를 얻게 된다. Thick Data는 캡처, 저장, 분석과 관련된 신기술이 포함된 대규모의 양적 데이터를 의미하는 빅데이터와 대척점에 있다. 빅 데이터에서 의미를 추출하려면 오류제거, 표준화, 정의하기, 클러스터링과 같은 프로세스를 거쳐야만 하는데, 이 프로세스를 거치면서 컨텍스트, 의미 및 스토리의 데이터 세트가 함께 제거된다. Thick Data는 Big Data를 사용가능하게 만드는 프로세스에서 발생할 수 밖에 없는 컨텍스트, 의미, 스토리의 손실로부터 빅 데이터를 구할 수 있다.

* Thick Data: 클리포드 게르츠 (Clifford Geertz)가 문화해석에 대해 개발한 인류학적 접근방식에서 유래한 표현으로, 설문조사, 포커스그룹, 인터뷰, 저널, 비디오 등을 포함한 복잡한 범위의 1차, 2차 연구접근방식에 관한 것이다.

빅 데이터를 분석할 때 심층적 데이터 (Thick Data) 를 활용, 통합하면 주어진 데이터에 대해 보다 완벽한 컨텍스트를 제공, 이해할 수 있다. 기업이 마켓을 이해하기위한 완전한 그림을 만들기 위해서는 각각 다양한 규모와 깊이에서 서로 다른 유형의 통찰력 생산을 필요로 한다. 이를 위해 빅 데이터와 심층적 데이터가 모두 필요한 것이다. 빅데이터는 대규모의 패턴 파악이 목적이므로, 엄청난 수의 N이 필요한 반면, 심층적 데이터는 인간 중심의 패턴을 심층적으로 보는 것이 목적이므로 작은 N이 필요하다. 심층적 데이터는 인간의 학습에 의존하는 반면, 빅 데이터는 기계 학습에 의존하며, Thick Data는 데이터 포인트 간의 연결에 대한 사회적 맥락을 드러내는 반면, 빅 데이터는 정량화된 특정 범위의 데이터 포인트에 대한 통찰력을 보여준다. Thick Data 기법은 축소할 수 없는 복잡성을 수용하는 반면, 빅 데이터 기법은 패턴을 식별하기 위해 변수를 분리 제거한다. 이러한 이유로 심층적 데이터는 규모를 잃고, 빅 데이터는 해상도를 잃는다.

Big Data vs Thick Data ⓒTriciawang

“More numbers do not necessarily produce

more insights”

‘빅 데이터(Big Data)’ 개념이 주류가 되면서 많은 실무자와 전문가들이 조직에 균형잡힌 방식으로 빅 데이터를 활용할 것을 경고하고있다. Genevieve Bell에서 Kate Crawford, Danah boyd에 이르는 많은 정성적 데이터 연구자들은 빅 데이터의 한계에 대한 에세이 (한 개인으로서의 빅데이터, 알고리즘적 환상으로서의 빅데이터, 데이터 근본주의로서 빅데이터, 프라이버시 관점에서 빅데이터) 를 작성했다. 언론인들도 이러한 경고에 가세했다. Caribou Honig은 작은 수의 데이터를 방어하고, Gary Marcus는 상관관계를 추론하는 것의 한계에 대해 경고했으며, Samuel Arbesman은 우리에게 ‘Long Data’로 옮겨갈 것을 강조했다. Jenna Burrell은 빅데이터를 이해하기위한 민족학자 용 가이드를 제작했다. 기업의 빅데이터 활용에 대한 경고로 Steven Maxwell은 조직 내부 빅 데이터는 위험할 수 있다고 주장한다. 스티븐 맥스웰은 ‘기업에서 빅데이터 분석을 통해 발굴할 수 있는 비즈니스 통찰력의 질보다 양적 측면에 사로잡혀 있다’고 지적한다. 큰 숫자가 반드시 더 많은 통찰력을 제공하는 것을 보장하지 않는다. 또 다른 문제로 빅데이터가 정성적 결과에 막대한 가치를 부여하는 반면, 정성적 결과의 중요성을 평가절하는 경향이 있다는 점이다. 이는 통계적으로 정규화되고 표준화된 데이터가 질적 데이터보다 더 유용하고 객관적이라는 위험한 발상으로 이어져 질적 데이터가 작은 데이터라는 개념을 강화한다.

Reference: Wang, T. (2016) Why Big Data Needs Thick Data. Available at: https://medium.com/ethnography-matters/why-big-data-needs-thick-data-b4b3e75e3d7