복잡계과학(Complexity Theory)

몇 년 전부터 complexity theory 열풍이 불어서 물리학, 생물학, 화학, computer science, 사회학은 물론 심지어는 경제학, 마케팅, 컨설팅 분야에서까지 난리다.

이머전스(Emergence, 미래와 진화의 열쇠) - 스티븐 존스
링크(Linked, 21세기를 지배하는 네트워크 과학) - 알버트 라즐로 바라바시
넥서스(Nexus, 여섯 개의 고리로 읽는 세상) - 마크 뷰캐넌

이런 좋은 책들이 많이 나와있다.

기본적으로 이런 책들이 주장하는 바는 다음과 같다.

. 환원주의의 한계
환원주의는 세상을 개별원소 단위까지 쪼갤 수 있고 그것만 연구하면 모든 세상이 풀린다는 방법론이다. 우리가 대학 초반까지 물리학 교과서에서 배우는 모든 내용은 이것을 기초로 하고 있다. 원자론과 뉴턴의 고전역학만 알면 모든 것이 설명될 것으로 기대한다.
하지만 실제로 세상은 기본 원소에는 없던 성질이 그것들이 뭉쳐짐에 따라 관계와 양에 의한 새로운 특성들이 나타나기 마련이다. 그래서 전체주의가 대두되기 시작하였다.
예를 들어 point(점)에는 위치라는 특성만 있지만 점들이 모인 선에는 점에는 없는 길이, 방향, 곡률 같은 새로운 특성들이 나타난다. 또한 점들이 공간에 놓인 관계에 의해 밀도라는 개념도 생겨난다.

. 세상은 network으로 되어 있다.
각 요소를 node로 놓고 각 요소의 관계를 like로 하는 graph를 그릴 수 있고 그 graph는 관계의 연관도(친밀도, 연관도, 유사도, 교류, 영향력) 등에 따라 weight를 가진 weighted directed graph로 추상화 할 수 있다.

. 세상에는 중요한 node가 따로 있다.
환원주의처럼 모든 node는 동등한 것이 아니라 각자의 관계에 따라 중요한 노드가 따로 존재한다. Hub, authority, broker 등 다양한 특성을 가진 중요한 node들이 있다. 특히 hub의 경우는 그것이 없어지면 network이 붕괴될 수도 있다.

. History
Network에서는 역사가 중요하다. 시간이 흐름에 따라 네트웍은 발전하게 된다. 과거의 관계에 accumulate되면서 새로운 관계가 형성된다. 따라서 오래된 node가 유리하다.

. 느슨한 결합
강한 결합보다 느슨한 결합이 더 나을 때가 있다. 느슨한 결합은 failure에 강하고 새로운 정보를 얻기가 쉬워서 innovation이 쉽다.

. 세상은 질서가 있고 생각보다 좁다.
무질서해 보이는 세상에도 나름대로의 질서가 있고 생각만큼 그리 멀지 않다. 어떤 인터넷 노드와 인간이라도 몇 단계만 거치면 거의 이어지게 되어있다.

나도 검색엔진을 만들면서 관심을 가지게 되었는 데, 연구를 위해서는 몇 가지 제약이 있다.

. 데이터
일단 데이터가 매우 많이 필요하다. 매우 흥미롭고 응용범위가 넓어보이지만 데이터를 얻기 쉽지 않다. 정보기관(NSA, CIA), 검색엔진회사, ISP, IDC 등 많은 자료를 가지고 있는 곳에서 그것들을 공개적으로 내놓지 않는 다. 그런 기관들에서 일하지 않는 이상 이 분야를 연구하고 싶은 학자라도 충분한 자료를 얻을 수 없다.
(나같은 사람이 혼자서 아무것도 할 수가 없다.)

. 사회과학과 자연과학의 결합
특히나 이런 데이터들은 시뮬레이션을 할 수도 없고 랜덤하게 생성할 수도 없다. 실세상에 살아있는 데이터만이 의미가 있다. 또한 실세상에 실험을 하기도 쉽지 않다. 그런 면에서 자연과학이면서도 사회과학을 많이 닮았다.
데이터를 얻고 실험을 위해서는 학제적인 연구와 엄청나게 큰 조직과 개인의 협력이 필요하다.
(전혀 모르는 자발적인 사람들의 협력 혹은 약간의 시간을 내어줄 같은 의도를 가진 최소한 100만명 쯤의 사람이 있어야 하지 않을 까?)

. 프로세싱 시간
데이터의 양이 엄청 많은 만큼 계산도 쉽지 않다. Parallel하게 계산이 가능하다면 매우 단시간(몇 초 이내)에 계산이 끝날 수도 있는 데, 지금의 PC같은 컴퓨터로 계산하려면 꽤 오랜 시간이 걸린다.
(자료에 따라 몇 시간에서 몇 개월이 걸린다. 데이터의 크기도 만만치 않다. 최소한 4기가가 넘어서 메모리에 올리기도 쉽지 않다.)

. 유용성 - 의미 있는 결과 얻기
과연 뻔한 결과가 아닌 의미를 찾아낼 수 있을 까?
기존의 사회과학과 같은 결과를 다른 방식으로 재발견한 것과는 달라야 한다.
그것을 유용하게 활용할 수 있는 곳을 찾을 수 있을 까?
유용성은 그 결과를 도출하고 새로운 도구를 구현하는 사람들 뿐만 아니라 그것을 활용하는 사용자에게도 달려있다.