자체 기술로 개발한 클러스터링 엔진
클럼엘은 클러스터링 엔진을 자체 기술로 만들었습니다. 정형 데이터는 물론 비정형 데이터도 가리지 않고 클러스터링을 할 수 있습니다.
알고리즘부터 직접 개발
클럼엘의 클러스터링 엔진 클럼잇(Clumit)은 사용 가능한 타 오픈소스 기반 클러스터링 엔진과는 비교할 수 없을 정도로 빠르고 유연합니다. 이는 클러스터링의 대표적인 알고리즘을 자체 기술로 구현했기 때문에 가능한 것입니다.
실시간 트래픽도 클러스터링하는 고성능 엔진
패턴 인식, 계층, DBSCAN, OPTICS 등 주요 클러스터링 알고리즘을 직접 구현하였습니다. 가장 중요한 도전은 실제 트래픽 환경에서 사용할 수 있을 정도로 높은 성능을 내느냐 하는 것이었습니다. 클럼엘은 5년 이상 각고의 노력을 쏟아 부었습니다. 마침내 놀라울 정도로 향상된 성능을 자랑하는 초고속 클러스터링 엔진 클럼잇(Clumit)을 만들었습니다.
머신러닝의 연산값은 숫자라서 문자 지식과 비교 불가능한데…
비지도 학습의 결과물에 라벨을 붙이는 것은 쉬운 일이 아닙니다. 애초에 지도 학습으로 사용할 데이터가 부족한 상황인 탓에 비지도 학습을 선택하였으므로 라벨링에 사용할 과거 데이터가 부족한 것은 당연합니다. 더구나 과거 데이터와 비지도 학습의 결과를 상호 비교하는 것은 굉장히 어렵습니다. 왜냐하면 지도 학습이든 비지도 학습이든 머신러닝의 연산값들은 사람에겐 의미가 없는 숫자에 불과하기 때문입니다.
머신러닝의 숫자를 비교 가능한 문자 패턴인 정규표현식으로 변환하여 라벨 찾아주기
클럼엘은 혁신적인 방법을 개발하였습니다. 클러스터에 속한 데이터들의 공통 패턴을 기술하는 정규표현식을 실시간으로 만들어 사용하는 것입니다. 정규표현식은 숫자가 아니라 패턴을 기술한 문자이므로, 기존 문자 데이터와 비교가 가능합니다. 정규표현식을 매개로 하여 머신러닝의 연산값과 기존 지식을 비교하고, 기존 지식에 포함되어 있는 라벨 중에서 유사한 것을 찾아 냅니다.
실시간 정규표현식 생성
데이터로부터 정규표현식을 실시간으로 만드는 기술은 클럼엘의 특별한 원천 기술입니다. 당연하게도 특허 기술입니다.
빅데이터 플랫폼
인공 지능 생태계는 아직 어리다
인공 지능을 활용하기에는 생태계가 아직 미성숙한 경우가 많습니다. 클럼엘이 원천 기술 기반으로 자체 클러스터링 엔진을 만들어 비지도 학습 인공 지능을 개척하다 보니, 관련 생태계가 아직 충분히 뒷받침되지 않은 상황에 계속 맞닥뜨렸습니다.
비지도 학습 클러스터링의 생태계가 필요하다
데이터를 일단 모으고 한 번 학습시키고 나서 일정 시간 후에 데이터를 또 모아서 학습시키는 지도 학습과 비교하여 비지도 학습은 많이 다릅니다. 연속적인 데이터에 대해서도 계속 클러스터링을 할 수 있어야 해서 클러스터링 엔진에 데이터를 실시간으로 제공하는 기능이 필요하고, 더구나 보안 영역에서는 대용량 데이터도 감당할 수 있어야 합니다.
따라서, 대용량 데이터, 즉 빅데이터의 전달, 저장, 전송, 관리 등 데이터 주기 전체에 대해서 완전히 새로운 접근이 필요했습니다.
대용량 클러스터링을 위한 빅데이터 플랫폼을 만들다
클럼엘은 통신 프로토콜, 데이터 저장 관리, API 호출, 심지어는 개발 언어까지도 성능을 최우선으로 고려하여 선택하였습니다. 가장 최첨단 방식을 사용할 수밖에 없었습니다. 어느 한 지점에서 과거 방식을 답습했다가는 바로 그 지점이 병목이 되는 것을 수차례 목격하면서 어느 한 지점도 소홀히 할 수 없었습니다.
안정성도 중요한데…
성능에 주안점을 둘 경우 필연적으로 부딪히게 되는 안정성의 문제를 해결하는 것도 쉽지 않았습니다. 성능과 안정성이라는 상호 모순되는 것처럼 보이는 이 두 목표를 달성하는 것이 소프트웨어 개발의 핵심 과제인 것은 당연합니다.
Rust를 메인 개발 언어로 채택하다
이를 위하여, 클럼엘은 개발 언어로 Rust를 사용하였습니다. 처음부터 Rust를 사용한 것은 아니었습니다. 성능과 안정성이 모두 요구되는 모듈을 하나씩 Rust로 재개발하다 보니 어느새 클럼엘 소프트웨어의 거의 대부분은 Rust로 작성되어 있습니다.
오픈 플랫폼을 향하여
클럼엘의 빅데이터 플랫폼은 오픈 플랫폼을 지향합니다. 다양한 환경에서도 효용을 나타내도록 발전시켜 나갈 것입니다.
신종과 변종 탐지
잠시 반짝하고 마는 기존 보안 솔루션
언제나 새로운 보안 솔루션은 기존 보안 솔루션보다 앞선 점을 자랑합니다. 그 중에서도 가장 중요한 것은 위협 탐지의 능력일 것입니다. 기존 A는 10종을 탐지하는데 새로운 B가 20종을 탐지한다면, B가 자랑할 만합니다. 그런데, B도 얼마 못가서 사용자들에게는 아쉬운 솔루션이 될 수밖에 없습니다. 20종을 넘어서 탐지하지 못하기 때문입니다.
새로운 위협을 탐지하지 못하는 기존 보안 솔루션
10종이냐 20종이냐 개수가 중요한 것은 아닙니다. 계속 변화하는 컴퓨터 환경으로 인해서 과거의 위협 중에서 현재 의미가 없는 것도 많습니다. 더 중요한 것은 새로운 위협의 등장입니다. 완전히 새롭지는 않아도 과거의 위협을 일부 바꾸기만 해도 기존 보안 솔루션이 탐지하기 어렵습니다.
새로운 위협을 지속적으로 탐지할 수 있을까?
당연하게도 사용자는 신종이나 변종 공격을 탐지하는 보안 솔루션을 가장 원합니다. 그러나, 지금까지 어떠한 보안 솔루션도 신종이나 변종 공격을 지속적으로 탐지하는 방법을 제시하지 못했습니다. 인공 지능 방식으로 위협을 탐지하기 전까지는 그랬습니다.
인공 지능, 신변종 위협 탐지의 유일한 방법
인공 지능을 보안에 도입하고자 하는 이유는 바로 이것입니다. 신종이나 변종 공격을 탐지하는 것 말이지요. 기존 보안 솔루션은 왜 신종이나 변종 위협을 탐지하지 못했을까요?
규칙 기반 IPS가 탐지 못하는 위협 탐지
기존 보안 솔루션 - 규칙 기반
인공 지능을 보안에 적용하기 전까지의 거의 모든 보안 솔루션은 규칙 기반으로 작동하였습니다. 미리 정해 놓은 규칙에 들어 맞는 데이터는 위협으로 간주하는 방식입니다. 이러 이러한 데이터는 위협인 것을 사람이 미리 알고 있다면, 바로 이러 이러한 것을 규칙으로 만들어 놓는 것입니다. 위협 데이터 내에 특별한 표식이 필연적으로 또는 경험적으로 나타난다면, 그 표식을 규칙으로 만들기도 하였는데 이 표식을 시그니처(signature)라고 부릅니다.
새로운 위협에 대한 규칙은 없다
문제는 이러한 규칙을 사람이 만들어야 한다는 것입니다. 따라서, 해커들이 새롭게 고안해 낸 위협을 실제로 경험하고 이를 확실하게 분석해서 규칙을 만들기 전에 그 위협은 탐지가 불가능합니다. 이는, 한마디로, 새로운 위협은 탐지 불가능하다는 말과 같습니다.
미리 정해 놓은 규칙 대신 인공 지능으로 탐지해야
바로 인공 지능이 필요한 이유입니다. 인공 지능 중에서도 비지도 학습 방식이 필요한 이유입니다. 비지도 학습 클러스터링은 비정상 탐지에 가장 적합한 인공 지능 방식입니다. 클러스터링의 중요한 목적 중에 하나가 아웃라이어, 즉 비정상을 가려내는 것이기도 합니다.
Clumit Security - 제대로 된 신변종 위협 탐지 솔루션
클럼엘의 인공 지능 보안 솔루션 클럼잇은 새로운 위협 탐지에 가장 적합한 솔루션입니다. 모든 보안 담당자가 늘 원하는 바로 그 신변종 위협 탐지 기능을 클럼잇이 제공합니다.
보안 전문가 또는 사용자와 조화
보안 솔루션의 결과는 사람이 확인해야
어떤 보안 솔루션이라도 탐지한 결과를 사람이 확인하지 않을 수는 없습니다. 새로운 위협이라면, 인공 지능을 활용한 것이라면 더욱 그러합니다.
인공 지능 머신러닝은 사람이 관리해야
인공 지능, 그 중에서도 머신러닝은 과거 데이터를 학습한 것이므로 논리가 아니라 경험에 근거합니다. 과거 경험이 모두 맞다고 볼 수 없으므로 머신러닝의 결과를 완전히 신뢰할 수 없습니다. 비지도 학습은 지도 학습에 비하여 더욱 사람의 개입을 필요로 합니다.
인공 지능의 결과에 인간 지성을 더해야 한다
비지도 학습의 결과로 제시된 새로운 위협 후보들은 사람이 확인해야만 비로소 새로운 위협으로 확정될 수 있습니다. 이 대목에서 많은 사용자들이 불편함을 느낍니다. 인공 지능이라면 사람보다 뛰어나야 되는 것 아닌가 하는 관념 때문입니다. 인공 지능이 때때로 또는 대부분의 경우에 사람보다 뛰어날 수 있지만 그렇다고 인공 지능이 언제나 맞는 것은 당연히 아닙니다. 경험에 기반하는 인공 지능은 태생적으로 100% 신뢰할 수 있지 않습니다.
인간의 개입이 불편하지 않도록 조화롭게
사람이 개입할 필요가 없도록 할 수는 없으므로, 사람이 편리하고 효율적으로 개입할 수 있도록 하는 게 목표가 되어야 합니다.
클럼엘의 인공 지능 보안 솔루션 클럼잇은 사용자가 새로운 위협 후보들을 효과적으로 살펴보고 판단할 수 있도록 다양하고 편리한 기능을 제공합니다.
인공 지능과 인간 지성의 조화가 바로 클럼엘이 추구하는 가치입니다.
