Search

acorn+PACKT 시리즈. 스플렁크(Splunk)는 점차 증대되는 방대한 양의 머신 데이터를 수집, 분석, 가시화하는 빅데이터를 위한 플랫폼이다. 이 책은 빅데이터를 다루는 데 있어 고급 전략을 학습하기 원하는 스플렁크 개발자를 위한 책으로서, 단순한 '따라 하기' 식의 메뉴얼이 아닌, 상세 기능의 사용 방법뿐만 아니라 그 기능의 동작원리까지 상세하게 설명하는 스플렁크에 관한 실용적인 기술서다.



이 책은 먼저 스플렁크의 발전 방향과 조직의 아키텍처 로드맵상에서 스플렁크가 활용되는 방안을 설명한다. 이후 검색과 관련된 내용을 시작으로 스플렁크 테이블, 차트, 필드를 비롯한 기능을 활용하는 방법을 심도 있게 다룬다.



각 장을 거치면서 룩업, 인덱스, 대시보드와 관련된 모범 사례를 숙지하게 될 것이며, 현재 스플렁크 애플리케이션과 이에 대한 모니터링 기능을 발전시키는 방법의 원리를 파악하게 될 것이다. 마지막으로, 엔터프라이즈 관점에서 트랜잭션을 논의하는 것으로 이 책을 마무리한다. 데이터를 최적화하고 조직의 전략적 요구사항을 만족시키기 위해 스플렁크의 고급 기술을 적용하고 통합할 수 있게 될 것이다.

★ 요약 ★

스플렁크(Splunk)는 점차 증대되는 방대한 양의 머신 데이터를 수집, 분석, 가시화하는 빅데이터를 위한 플랫폼이다. 이 책은 빅데이터를 다루는 데 있어 고급 전략을 학습하기 원하는 스플렁크 개발자를 위한 책으로서, 단순한 ‘따라 하기’ 식의 메뉴얼이 아닌, 상세 기능의 사용 방법뿐만 아니라 그 기능의 동작원리까지 상세하게 설명하는 스플렁크에 관한 실용적인 기술서다.


★ 이 책에서 다루는 내용 ★

■ 가장 효과적으로 스플렁크를 시작하는 방법을 배운다. 독자는 스플렁크를 능숙하게 다루게 되어 결국 스플렁크 마스터로 거듭날 것이다.
■ 고급 수준의 스플렁크 검색 문자열을 생성하는 기법을 습득한다.
■ 데이터를 구조화하기 위해 고급 테이블, 차트, 필드를 쉽게 활용한다.
■ 스플렁크 룩업과 이를 엔터프라이즈 개발에 적용하는 방법을 이해한다.
■ 데이터로 실용적인 대시보드를 제작한다.
■ 스플렁크 인덱스 및 인덱싱과 관련된 마스터 수준의 지식을 획득한다.
■ 스플렁크 사용자 정의 앱을 제작하고 그 중요성을 인식한다.
■ 스플렁크의 데이터 모니터링 및 경고 기능과 그 외 모니터링 툴에서 제공하는 기능을 비교한다.
■ 스플렁크 트랜잭션에 대해 이해하고 데이터 최적화를 위한 트랜잭션의 사용 방안을 파악한다.



★ 이 책의 대상 독자 ★

엔터프라이즈 아키텍처 관점에서 빅데이터를 다루는 고급 전략을 학습하기 원하는 스플렁크 개발자를 위한 책이다. 스플렁크에 관한 실용적인 정보를 얻게 될 것이다. 스플렁크에 대한 기본 지식이 있든 없든, 이 책은 전문적인 지식과 일반적인 단계별 스플렁크 솔루션 예제를 제공함으로써 독자를 스플렁크 전문가로 만들어줄 것이다.


★ 이 책의 구성 ★

1장, ‘스플렁크의 활용’에서는 스플렁크가 무엇인지, 그리고 스플렁크가 조직의 아키텍처 로드맵상에서 어떻게 활용될 수 있는지를 설명한다. 스플렁크 기술을 위해 고려해야 하는 표준 혹은 스플렁크의 일반적인 사용 사례와 함께 스플렁크가 발전해온 과정을 논의한다. 마지막으로, 스플렁크가 즉각적으로 적용되는 분야를 소개한다.

2장, ‘고급 검색’에서는 고급 검색과 관련된 내용 및 기술에 대해 설명하고 관련 예제를 함께 제공한다. 검색 연산자, 명령어 포맷과 태그, 서브검색, 매개변수를 이용한 검색, 매크로와 검색 결과를 활용한 효과적인 검색 기법을 중점적으로 다룬다.

3장 ‘테이블, 차트, 필드 정복’에서는 테이블, 차트, 필드를 활용하는 방법을 상세히 설명하고 실제 사례를 함께 제공한다.

4장 ‘룩업’에서는 스플렁크 룩업과 워크플로우를 다루는데, 필드와 스크립트 룩업을 포함한 룩업의 설계와 활용 측면에 대해 심도 있는 논의를 전개한다.

5장, ‘혁신적인 대시보드’에서는 스플렁크 대시보드의 기본 기능을 설명하고, 비즈니스 측면에서 효과적인 대시보드를 만들기 위해 스플렁크가 제공하는 고급 기능을 활용하는 방안을 논의한다.

6장, ‘인덱스와 인덱싱’에서는 인덱싱을 정의하고, 인덱싱의 기능과 중요성을 설명하며, 인덱싱의 기초 개념과 고급 개념을 단계적으로 살펴본다.

7장 ‘앱 개선’에서는 탐색, 검색, 공유 같은 스플렁크 애플리케이션 및 애드온(addon)과 관련된 심화된 내용을 다룬다. 추가 애플리케이션 예제를 찾는 소스도 함께 제공한다.

8장, ‘모니터링과 경고’에서는 스플렁크 기술 중 모니터링과 경고 기능에 대해 설명하고, 스플렁크와 그 외 모니터링 툴을 비교한다.

9장, ‘스플렁크 트랜잭션’에서는 엔터프라이즈 관점에서 스플렁크 트랜잭션을 정의하고 설명한다. 트랜잭션과 트랜잭션 타입, 트랜잭션의 고급 사용법, 트랜잭션의 설정 유형, 이벤트 그룹화, 동시발생 이벤트, 트랜잭션 시 주의사항 등을 다룬다.

10장, ‘엔터프라이즈를 위한 스플렁크’에서는 엔터프라이즈 관점에서 스플렁크를 소개한다. 명명 규칙, 문서화, 비전의 구현 같은 중요한 개발 모범 사례를 자세히 설명한다.

부록, ‘퀵 스타트’에서는 스플렁크 전문가가 되기 위해 활용할 수 있는 다양한 정보(인증 트랙에서부터 회사의 웹사이트와 지원 포털뿐만 아니라 그 외 부가적인 정보)를 제공한다. 또한 최신 스플렁크 버전을 찾고 기본설정으로 설치하는 과정을 함께 살펴본다.


★ 저자 서문 ★

스플렁크는 점차 증대되는 방대한 양의 머신 데이터를 관리하는 최적의 기술 솔루션으로서, 온라인 서비스, 교육, 금융, 의료, 물류, 통신 등 빅데이터 분석이 필요한 산업군에서 없어서는 안 될 기술이다. 따라서 다양한 분야와 관련된 스플렁크 경험은 다가올 미래에도 의미 있게 사용될 것이다.
이 책은 먼저 스플렁크의 발전 방향과 조직의 아키텍처 로드맵상에서 스플렁크가 활용되는 방안을 설명한다. 이후 검색과 관련된 내용을 시작으로 스플렁크 테이블, 차트, 필드를 비롯한 기능을 활용하는 방법을 심도 있게 다룬다. 각 장을 거치면서 룩업, 인덱스, 대시보드와 관련된 모범 사례를 숙지하게 될 것이며, 현재 스플렁크 애플리케이션과 이에 대한 모니터링 기능을 발전시키는 방법의 원리를 파악하게 될 것이다. 마지막으로, 엔터프라이즈 관점에서 트랜잭션을 논의하는 것으로 이 책을 마무리한다. 데이터를 최적화하고 조직의 전략적 요구사항을 만족시키기 위해 스플렁크의 고급 기술을 적용하고 통합할 수 있게 될 것이다.

★ 옮긴이의 말 ★

2005년 오라일리 미디어(O’Reilly Media)의 시장조사 연구 담당 로저 모갈라스(Roger Mougalas)가 ‘빅데이터’라는 용어를 처음으로 언급하고 연이어 같은 해 구글의 맵리듀스(MapReduce)를 기반으로 한 하둡(Hadoop)이 야후(Yahoo)에 의해 탄생함으로써 빅데이터의 역사가 시작됐다. 그러나 10년이 지난 지금에도 빅데이터에 쏟아지는 열렬하고도 지속적인 관심은, 그에 대한 비즈니스 측면의 기대치에 비해 제대로 된 활용 사례가 많지 않음을 반증하는 것이라 할 수 있다. 물론 IoT, M2M 같은 개념이 등장하면서 빅데이터의 영역이 확장됨에 따라 관심이 증폭됐다는 사실에는 이론의 여지가 없다.

스플렁크(Splunk)에 주목해야 하는 이유가 바로 여기에 있다. 스플렁크가 수집할 수 있는 데이터에는 거의 제한이 없다. 모든 비정형 데이터에 대한 수집은 물론, 분석과 시각화가 가능하다. 하둡은 데이터의 수집과 저장에, R은 데이터 분석에 특화된 솔루션인 반면, 스플렁크는 데이터의 수집, 분석, 시각화를 단일 플랫폼으로 처리할 수 있는 그야말로 빅데이터만을 위한 솔루션인 것이다. 실제 스플렁크는 주로 이기종 장비에서 발생하는 데이터를 다루는 IT 운영, FDS, 보안관제, 산업용 데이터 분석 등 다양한 적용 사례를 보유하고 있으며, IoT, M2M과 관련된 분야에서 역시 광범위하게 사용되고 있다.

이런 시점에서 스플렁크 6.0 버전에 대한 이 책 『Mastering Splunk』를 번역하게 되어 막중한 책임감을 느꼈다. 스플렁크 6.0 버전은 이전 버전에 비해 UI는 물론 인덱스 속도 개선 및 데이터 분석과 관련된 많은 기능이 추가됐으며, 하둡과 클라우드 환경을 지원하도록 발전됐다. 엔지니어라면 누구나 엄지손가락을 높이 치켜들 만큼 만족스러운 솔루션임을 확신하는 고로, 이 책을 통해 스플렁크가 제공하는 많은 기능을 현업에 적용할 수 있는 아이디어를 얻게 되리라 믿어 의심치 않는다.

이 책의 화면은 스플렁크 영어 버전을 기준으로 하고 있으나, 번역 시 스플렁크의 가능한 한 모든 메뉴와 내용은 한국어 버전을 기준으로 병기했다(참고로 스플렁크의 언어 설정은 인터넷 브라우저의 언어 설정에 따른다). 현업에서 실제 영어로 많이 사용되는 단어는 의미 전달이 중요하다는 판단에서 굳이 번역하지 않고 음독했다.

1장 스플렁크의 활용

스플렁크의 정의

__스플렁크 사용을 위한 준비

범용 파일 처리

기밀성과 보안

__스플렁크의 발전

일반적인 사용 사례

__조사형 검색

__모니터링

__운영 환경에서의 가시성

__의사결정 지원(실시간 분석)

스플렁크 사용 영역의 확장

__고객 관계 관리

__신기술

__지식 발견과 데이터 마이닝

__재해 복구

__바이러스 방지

__정형 데이터의 증대

__프로젝트 관리

__방화벽 애플리케이션

__엔터프라이즈 무선 솔루션

__하둡 기술

__미디어 조사

__소셜 미디어

__지리 정보 시스템

__모바일 기기 관리

스플렁크의 실제 활용

정리



2장 고급 검색

스플렁크에서의 검색

__검색 대시보드

__새로운 검색 대시보드

__스플렁크 검색 메커니즘

__스플렁크 퀵 레퍼런스 가이드

__스플렁크 검색 지원 기능

__기본적인 최적화

__고속 모드? 상세 모드? 아니면 스마트 모드?

__명령어 분류

__드문 검색과 조밀한 검색의 차이점

__연산자, 명령어 포맷, 태그 검색

__처리 과정

__불린 연산식

__인용부호와 이스케이프의 의미

__스플렁크에서 태그 달기

__트랜잭션 검색

지식 관리

__실제 사례

서브검색

__서브검색에 대한 출력 설정

__검색 작업 검사기

매개변수를 이용한 검색

__eval 문

스플렁크 매크로

__자신만의 매크로 생성하기

__자신만의 매크로 사용하기

__스클렁크의 한계

검색 결과

기본적인 스플렁크 검색 예제

__추가 포맷화

정리



3장 테이블, 차트, 필드 정복

테이블, 차트, 필드

__테이블 파헤치기

__검색 결과를 차트로 반환하기

스플렁크 버킷화

__timechart 명령어를 사용해 보고하기

__timechart 명령어에서 필요한 인자

__버킷 시간 간격과 per_* 함수

드릴다운

__드릴다운 옵션

__기본적인 드릴다운 기능

__행 드릴다운

__셀 드릴다운

__차트 드릴다운

__범례

피벗

__피벗 편집기

__피벗 엘리먼트로 작업하기

분할

컬럼 값

피벗 테이블 포맷화

간단한 예제

스파크라인

정리



4장 룩업

소개

간단한 필드 룩업 설정

__스플렁크 웹에서 룩업 정의하기

__자동 룩업

__설정 파일

__설정 파일을 사용해 룩업 구현하기: 예제

__룩업 테이블 생성

__dedup로 중복 관리하기

__동적 룩업

__스플렁크 웹 사용하기

스플렁크 웹 대신 설정 파일 사용하기

__시간 기준 룩업

__중복 금지

일반적인 명령어 정리

__lookup 명령어

__inputlookup과 outputlookup 명령어

__inputcsv와 outputcsv 명령어

정리



5장 혁신적인 대시보드

효과적인 대시보드 생성

__뷰

__패널

__모듈

검색 폼

__검색 폼 예제

대시보드로 돌아가기

__패널 편집기

__시각화 자료 편집기

__대시보드 편집기 살펴보기

__대시보드 구성

__프레임워크 구성

__대시보드와 XML

__색상 입히기

검색에 대해 더 자세히 알아보기

__인라인 검색

동적 드릴다운

실용적인 실시간 솔루션

정리



6장 인덱스와 인덱싱

인덱싱의 중요성

스플렁크 인덱스란?

__이벤트 처리

__인덱스 조합

__기본 인덱스

인덱스, 인덱서, 클러스터

스플렁크 인덱스 관리

__시작하기

다중 인덱스 관리

__다중 인덱스의 사용 목적

__스플렁크 인덱스의 생성과 수정

__그 외 인덱싱 방법

__새 인덱스 사용

__인덱싱된 모든 이벤트를 전달하기

__특정 이벤트 전달하기

인덱스 혹은 인덱싱된 데이터 삭제

__스플렁크 이벤트 삭제

__데이터 삭제

인덱스 설정

인덱스 데이터베이스 이동

스플렁크 인덱스 배포

크기 관련

__인덱스 단위 속성

한계에 도달하는 경우

__최소 여유 디스크 공간 설정

정리



7장 앱 개선

기본 애플리케이션

__앱 리스트

__앱 설치

__스플렁크 앱의 비활성화와 제거

사용자 정의 앱 만들기

앱 FAQ

스플렁크 전체를 커스터마이징하기

앱 개발을 위한 사전준비

__스플렁크 앱 개발 시작하기

__개발을 위한 앱 패키징

정리



8장 모니터링과 경고

모니터링 대상

__레시피

__스플렁크, 데이터 바라보기

__모니터링 범주

고급 모니터링

데이터 위치의 중요성

전달자 100% 활용하기

앱을 사용할 수 있을까?

스플렁크에서의 윈도우 입력

모니터링 시작하기

__사용자 정의 데이터

__입력 데이터 타입화

스플렁크는 모니터링 대상 데이터로 어떤 일을 하는가?

__스플렁크 데이터 파이프라인

스플렁크

__앱 다운로드

__설치 시작하기

스플렁크 배포 모니터 앱 살펴보기

경고에 대한 모든 것

__경고를 위한 퀵 스타트업

경고 수정

__설명 수정

__권한 수정__

__경고 유형 및 트리거 수정

__액션 수정

__경고 비활성화

__경고 복제

__경고 삭제

예약된 경고 혹은 실시간 경고

확장된 기능

__스플렁크 가속화

__만료

__요약 인덱싱

정리



9장 스플렁크 트랜잭션

트랜잭션과 트랜잭션 타입

__다시 트랜잭션으로!

트랜잭션 검색

스플렁크 트랜잭션 예제

__트랜잭션 명령어

__트랜잭션과 매크로 검색

__검색 매크로 다시 살펴보기

트랜잭션의 고급 사용

__트랜잭션 타입 설정

__그룹화: 이벤트 그룹화와 상관관계

__동시발생 이벤트

__주의사항: transaction 대신 stats 사용하기

정리



10장 엔터프라이즈를 위한 스플렁크

일반적인 개념

모범 사례

스플렁크 지식의 정의

__데이터 해석

__데이터 분류

__데이터 축적

__정규화

__모델링

전략적 지식 관리

지식 관리에 의한 스플렁크 객체 관리

문서에서의 명명 규칙

__지식 객체에 대한 명명 규칙 생성하기

테스트

__공유 전 테스트

__테스트 단계

__장착

엔터프라이즈 비전

__평가와 구현

__구축, 사용, 반복

__관리와 최적화

__비전을 넘어서

__구조적 접근법

정리



11장 퀵 스타트

스플렁크 학습

인증

__지식 관리자

__관리자

__아키텍트

__부가적 인증

스플렁크 문서

www.splunk.com

스플렁크 답변

스플렁크베이스

지원 포털

Splexicon

'How-to' 튜토리얼

사용자 컨퍼런스, 블로그, 뉴스 그룹

전문 서비스

스플렁크 소프트웨어 얻기

__기권(disclaimer)

__디스크 공간 요구사항

__설치와 설정

학습 환경

정리