Q2. Amazon Athena로 S3의 JSON 로그 파일을 간단하게 분석하기

-

AWS 자격증을 준비하는 여러분, 안녕하세요. 오늘은 AWS Certified Solutions Architect - Associate 시험에 자주 출제되는 데이터 분석 관련 문제를 살펴보겠습니다. 특히 S3에 저장된 로그 파일을 효율적으로 분석하는 방법에 대해 알아보겠습니다.

문제 상황

Q2:
한 회사가 자체 애플리케이션의 로그 파일을 분석해야 합니다. 로그는 Amazon S3 버킷에 JSON 형식으로 저장되어 있습니다. 쿼리는 간단하며 필요할 때마다 실행됩니다. 솔루션 아키텍트는 기존 아키텍처를 최소한으로 변경하면서 이 분석을 수행해야 합니다. 운영 오버헤드를 최소화하면서 이러한 요구사항을 충족하려면 어떤 방법을 사용해야 할까요?

<small>A company needs the ability to analyze the log files of its proprietary application. The logs are stored in JSON format in an Amazon S3 bucket. The queries are simple and need to be run on-demand. A solutions architect needs to perform this analysis with minimal changes to the existing architecture. What should the solutions architect do to meet these requirements with the LEAST operational overhead?</small>

선택지

A. Amazon Redshift를 사용하여 모든 콘텐츠를 한 곳에 로드하고 필요에 따라 SQL 쿼리를 실행합니다.
<small>Use Amazon Redshift to load all the content to one place and run SQL queries as needed.</small>

B. Amazon CloudWatch Logs를 사용하여 로그를 저장합니다. Amazon CloudWatch 콘솔에서 필요에 따라 SQL 쿼리를 실행합니다.
<small>Use Amazon CloudWatch Logs to store the logs. Run SQL queries from the Amazon CloudWatch console as needed.</small>

C. Amazon S3와 함께 Amazon Athena를 직접 사용하여 필요에 따라 쿼리를 실행합니다.
<small>Use Amazon Athena directly with Amazon S3 to run queries as needed.</small>

D. AWS Glue를 사용하여 로그를 분류합니다. Amazon EMR에서 임시 Apache Spark 클러스터를 사용하여 필요에 따라 SQL 쿼리를 실행합니다.
<small>Use AWS Glue to catalog the logs. Use transient Apache Spark clusters on Amazon EMR to run SQL queries as needed.</small>

정답 및 해설

정답은 C입니다.

Amazon Athena는 S3에 저장된 데이터를 직접 쿼리할 수 있는 서버리스 쿼리 서비스입니다. 이 경우 다음과 같은 이유로 Athena가 최적의 선택입니다:

  1. 서버리스: 인프라 관리가 필요 없어 운영 오버헤드가 최소화됩니다.
  2. S3 통합: S3에 저장된 데이터를 직접 쿼리할 수 있어 데이터 이동이 불필요합니다.
  3. JSON 지원: Athena는 JSON 형식의 데이터를 쉽게 쿼리할 수 있습니다.
  4. 온디맨드 쿼리: 필요할 때마다 쿼리를 실행할 수 있습니다.
  5. SQL 사용: 표준 SQL을 사용하여 쿼리를 작성할 수 있습니다.

Athena를 사용하면 S3에 저장된 JSON 로그 파일을 직접 쿼리할 수 있으며, 이는 기존 아키텍처를 최소한으로 변경하면서 요구사항을 충족하는 가장 효율적인 방법입니다.

오답 설명

A. Amazon Redshift: 대규모 데이터 웨어하우스에 적합하지만, 이 경우 데이터 로드 과정이 필요하여 불필요한 복잡성을 추가합니다.

B. CloudWatch Logs: 로그 저장에는 적합하지만, S3에 이미 저장된 로그를 다시 이동해야 하므로 비효율적입니다.

D. AWS Glue + EMR: 복잡한 ETL 작업에 적합하지만, 이 경우에는 과도한 솔루션입니다.

결론

이 문제는 AWS의 다양한 데이터 분석 서비스 중 상황에 가장 적합한 것을 선택하는 능력을 테스트합니다. Amazon Athena는 S3에 저장된 데이터를 서버리스 방식으로 쉽게 쿼리할 수 있어, 로그 분석과 같은 간단하고 온디맨드 방식의 쿼리에 이상적입니다. 특히 JSON 형식의 데이터를 직접 쿼리할 수 있는 Athena의 기능은 이러한 시나리오에서 큰 장점입니다.

원본 문제 링크

댓글

댓글 쓰기

이 블로그의 인기 게시물

Python 웹 크롤링 - Scrapy 활용 파워볼 번호 수집(파일)

-
이미지
Python 웹 크롤링 - Scrapy 활용 파워볼 번호 수집 1) scrapy 프로젝트 폴더 생성 및 gitHub 등록 1-1) vscode를 사용하여 scrapy 라이브러리를 통해 프로젝트 생성 및 git-hub에 소스 업로드 하여 관리한다.  - 위내용은 Windows Git 설치 및 GitHub 활용방법 을  통해 확인 할 수 있다. 1-2) PowerBall 프로젝트 폴더 생성 및 git bashshell 에서 git init 명령으로 로컬 Repository 생성 1-3) gitHub에 원격 Repository 생성  1-4) git remote add 명령을 통해 gitHub의 원격 Repository 등록 1-5) git pull 명령을 통해 git hub에서 원격 Repository를 새로 생성 할때 만들어지 .gitignore 파일 및 README.md 파일 다운로드 후 로컬과 동기화. 2) Scrapy 프로젝트 생성 2-1) scrapy startproject PowerBall(프로젝트명) 명령어를 통해 프로젝트를 생성한다. 2-2) git add 및 git commit 명령을 통해 프로젝트 파일 커밋, git push를 통해 원격저장소로 등록  -add, status  - commit, push 3) 크롤링 목적 및 대상확인 3-1) 크롤링 목적 : 크롤링 공부       크롤링 대상 : PowerBall 당첨번호         -  http://m.nlotto.co.kr/gameInfo.do?method=powerWinNoList&nowPage=1&searchDate=20180525&calendar=2018-05-25&sortType=num     ...
자세한 내용 보기

Anaconda-Python 환경 VSCode에서 사용하기

-
이미지
VSCode에서 Anaconda-Python 환경 구축하기 1) Anaconda 및 Visual Studio Code는 이미 설치되었다 가정  2) Command Palette (Ctrl+Shift+P) 에서 "Python:Select Interpreter"르 선택 3) Python:Select Interpreter 선택 후 아래와 같이 사용 환경을 선택한다. 3-1) 설치한 Anaconda 버전 (필자는 5.1설치)은 기본으로 선택 할 수 있으며 Anaconda Prompt(Terminal)에서 미리 만들어둔 커스텀환경(Python 3.6.1)을 선택 할 수 있다. 3-2) 아나콘다 커스텀환경설정 아나콘다 환경 구축을 위한 명령어는 다음과 같다. 새로운 환경생성 : >conda create --name 환경명 python=3.6.1 환경 활성화하기: >activate 환경명 환경 비활성화하기 : >deactive 환경명 * Activation 시 permission denied가 뜬다면, 아래와 같이 입력한다. > source Anaconda설치경로/bin/activate 환경명 현재 구축된 환경 확인 : >conda info --envs 환경 구축 후 Anaconda설치경로/envs 경로에서 생성된 환경을 확인 할 수 있다. 4)Python 윈도우 환경변수 구성 4-1)커스텀 환경을 사용하거나 Anaconda 기본환경을 사용시 설치된 python경로를 환경변수에 설정한다.  - 버전이 변경된 Python 환경사용이 경로를 용이하게 변경하기 위해 PYTHON_HOME 변수 추가  - %PYTHON_HOME%경로 Path에 추가 5) VSCode 터미널에서 Anaconda prompt 사용설정 5-1) Anaconda Prompt 설정 페이지의 바로가기 항목 중 대상에 등록...
자세한 내용 보기