Q59. Amazon Kinesis로 대규모 클릭스트림 데이터 실시간 분석하기

-

AWS 자격증을 준비하는 여러분, 안녕하세요. 오늘은 대규모 웹 트래픽 데이터를 실시간으로 처리하고 분석하는 방법에 대해 알아보겠습니다. 특히 Amazon Kinesis 서비스군을 활용한 효율적인 데이터 파이프라인 구축 방법을 살펴보겠습니다.

문제 상황

Q1:
회사는 300개 이상의 글로벌 웹사이트 및 애플리케이션을 호스팅합니다. 이 회사는 매일 30TB 이상의 클릭스트림 데이터를 분석할 플랫폼이 필요합니다. 솔루션 설계자는 클릭스트림 데이터를 전송하고 처리하기 위해 무엇을 해야 합니까?

<small>A company hosts more than 300 global websites and applications. The company needs a platform to analyze more than 30 TB of clickstream data daily. What should a solutions architect do to transfer and process the clickstream data?</small>

선택지

A. AWS Data Pipeline을 설계하여 데이터를 Amazon S3 버킷에 보관하고 데이터로 Amazon EMR 클러스터를 실행하여 분석을 생성합니다.
<small>Design an AWS Data Pipeline to store the data in Amazon S3 buckets and run Amazon EMR clusters on the data to generate analytics.</small>

B. Amazon EC2 인스턴스의 Auto Scaling 그룹을 생성하여 데이터를 처리하고 Amazon Redshift가 분석에 사용할 수 있도록 Amazon S3 데이터 레이크로 보냅니다.
<small>Create an Auto Scaling group of Amazon EC2 instances to process the data and send it to an Amazon S3 data lake for Amazon Redshift to use for analytics.</small>

C. 데이터를 Amazon CloudFront에 캐시합니다. Amazon S3 버킷에 데이터를 저장합니다. 객체가 S3 버킷에 추가될 때 AWS Lambda 함수를 실행하여 분석용 데이터를 처리합니다.
<small>Cache the data in Amazon CloudFront. Store the data in Amazon S3 buckets. Run AWS Lambda functions to process the data for analytics when objects are added to the S3 buckets.</small>

D. Amazon Kinesis Data Streams에서 데이터를 수집합니다. Amazon Kinesis Data Firehose를 사용하여 Amazon S3 데이터 레이크로 데이터를 전송합니다. 분석을 위해 Amazon Redshift에 데이터를 로드합니다.
<small>Ingest the data by using Amazon Kinesis Data Streams. Use Amazon Kinesis Data Firehose to send the data to an Amazon S3 data lake. Load the data into Amazon Redshift for analytics.</small>

정답 및 해설

정답은 D입니다.

Amazon Kinesis Data Streams와 Kinesis Data Firehose를 사용하여 대규모 클릭스트림 데이터를 효율적으로 수집, 처리 및 저장할 수 있습니다. 이 솔루션은 실시간 데이터 스트리밍과 대규모 데이터 처리에 최적화되어 있습니다.

  1. Amazon Kinesis Data Streams: 웹사이트와 애플리케이션에서 발생하는 클릭스트림 데이터를 실시간으로 수집합니다. 이 서비스는 초당 수백만 개의 레코드를 처리할 수 있어 대규모 데이터 수집에 적합합니다.

  2. Amazon Kinesis Data Firehose: Kinesis Data Streams에서 수집된 데이터를 자동으로 Amazon S3로 전송합니다. 데이터를 변환하거나 압축할 수 있어 저장 비용을 절감할 수 있습니다.

  3. Amazon S3: 데이터 레이크로 사용되어 대용량의 클릭스트림 데이터를 저비용으로 저장합니다.

  4. Amazon Redshift: S3에 저장된 데이터를 로드하여 고성능 분석을 수행합니다. Redshift는 페타바이트 규모의 데이터를 빠르게 분석할 수 있는 데이터 웨어하우스 서비스입니다.

이 아키텍처는 실제 Hearst Corporation의 사례에서 검증되었습니다. Hearst는 이 솔루션을 사용하여 하루 30TB 이상의 클릭스트림 데이터를 처리하고 있습니다.

<small>The correct answer is D. Using Amazon Kinesis Data Streams and Kinesis Data Firehose allows for efficient collection, processing, and storage of large-scale clickstream data. This solution is optimized for real-time data streaming and large-scale data processing.

  1. Amazon Kinesis Data Streams: Collects clickstream data in real-time from websites and applications. This service can handle millions of records per second, making it suitable for large-scale data ingestion.

  2. Amazon Kinesis Data Firehose: Automatically transfers data collected by Kinesis Data Streams to Amazon S3. It can transform or compress data, helping to reduce storage costs.

  3. Amazon S3: Used as a data lake to store large volumes of clickstream data at low cost.

  4. Amazon Redshift: Loads data stored in S3 for high-performance analytics. Redshift is a data warehouse service that can quickly analyze petabyte-scale data.

This architecture has been validated in a real-world case study with Hearst Corporation. Hearst uses this solution to process over 30TB of clickstream data daily.</small>

오답 설명

A. AWS Data Pipeline + Amazon EMR: 배치 처리에 적합하지만 실시간 스트리밍 데이터 처리에는 최적화되어 있지 않습니다.
<small>A. AWS Data Pipeline + Amazon EMR: Suitable for batch processing but not optimized for real-time streaming data processing.</small>

B. EC2 Auto Scaling + S3 + Redshift: 확장성은 있지만 실시간 데이터 수집 및 처리에 Kinesis만큼 효율적이지 않습니다.
<small>B. EC2 Auto Scaling + S3 + Redshift: Scalable but not as efficient as Kinesis for real-time data ingestion and processing.</small>

C. CloudFront + S3 + Lambda: 웹 콘텐츠 전송에 적합하지만 대규모 데이터 스트리밍 및 분석용으로 설계되지 않았습니다.
<small>C. CloudFront + S3 + Lambda: Suitable for web content delivery but not designed for large-scale data streaming and analytics.</small>

결론

이 문제는 AWS의 실시간 데이터 스트리밍 및 분석 서비스에 대한 이해를 테스트합니다. 대규모 클릭스트림 데이터를 처리할 때는 Amazon Kinesis Data Streams, Kinesis Data Firehose, S3, 그리고 Redshift의 조합이 가장 효과적입니다. 이 솔루션은 실시간 데이터 수집, 효율적인 저장, 그리고 강력한 분석 기능을 제공하여 대규모 웹 트래픽 데이터를 효과적으로 관리하고 분석할 수 있게 해줍니다.

<small>This question tests understanding of AWS's real-time data streaming and analytics services. When dealing with large-scale clickstream data, the combination of Amazon Kinesis Data Streams, Kinesis Data Firehose, S3, and Redshift is most effective. This solution provides real-time data ingestion, efficient storage, and powerful analytics capabilities, enabling effective management and analysis of large-scale web traffic data.</small>

원본 문제 링크

댓글

댓글 쓰기

이 블로그의 인기 게시물

Anaconda-Python 환경 VSCode에서 사용하기

-
이미지
VSCode에서 Anaconda-Python 환경 구축하기 1) Anaconda 및 Visual Studio Code는 이미 설치되었다 가정  2) Command Palette (Ctrl+Shift+P) 에서 "Python:Select Interpreter"르 선택 3) Python:Select Interpreter 선택 후 아래와 같이 사용 환경을 선택한다. 3-1) 설치한 Anaconda 버전 (필자는 5.1설치)은 기본으로 선택 할 수 있으며 Anaconda Prompt(Terminal)에서 미리 만들어둔 커스텀환경(Python 3.6.1)을 선택 할 수 있다. 3-2) 아나콘다 커스텀환경설정 아나콘다 환경 구축을 위한 명령어는 다음과 같다. 새로운 환경생성 : >conda create --name 환경명 python=3.6.1 환경 활성화하기: >activate 환경명 환경 비활성화하기 : >deactive 환경명 * Activation 시 permission denied가 뜬다면, 아래와 같이 입력한다. > source Anaconda설치경로/bin/activate 환경명 현재 구축된 환경 확인 : >conda info --envs 환경 구축 후 Anaconda설치경로/envs 경로에서 생성된 환경을 확인 할 수 있다. 4)Python 윈도우 환경변수 구성 4-1)커스텀 환경을 사용하거나 Anaconda 기본환경을 사용시 설치된 python경로를 환경변수에 설정한다.  - 버전이 변경된 Python 환경사용이 경로를 용이하게 변경하기 위해 PYTHON_HOME 변수 추가  - %PYTHON_HOME%경로 Path에 추가 5) VSCode 터미널에서 Anaconda prompt 사용설정 5-1) Anaconda Prompt 설정 페이지의 바로가기 항목 중 대상에 등록...
자세한 내용 보기

Python 웹 크롤링 - Scrapy 활용 파워볼 번호 수집(파일)

-
이미지
Python 웹 크롤링 - Scrapy 활용 파워볼 번호 수집 1) scrapy 프로젝트 폴더 생성 및 gitHub 등록 1-1) vscode를 사용하여 scrapy 라이브러리를 통해 프로젝트 생성 및 git-hub에 소스 업로드 하여 관리한다.  - 위내용은 Windows Git 설치 및 GitHub 활용방법 을  통해 확인 할 수 있다. 1-2) PowerBall 프로젝트 폴더 생성 및 git bashshell 에서 git init 명령으로 로컬 Repository 생성 1-3) gitHub에 원격 Repository 생성  1-4) git remote add 명령을 통해 gitHub의 원격 Repository 등록 1-5) git pull 명령을 통해 git hub에서 원격 Repository를 새로 생성 할때 만들어지 .gitignore 파일 및 README.md 파일 다운로드 후 로컬과 동기화. 2) Scrapy 프로젝트 생성 2-1) scrapy startproject PowerBall(프로젝트명) 명령어를 통해 프로젝트를 생성한다. 2-2) git add 및 git commit 명령을 통해 프로젝트 파일 커밋, git push를 통해 원격저장소로 등록  -add, status  - commit, push 3) 크롤링 목적 및 대상확인 3-1) 크롤링 목적 : 크롤링 공부       크롤링 대상 : PowerBall 당첨번호         -  http://m.nlotto.co.kr/gameInfo.do?method=powerWinNoList&nowPage=1&searchDate=20180525&calendar=2018-05-25&sortType=num     ...
자세한 내용 보기