오늘 공부한 내용:
1. 데이터 수집 및 분석 서비스
A. 데이터 저장소
데이터 레이크 (Data Lake): **원시 상태(Raw Data)**의 대용량 데이터를 저렴한 저장소(주로 S3)에 저장하는 곳으로, 데이터 분석을 위한 저장소입니다.
데이터 웨어하우스 (Data Warehouse): 가공이 끝난 데이터를 저장하여 주로 의사 결정 지원에 사용합니다 (예: Amazon Redshift).
B. 데이터 분석 및 처리
서비스,역할,주요 특징
Amazon Athena,S3에 저장된 데이터를 SQL을 사용하여 대화식으로 쿼리하고 분석,서버리스 쿼리 서비스
AWS Glue,"ETL (Extract, Transform, Load) 작업을 자동화하는 서버리스 서비스",데이터 변환 및 준비 자동화
Amazon OpenSearch,Elasticsearch 기반으로 전체 텍스트 분석에 특화,시각화 대시보드 제공
Amazon EMR (Elastic MapReduce),"Apache Spark, Hadoop 등 분산 처리 프레임워크를 제공",방대한 데이터 클러스터 분석 처리
Amazon Kinesis,실시간 데이터 수집 및 분석 처리,스트리밍 데이터 처리
2. 기계 학습 (ML) 서비스
기계 학습 (ML): 대량의 데이터를 학습하여 스스로 규칙을 찾아내고 작업을 처리합니다.
지도 학습 (Supervised): 데이터와 **정답(레이블)**을 함께 학습 (예: 문자인식, 불량품 판별).
비지도 학습 (Unsupervised): 정답 없이 비슷한 데이터를 그룹화하여 새로운 결과를 예측 (예: 추천 시스템).
강화 학습 (Reinforcement): 보상을 통해 행동을 학습하고 벌칙을 최소화하도록 학습 (예: AlphaGo).
Amazon SageMaker: 기계 학습의 데이터 수집, 변환, 학습 실행, 배포까지 일련의 작업을 수행하는 완전 관리형 ML 환경 제공 서비스.
기타 ML 서비스: 목적별 기계 학습 서비스 (예: Rekognition(이미지/영상 분석), Comprehend(자연어 처리), Polly(텍스트-음성 변환) 등).
3. 시스템 관리 서비스 (SysOps)
A. 인프라 자동화
AWS CloudFormation (IaC): Infrastructure as Code. AWS 리소스를 YAML 또는 JSON 형식의 템플릿으로 정의하여 일관성 있고 반복적으로 환경을 자동 생성 및 관리합니다.
용어: 템플릿으로 생성된 리소스 그룹을 Stack이라고 합니다.
B. 모니터링 및 이벤트 처리
Amazon CloudWatch: AWS 서비스 및 애플리케이션에 대한 모니터링 및 시각화 서비스.
주요 기능:
지표 (Metric): 시스템 성능 관련 데이터를 수집하며, Namespace와 Dimension으로 데이터를 구분.
경보 (Alarm): 특정 지표가 임계값을 초과했을 때 알림(SNS) 또는 자동 작업 수행.
Logs: 로그 파일 저장, 검색, 분석.
Dashboard: 지표와 로그를 시각화.
Amazon EventBridge: AWS 서비스, SaaS 애플리케이션, 또는 사용자 지정 애플리케이션에서 발생하는 이벤트를 수신하여 **규칙(Rule)**에 따라 지정된 대상(Target) 서비스(Lambda, EC2, SNS 등)에 전달하여 이벤트 기반 애플리케이션을 구축합니다.
C. 운영 및 코드 관리
AWS Systems Manager (SSM): EC2 인스턴스의 운영 및 보안 관리를 위한 서비스.
주요 기능: 인벤토리, 패치 관리, **세션 관리자(Session Manager)**를 통한 키 페어 없는 접속, 명령어 실행 등. (SSM 에이전트 설치 필요)
Amazon Code 시리즈 (DevOps): 응용 프로그램의 소스 코드 관리 및 배포를 위한 서비스.
CodeCommit (Git), CodeBuild (빌드), CodeDeploy (배포), CodePipeline (전체 흐름 관리).
