AWS/Project 39

[K8S 환경에 Kafka 및 EFK 배포] 구성도

참고 블로그https://potato-yong.tistory.com/126https://coding-start.tistory.com/m/383 쿠버네티스 로깅 파이프라인 이번에 CKA 자격증 따면서 배운 쿠버네티스와 AWS 강의 들으며 흥미 돋은 Kafka와EFK 조합을 사용하여 쿠버네티스 로깅 파이프라인을 구성해보려고 한다.  구성도fluentd  →  kafka  →  elasticsearch  →  kibana  →  visualizationlogstash 없어도 될듯 ..?  fluentd 여러 다양한 리소스에서 로그 및 이벤트를 수집하여 이를 여러 대상으로 전달하도록 설계주로 컨테이너 로그 수집daemonset으로 생성 kafkahelm을 사용하여 설치  (https://coding-start..

AWS/Project 2024.04.08

DocumentDB mongo셸로 DB 접근 및 Fail-over(장애 조치)

Mongo 셸 통해 DB 접근 참고 문서: https://docs.aws.amazon.com/ko_kr/documentdb/latest/developerguide/connect-ec2.html#connect-ec2.connect Amazon Linux에서 mongo 셸 설치 리포지토리 파일 생성 echo -e "[mongodb-org-5.0] \nname=MongoDB Repository\nbaseurl=https://repo.mongodb.org/yum/amazon/2/mongodb-org/5.0/x86_64/\ngpgcheck=1 \nenabled=1 \ngpgkey=https://www.mongodb.org/static/pgp/server-5.0.asc" | sudo tee /etc/yum.repo..

AWS/Project 2024.02.09

온프레미스에서 VPC Endpoint를 사용하여 S3로 프라이빗 접근

참조 사이트: https://aws.amazon.com/ko/blogs/networking-and-content-delivery/hosting-internal-https-static-websites-with-alb-s3-and-privatelink/ 온프레미스에서 VPC Endpoint를 사용하여 S3로 프라이빗 액세스 internal ALB vpc endpoint 사용하여 s3 접근 url로 리다이렉션 1. VPC Endpoint 생성 S3 액세스 가능한 VPC Endpoint 유형은 Gateway, interface 두 가지가 있다. 퍼블릭 액세스의 경우 Gateway, 프라이빗 액세스의 경우 interface를 사용한다. 우리는 프라이빗 액세스를 위해 interface 유형을 선택한다. ENI가 생..

AWS/Project 2024.01.13

여러 Account 및 VPC에서 S3 공유(로그 중앙화)

참고 사이트 https://docs.aws.amazon.com/ko_kr/elasticloadbalancing/latest/application/enable-access-logging.html https://docs.aws.amazon.com/ko_kr/elasticloadbalancing/latest/network/load-balancer-access-logs.html 여러 Account 및 VPC에서 S3 공유(로그 중앙화) 여러 Account 및 VPC에서 각 AWS Config 및 CloudTrail, VPC FlowLog, ELB Log가 수집한 로그를 중앙 계정의 S3에 쌓도록 로그 중앙화 하는 과정이다. S3는 같은 리전 내 고유한 버킷명을 가지고 있어서 환경별 계정의 IAM Role을 주지..

AWS/Project 2024.01.05

여러 Account 및 VPC에서 온프레미스 간 연결(VGW ↔ DX)

여러 Account 및 VPC에서 온프레미스 간 연결(VGW ↔ DX) 사전 조건: AWS DX 신청(네트워크 대역폭) 및 확보 1. Direct Connect Gateway 생성 2. 가상 인터페이스(VIF) 연결 사전 조건으로 AWS DX 신청(네트워크 대역폭) 및 확보가 되었을 경우, 가상 인터페이스 유형(Public/Private/Transit) 선택 새 가상 인터페이스가 프로비저닝될 물리적 연결 기타 설정 값들을 입력하여 VIF를 생성할 수 있을 것이다. 1. 가상 프라이빗 게이트웨이(VGW) 생성 Direct Connect > 가상 프라이빗 게이트웨이(vgw) > 가상 프라이빗 게이트웨이 생성 생성 후 VGW 붙이고자하는 대상 vpc와 연결한다. 2. Direct Connect Gateway ..

AWS/Project 2024.01.05

EBS 인스턴스 종료시 비활성화 해제

EBS를 생성할 때, 인스턴스 종료시 비활성화를 yes로 해두었다면 CLI를 통해 No로 설정 수정이 가능하다. 굳이 해당 인스턴스에 접속하지 않아도 설정이 가능하다. 필자는 Cloudshell에서 진행하였다. 1. mapping.json 파일 생성 후 아래 내용 추가 [ { "DeviceName": "/dev/sdg", "Ebs": { "DeleteOnTermination": false } } ] 2. Access Key 및 Region 정보 설정 Access Key 발급을 위해 IAM 사용자를 생성한다. IAM 사용자 > 보안자격 증명 > 액세스 키 생성 AWS 컴퓨팅 서비스에서 실행되는 애플리케이션을 클릭하고 액세스 키를 발급받는다. $ aws configure > 발급받은 User의 Access ..

AWS/Project 2023.12.10

여러 Account 및 VPC 간 LB 통신

목표 cross account 환경에서의 nlb → alb → nlb 가능 작성중 NLB 인터넷 경계용 보안그룹 80 open 리스너의 프로토콜:포트 TCP:80 타겟그룹 ALB 지정 타겟그룹의 프로토콜:포트 TCP:80 ALB 인터넷 경계용 보안그룹 리스너의 프로토콜:포트 HTTPS:80 타겟그룹 NLB 지정 (NLB의 eni를 지정) 타겟그룹의 프로토콜:포트 HTTP:80 NLB 내부용 보안그룹 80 open 리스너의 프로토콜:포트 TCP:80 타겟그룹 ALB 지정 타겟그룹의 프로토콜:포트 TCP:80 SSL 적용 url창에 바로 NLB 도메인을 입력할 경우, ACM 적용 X Route53 퍼블릭 호스팅 영역에서 A 레코드로 NLB를 추가하여, 해당 서브 도메인을 url창에 입력해야 ACM 적용 O ..

AWS/Project 2023.12.10

여러 Account 및 VPC 간 Route53 프라이빗 호스팅 영역 공유

상황 A Account: 프라이빗 호스팅 영역 존재 B Account: VPC 존재 필자는 각 계정마다 존재하는 CloudShell을 활용하여 설정했다. A Account 접속 aws route53 create-vpc-association-authorization \ --hosted-zone-id \ --vpc VPCRegion=ap-northeast-2,VPCId= \ --region ap-northeast-2 B Account 접속 aws route53 associate-vpc-with-hosted-zone \ --hosted-zone-id \ --vpc VPCRegion=ap-northeast-2,VPCId= \ --region ap-northeast-2 CLI로만 설정 가능하다. (AWS는 자주 ..

AWS/Project 2023.12.02

S3 버킷 정책(접근 권한) 제한 및 라이프사이클(수명 주기)

업로드 다운로드 구분하여 막는 방법 파일 읽기: HTTP 사용 S3 버킷 정책 수정 1. HTTP 요청에만 Action S3:GetObject 액세스 제한 https://docs.aws.amazon.com/AmazonS3/latest/userguide/example-bucket-policies.html#example-bucket-policies-HTTP-HTTPS ※ CloudFront 지나면 모두 http 통신함 2. IP대역 제한 https://repost.aws/knowledge-center/block-s3-traffic-vpc-ip S3 수명 주기(라이프사이클) 버킷 참고 문서: https://docs.aws.amazon.com/AmazonS3/latest/userguide/how-to-set-l..

AWS/Project 2023.12.02