My StudySpace

참고 블로그https://waspro.tistory.com/762https://medium.com/musinsa-tech/%EB%AC%B4%EC%8B%A0%EC%82%AC%EC%9D%98-%EC%97%98%EB%9D%BC%EC%8A%A4%ED%8B%B1%EC%84%9C%EC%B9%98-muse-musinsa-elasticsearch-e6355516186a https://www.elastic.co/guide/en/cloud-on-k8s/master/k8s-deploy-eck.html EFK 구성1.  ElasticSearch 구성namespace 생성 마스터 노드 생성# elasticsearch-master-configmap.yaml---apiVersion: v1kind: ConfigMapmetadata:..

참고 블로그: https://waspro.tistory.com/762 EFKElasticSearch- 저장을 위한 모듈 - 실시간 검색/분석 기능 - 분산환경에 저장된 로그를 통합으로 수집하여 통합 저장소 역할 - 구성 요소: 마스터 노드, 데이터 노드 - NoSQL DB로 데이터의 백업/복구를 관리하는 저장소 Master 노드클러스터 관리 인덱스의 메타 데이터(생성, 삭제), 클러스터 상태 정보, 데이터 저장 Data 노드 실제로 데이터 저장 및 처리 Client 노드 클라이언트 요청을 받아들이고 처리요청을 Master 및 Data 노드로 라우팅하며, 결과를 수신하여 클라이언트에 반환검색 요청을 분산, 보안 및 인증을 관리 FluentD- 수집 및 정제를 위한 모듈 - K8S 환경에 DaemonSet으..

Instances failed to join the kubernetes clusterInstances failed to join the kubernetes cluster새로 추가한 서브넷을 라우팅 테이블로 연결 안해둬서.. 안됐음Helm 버전 에러helm version 2 설치하니 에러 생겨서 helm version 3.14.4로 진행...참고 블로그: https://helm.sh/ko/docs/intro/install/$ curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3$ chmod 700 get_helm.sh$ ./get_helm.sh $ kubectl --namespace kube-..

1.  AWS CLI 설치로컬 환경에 AWS CLI 설치https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/install-cliv2.html AccessKey 생성$ aws configureAWS AccessKey ID [********HTZD]:AWS Secret Access Key [******RhfT]:Default region name [ap-northeast-2]:Default output format [json]: 2.  Kubectl 설치로컬에서 쿠버네티스 클러스터를 kubectl로 제어해야하므로 로컬 OS에 맞게 curl로 kubectl을 설치한다. kubectl 설치https://docs.aws.amazon.com/eks/latest/user..

참고 블로그: https://velog.io/@rockwellvinca/EKS-AWS-EKS%EC%9D%98-%ED%81%B4%EB%9F%AC%EC%8A%A4%ED%84%B0-%EC%97%94%ED%8A%B8%ED%8F%AC%EC%9D%B8%ED%8A%B8%EB%9E%80 EKS(Elastic Kubernetes Service) Public + Private Endpoint Access EKS Cluster: Public + Private Control Plane(api server): Public Worker Node: Private Nodegroup 생성할 때, Nodegroup에 왜 Public Subnet 할당이 안되나 했음 ㅡㅡ (에러는 해당 서브넷이 IPv4 자동 Public IP 할당 활성화..

참고 블로그https://potato-yong.tistory.com/126https://coding-start.tistory.com/m/383 쿠버네티스 로깅 파이프라인 이번에 CKA 자격증 따면서 배운 쿠버네티스와 AWS 강의 들으며 흥미 돋은 Kafka와EFK 조합을 사용하여 쿠버네티스 로깅 파이프라인을 구성해보려고 한다.  구성도fluentd  →  kafka  →  elasticsearch  →  kibana  →  visualizationlogstash 없어도 될듯 ..?  fluentd 여러 다양한 리소스에서 로그 및 이벤트를 수집하여 이를 여러 대상으로 전달하도록 설계주로 컨테이너 로그 수집daemonset으로 생성 kafkahelm을 사용하여 설치  (https://coding-start..

참고 블로그: https://velog.io/@dlatkdrb980219/AWS-MSKApache KafkaProducer∙ 메세지(이벤트)를 생산(Write)하는 주체∙ 프로듀서는 메세지 전송 시 토픽을 지정∙ 파티션은 라운드로빈 방식 혹은 파티션 번호를 지정하여 넣을 수 있음∙ 같은 키를 갖는 메세지는 같은 파티션에 저장되며 순서 유지Kafka 클러스터∙ Kafka의 Broker들의 모음∙ Kafka는 확장성과 고가용성을 위해 Broker들이 클러스터로 구성되어 있다.Broker∙ 각각의 Kafka 서버∙ 메시지를 저장하고 복제하는 서버∙ 동일 노드에 여러 Broker를 띄울 수 있다.Zookeeper∙ Kafka 클러스터 정보 및 분산처리 관리 등 메타 데이터가 저장된 스토리지∙ Kafka를 띄우기..

WAF NLB WAF 로그 다른 계정의 S3로 쌓으려면 CLI 이용해야 한다. https://repost.aws/ko/knowledge-center/waf-send-logs-centralized-account S3 네이밍은 반드시 접두사 aws-waf-logs- 로 시작해야한다. https://repost.aws/ko/knowledge-center/waf-send-logs-centralized-account

Mongo 셸 통해 DB 접근 참고 문서: https://docs.aws.amazon.com/ko_kr/documentdb/latest/developerguide/connect-ec2.html#connect-ec2.connect Amazon Linux에서 mongo 셸 설치 리포지토리 파일 생성 echo -e "[mongodb-org-5.0] \nname=MongoDB Repository\nbaseurl=https://repo.mongodb.org/yum/amazon/2/mongodb-org/5.0/x86_64/\ngpgcheck=1 \nenabled=1 \ngpgkey=https://www.mongodb.org/static/pgp/server-5.0.asc" | sudo tee /etc/yum.repo..

AWS Backup 백업 계획 백업 시간과 백업 대상 리소스 등을 정의하는 정책 표현식이다. AWS Backup은 자동으로 백업 계획에 따라 자동으로 백업을 작성하고 유지한다. 유의할 점은 Daily 백업과 Monthly 백업을 함께 지정할 경우, Monthly 백업은 실행되지 않고, Daily 백업만 실행된다. 백업 볼트 백업에 대한 메타 데이터 저장소이다. 정상적인 백업 내역을 확인할 수 있는 부분이다. 유의할 점은 백업 계획당 백업 볼트 하나만 지정할 수 있으므로 백업 대상 리소스가 1개 초과일 경우에는 리소스별 백업 계획 및 백업 볼트를 각각 구성하는 것을 권장한다. 운영팀 입장에서, 모든 리소스에 대한 백업 내역을 한 대시보드로 관리하기는 어렵기 때문이다. 리소스 할당 IAM 기본 역할로 백업 ..