My StudySpace

Hadoop대용량 데이터에 대한 분산처리 하는 오픈소스 자바 프레임워크기능대용량 데이터 저장    → HDFS데이터들을 이용해 연산 수행     → MapReduce HDFS ( Hadoop Distributed File System, 하둡 분산형 파일 시스템)네임 노드Master Node어떤 데이터 노드가 각 파일 블록을 관리하는지 등 파일 시스템에 대한 메타데이터를 보관 Worker Node 간 저장 공간 분할, 데이터 저장 위치 관리데이터 노드Worker Node파일 읽기 및 쓰기를 위해 통신 한 데이터(블록)는 여러 데이터 노드 간 분산되어 저장 및 처리네임 노드에게 3초마다 Heart Beat를 보냄. Heart Beat에는 디스크 가용 공간, 데이터이동, 적재량 등의 정보가 들어있음. Hand..

참고 사이트https://aws.amazon.com/ko/what-is/database-sharding/   아키텍처 패턴 (분산 컴퓨팅) 분산 컴퓨팅 (Ditributed Computing)하나의 대형 컴퓨터에서 처리할 작업을    지역적으로 분산된 여러 개의 컴퓨터를 묶어서 네트워크를 통해 분산 처리성능 확대 및 고가용성 샤딩(Sharding)하나의 대규모 분산 데이터베이스 시스템에서  여러 서버에 데이터를  분산 저장하는 기술여러 개의 DB에 쪼개서 저장파티션과 유사 개념DB별 병렬처리 가능데이터 세트를 쪼개서 분산하여 여러 샤드에 저장   → 병목 현상 해결!비공유 아키텍처 기반  → 각 물리적 샤드는 독립적으로 작동하여 다른 샤드 인식X 샤딩이 중요한 이유데이터베이스의 병목 현상을 해결하기 위해..