유일 ID 생성 방식 일반적으로 분산 시스템에서 유일 ID를 생성하는 방법은 아래와 같다. DBMS Auto Increment 옵션 조정 UUID 티켓서버 Snowflake ID 1. Auto Increment 옵션 조정 Auto Increment(Sequence) 은 대부분의 DBMS에 구현된 기능으로, 1씩 증가하는 값을 내놓도록 보장한다. 단일 DB 환경에서는 유일 ID를 쉽게 생성할 수 있다. 마스터 노드가 여러개인 분산 환경이 문제인데, mysql과 같은 DBMS는 이 Auto Increment의 증가폭과 시작값 옵션을 조정하여 분산 환경 내 유일한 ID를 …

Read More

asyncio 라이브러리가 제공하는 잠금으로 코루틴 간 경합 상황을 해결하는 도구이다. 멀티 스레딩 환경에서는 적합하지 않은데, 스레드 레벨에서는 점유 배제를 보장할 수 없기 때문이다. 즉, 스레드 A의 코루틴이 잠금을 획득했더라도 스레드 B의 코루틴은 영향 받지 않는다. refs asyncio의 동기화수단들 · Wireframe links Asyncio

Read More

해시 테이블 크기가 조정될 때, 재배치 필요한 키의 개수를 줄이기 위한 기술. 노드(서버)를 해시 공간(해시 링)에 분포시키고, 해시 값과 가장 가까운 노드에 키를 배치하도록 구현한다. 데이터를 분산 환경에 저장하기 위해 많이 쓰인다. 모듈러 샤딩과 같이 설비 변화에 취약한 방법을 대체하는 방식이다. refs 가상 면접 사례로 배우는 대규모 시스템 설계 기초 안정 해시 설계하기 - 박종훈 기술블로그 links

Read More

content 분산 시스템의 ID 생성 목적으로 트위터가 고안한 자료구조. 크기가 작고(8바이트) 특정 기술에 의존하지 않아 대용량 분산 시스템의 요구사항을 잘 만족시킨다. timestamp - 약 70년의 timestamp를 표현 가능. 생성 순으로 정렬 가능 instance - 장비의 고유 ID로 사용 seqence - 동일한 ms에 생성한 id에 순번을 매김. 즉, ms 마다 4097(2^12)개 id 생성 가능 refs Snowflake ID - Wikipedia 가상 면접 사례로 배우는 대규모 시스템 설계 기초 분산 처리 시스템에서 유일한 식별자를 만드는 방 …

Read More

CAP Theorem. 분산 시스템에서 CAP의 세가지 조건이 동시에 만족할 수 없다는 정리이다. Consistency(일관성): 일관된 읽기를 보장 Availability(가용성): 응답을 보장 Partition tolererance(분할 용인): (네트워크 실패를 가정) 일부 메시지가 드랍되어도 시스템이 동작함 P의 조건은 분산 시스템과 네트워크의 본질이므로, 시스템 구현시 CP 또는 AP를 선택하는 문제만 남는다. refs CAP Theorem, 오해와 진실 links

Read More

refs links

Read More

refs links

Read More

패턴 개괄 애플리케이션 패턴(application pattern): 개발자가 맞닥뜨리는 문제를 해결합니다. 분해: 시스템을 여러 서비스로 분해하는 기준을 결정하는 것. 비즈니스 능력 <-> 하위 도메인(DDD) 쿼리: 분산 db에서 쿼리하는 방법 API 조합 <-> CQRS 데이터 일관성: 분산 db 간 일관성 유지하는 방법 참고 - 2PC는 가용성 이슈와 성능 이슈 때문에 제외 테스트 자동화: 가급적 E2E를 피하고, 서비스 별로 분리하여 테스트하는 단순화가 필요 consumer-driven contract test / consumer-side …

Read More

2단계 커밋(Two Phase Commit) 으로 분산 트랜잭션 환경에서 트랜잭션을 구현하는 방법이다. 트랜잭션의 커밋을 준비와 실제 동작의 2단계로 나누어, 분산 환경에서 커밋 준비가 완료되면 비로소 실제 커밋을 하는 방식이다. 2PC 에서 원자성은 2개의 되돌릴 수 없는 포인트에 의해 결정되는데, 1) 참여자가 준비 단계에서 커밋 가능하다고 답변하는 시점과 2) 코디네이터(리소스 매니저)가 커밋하는 시점이다. 1)과 2) 가 만족되면 참여자의 커밋이 어떤 사유로 실패하든, 반복적으로 커밋을 시도한다. 트랜잭션에 관여하는 모든 서비스가 정상 동작해야하는 가용성 이슈 …

Read More

content 분산 트랜잭션 환경에서 서비스 간 비동기 메시징을 이용하여 편성한 일련의 로컬 트랜잭션. 각 서비스가 변경분 커밋을 수행하고 완료 메시지를 발행하여 다음 서비스의 트랜잭션을 유도한다. 마찬가지로 각 서비스는 보상 트랜잭션(compensatable transaction)을 통해 문제 발생 시 변경분을 발생 역순으로 undo하도록해 롤백한다. 분상 환경에서 메시징을 이용하는 특성상, saga 그 자체로는 엄격한 Isolation을 제공할 수 없다. 메시지 읽고 처리하는 행위를 격리하기 힘들기에, 메시지 읽는 순서가 바뀐다든지 하는 이슈로 트랜잭션의 결과가 …

Read More

content 트랜잭션의 속성(ACID)을 2개 이상으로 분산된 네트워크에서도 만족시키는 트랜잭션. X/Open DTP(XA) 모델이라는 표준이 있으며, 이는 2단계 커밋(2PC)를 활용하여 각 리소스를 트랜잭션으로 관리한다. 요즘엔 2PC 대신 Saga 패턴을 쓰는 추세이다. refs 분산 트랜잭션 - 위키백과, 우리 모두의 백과사전 X/Open XA - 위키백과, 우리 모두의 백과사전 마이크로서비스 패턴 links Transaction 2PC Saga 패턴

Read More

refs links

Read More