mysql

분산DB 유일 ID 생성(feat. Django)

2024-05-23 · django sqlite 분산시스템 mysql

유일 ID 생성 방식 일반적으로 분산 시스템에서 유일 ID를 생성하는 방법은 아래와 같다. DBMS Auto Increment 옵션 조정 UUID 티켓서버 Snowflake ID 1. Auto Increment 옵션 조정 Auto Increment(Sequence) 은 대부분의 DBMS에 구현된 기능으로, 1씩 증가하는 값을 내놓도록 보장한다. 단일 DB 환경에서는 유일 ID를 쉽게 생성할 수 있다. 마스터 노드가 여러개인 분산 환경이 문제인데, mysql과 같은 DBMS는 이 Auto Increment의 증가폭과 시작값 옵션을 조정하여 분산 환경 내 유일한 ID를 …

DB 인덱스와 정렬

2024-04-28 · mysql

B-Tree 계열 인덱스 사용시 정렬에 인덱스를 사용할 수 있으며, 그 효과가 인덱스 유지 비용보다 커야한다. Mysql에서 쿼리에 order by가 사용되면 아래 3가지 중 하나로 처리한다. 아래로 갈수록 느리다. 인덱스 사용한 정렬 정렬 목적 인덱스가 있어야함. (정렬 대상 컬럼이 테이블의 첫번째 컬럼이며 , 정렬 되어있어야 함) B-Tree 계열 인덱스에서만 사용 File Sort SortBuffer에서 테이블을 정렬하는 방식 조인이 필요한 경우, 드라이빙 테이블(정렬 필요 테이블)을 먼저 정렬하고 조인한다. Using temporary; File Sort …

전문 검색 인덱스

2023-11-27 · mysql

컬럼 텍스트의 전체 값을 인덱싱해서 키워드 검색(full text search)을 용이하게 하는 방법으로 stopword, n-gram 등의 전문 검색 알고리즘을 사용한다. refs Real MySQL links

<시스템 디자인 연습> 피드 서비스 3 - DB 병목

2023-11-26 · 부하테스트 mysql 시스템디자인

작업 이번에는 피드 서비스에서 주된 이슈인 Fanout 시나리오를 실험했다. 유저가 게시글을 작성하면 해당 글을 500명의 친구 피드로 전송하는 것이다. 이는 한 유저 당 501개의 create 요청을 발생시키는 고부하 작업이다. 목표 500 RPS(약 250,000 QPS) 를 견디는 시스템을 만든다. 가상 사용자(VU) 500명을 설정하고, 1초 간격으로 3분 동안 요청을 지속했다. 결과 요약 DB의 옵션을 이해하고 우선적으로 DB 성능을 튜닝하는 것이 중요하다. 그래도 DB가 병목일 땐 캐시와 비동기 작업을 적극적으로 활용하자. 환경 AWS

DBCP

2023-11-22 · mysql django

DB Connection Pool. DB와의 커넥션 풀을 어플리케이션 단에 미리 만들어두는 것이다. DB와 커넥션을 맺고 끊기 위해 매번 TCP 통신하는 비용을 줄인다. mysql 기준으로 성능에 중요한 설정 max_connections: 클라이언트와 맺을 수 있는 최대 커넥션 수 connect_timeout: 커넥션을 맺기 위해 기다리는 최대 시간(기본값 10초) wait_timeout: inactive 커넥션을 얼마까지 기다린 뒤 close 할지 설정(기본값 28800 - 8시간). 연결을 맺고 다음 쿼리까지 기다리는 최대 시간 django …

Mysql 인덱스

2023-11-21 · mysql

mysql의 InnoDB는 아래와 같은 구조로 인덱스를 생성한다. 해당 인덱스는 B-Tree 로 기본키를 저장하고, 기본키는 데이터에 접근한다. 이때 기본키와 데이터는 같은 공간에 저장한다. 이를 클러스터드 인덱스(테이블이 곧 기본키 인덱스)라고 부른다. refs [MySQL] B-Tree로 인덱스(Index)에 대해 쉽고 완벽하게 이해하기 - MangKyu’s Diary 데이터 중심 애플리케이션 설계 links B-Tree Hash 인덱스 전문 검색 인덱스 Real MySQL

B-Tree

2023-11-21 · mysql

BST(Binary Search Tree)를 일반화한 자료구조로 2개 이상의 자식 노드를 갖는 Balanced Tree이다. B Tree 류 자료구조는 DB 인덱스로 많이 쓰인다. (Balanced BST인)AVL Tree, RB Tree에 비해 자식 노드 개수가 많아 디스크 접근 수가 적음 블록 단위로 메모리에 적재하는 OS 특성도 효율적으로 활용 B Tree 인덱스의 성능은 키의 크기, 키의 카디널리티, 레코드 대비 인덱스 스캔의 범위 등 다양한 요소에 영향 받는다. 디스크 I/O로 데이터를 가져오는 단위인 블록의 크기는 고정(mysql은 16KB)인데, 키의 크 …

타임존 이슈

2023-01-18 · django mysql

datetime이 타임존과 엮여 표현되는 방식을 이해하고 헷갈리지 말자 db 타임존 설정은 보통 SYSTEM의 타임존 설정을 따르게 되어있음 SELECT @@global.time_zone; db가 돌고있는 시스템(보통 docker의 커널)의 타임존 설정은 대개 UTC +0000임. 때문에 DB의 타임존은 UTC를 따르는 것이 보통이고 표준이다. db에 저장된 예시 데이터를 보면 한눈에 봐도 이른시간이 찍혀있고, UTC 기준임 datetime 데이터는 불변이라는 것을 잊으면 안된다. 데이터를 표현하는 방법이 타임존에 따라 여러가지 인 것이다. DB가 UTC를 따르고, …

Isolation Levels

2022-10-09 · mysql 동시성

Transaction 간 격리 수준 DBMS는 다양한 수준의 Isolation Level을 제공하여 ACID의 Isolation 관점에서 엄격히 제한된 Transaction의 병행성 제약을 완화한다. 이상적으로 Transaction은 엄격히 격리해야 하지만, 실무적으로 걸림돌이 되기에, 격리 수준을 단계적으로 완화하는 Isolation Levels 를 정의하여 상황에 맞게 제공한다. Serializable - Isolation 제약을 지키는 수준으로 트랜잭션을 serial schedule 로 수행하여 다른 트랜잭션의 수행과 겹치는 시간이 없다. Repeatable …