chankoo

SQLite

2024-05-24 · sqlite

SQLite는 DBMS로 아래와 같은 특징이 있다. 파일 기반 DB DBMS 내 모든 데이터를 하나의 파일로 관리한다. 백업과 마이그레이션이 무척 편리하다. 서버리스 라이브러리 다른 DBMS와 달리 클라이언트-서버 아키텍처가 아님. 클라이언트 어플리케이션이 사용하는 라이브러리이다. 클라이언트 프로세스가 데이터베이스 엔진을 라이브러리로 사용하여, 파일IO를 통해 DBMS에 접근하는 것이다. DB 서버 프로세스와 통신하지 않으므로 IPC가 발생하지 않는다. 기존 클라이언트-서버 구조보다 더 가볍고, 빠를 수 있다. 이러한 특성 덕에 Django, 안드로이드 등에 기본적으 …

분산DB 유일 ID 생성(feat. Django)

2024-05-23 · django sqlite 분산시스템 mysql

유일 ID 생성 방식 일반적으로 분산 시스템에서 유일 ID를 생성하는 방법은 아래와 같다. DBMS Auto Increment 옵션 조정 UUID 티켓서버 Snowflake ID 1. Auto Increment 옵션 조정 Auto Increment(Sequence) 은 대부분의 DBMS에 구현된 기능으로, 1씩 증가하는 값을 내놓도록 보장한다. 단일 DB 환경에서는 유일 ID를 쉽게 생성할 수 있다. 마스터 노드가 여러개인 분산 환경이 문제인데, mysql과 같은 DBMS는 이 Auto Increment의 증가폭과 시작값 옵션을 조정하여 분산 환경 내 유일한 ID를 …

DB 인덱스와 정렬

2024-04-28 · mysql

B-Tree 계열 인덱스 사용시 정렬에 인덱스를 사용할 수 있으며, 그 효과가 인덱스 유지 비용보다 커야한다. Mysql에서 쿼리에 order by가 사용되면 아래 3가지 중 하나로 처리한다. 아래로 갈수록 느리다. 인덱스 사용한 정렬 정렬 목적 인덱스가 있어야함. (정렬 대상 컬럼이 테이블의 첫번째 컬럼이며 , 정렬 되어있어야 함) B-Tree 계열 인덱스에서만 사용 File Sort SortBuffer에서 테이블을 정렬하는 방식 조인이 필요한 경우, 드라이빙 테이블(정렬 필요 테이블)을 먼저 정렬하고 조인한다. Using temporary; File Sort …

Restful API

2024-04-21 · api drf

REST(REpresentational State Transfer) 의 설계 원칙을 잘 지킨 API로, URI로 리소스를, HTTP METHOD로 행위를 표현하는 아키텍처이다. Restful API는 아래 특성을 만족한다. Uniform Interface를 제외하고는 http 와 큰 차이가 없다. Uniform Interface Stateless Cacheable Client - Server Layered System Uniform Interface은 아래와 같은 조건을 일관되게 만족하는 것을 의미한다. Identification of resources(by …

모바일 앱 개발 옵션

2024-04-07 · #frontend 모바일 iOS android

모바일 앱 개발이 필요하다면, 선택지는 보통 아래와 같다. 네이티브 특정 OS 전용으로 개발하는 앱이다. iOS 앱을 Swift로, 안드로이드 앱을 Kotlin으로 개발하는 것 기기의 리소스(카메라, 알림, 네이티브 api 등)와 데이터(주소록, 파일 등)를 제약없이 사용할 수 있고, 성능이 가장 좋다 OS마다 별도로 개발해야해서 비용이 가장 크다 크로스 플랫폼 OS와 무관하게 하나의 언어로 개발할 수 있는 기술 React Native라면 JS로, Flutter라면 Dart로 개발하고, 빌드 타임에 각 OS에 맞게 언어를 변환한다. 기기의 리소스를 활용하면서도 개발 …

시그널

2024-01-27 · UNIX

Unix에서 프로세스에 보내는 IPC(Inter Process Communication)로 프로세스를 종료하는 등 특정한 역할 수행을 명령한다. 대표적으로 아래와 같다. SIGTERM - 프로세스에 종료를 부탁. Graceful Shutdown을 유도(docker stop) SIGINT - ctrl + c 로 프로세스를 종료할 때 사용 SIGKILL - 프로세스를 즉시 종료(docker kill) refs asyncio 뽀개기 3 - SIGTERM (CTRL+C) 올바르게 처리하기 links

도커 Shutdown

2024-01-27 · docker

일반적으로 docker stop [-t] 명령(SIGTERM)을 통해 컨테이너의 graceful shutdown을 유도한다. t초 후 SIGKILL을 통해 프로세스를 강제 종료한다. 다만 컨테이너의 루트 프로세스에 시그널을 보내는 것임을 주의해야한다. 종료하려는 프로세스가 루트가 아닌 경우, 비정상적으로 종료될 수 있다. 아래와 같이 entrypoint 를 이용한 경우, 컨테이너 루트 프로세스인 /bin/bash 가 종료 시그널을 받게 되는 것이다. /bin/bash는 SIGTERM 을 자식 프로세스에 전파하지 않아 정상적인 종료를 방해한다. …

Asyncio Cancellation

2024-01-25 · python 동시성

코루틴이 외부 요인에 의해 중단되었음을 의미 모든 await 구문에서 아무때나 발생 가능하다. CancelledError 예외가 발생하게되며, 예외 처리를 통해 clean-up 해야한다. clean-up 작업이 까다로운데, 제대로 처리하지 못하면 예기치 못한 문제(취소된 작업이 db 커넥션을 물고 있다거나)를 야기한다. 명시적으로 Cancellation을 발생시키려면, 코루틴에 asyncio.CancelledError 를 throw 하거나(실제 코드에선 잘 안쓰임) 퓨처 또는 태스크 객체의 .cancel() 을 호출하거나 raise …

전문가를 위한 파이썬

2024-01-23 · 책 python

refs Fluent Python Chapter 1. 파이썬 데이터 모델 (Feat. 일관성 있는 언어) links

Call by Sharing

2024-01-23 · python javascript

인자의 레퍼런스(또는 포인터)를 복사해서 사용하는 함수 호출 방식이다. 파이썬에서는 모든 타입을 Call by Sharing으로 전달한다. print_arg를 실행하면 인자로 전달된 객체의 레퍼런스 카운트가 증가(2 -> 4)함을 확인할 수 있다. // python import sys def print_arg(arg): print(id(arg), sys.getrefcount(arg)) a = 9999 print(id(a), sys.getrefcount(a)) # 4416168912 2 print_arg(a) # 4416168912 4 b = [1,2,3] …

레퍼런스

2024-01-23 · python cpp javascript

언어마다 구현의 차이는 있지만, ‘메모리에 저장된 실제 데이터를 가리키는 변수’ 를 의미힌다. 파이썬에서 레퍼런스는 객체를 가리키는 변수이다. 해당 객체가 레퍼런스 카운팅을 통해 레퍼런스를 관리한다. 레퍼런스는 스택 영역에, 객체는 힙 영역에 각각 저장한다. 할당되는 순간(x = 9999999999), 레퍼런스가 힙 영역의 객체를 가리키며 객체의 레퍼런스 카운트를 증가시킨다. 다른 레퍼런스를 선언하고 기존 레퍼런스를 할당(y = x)해도 같은 일이 발생한다. 새로 만든 레퍼런스는 기존 레퍼런스가 가리키던 객체를 가리키게 되고(y -> …

Using Asyncio in Python

2024-01-20 · 책 동시성

refs links

Asyncio

2024-01-20 · python 동시성

async / await 문을 이용해 비동기 프로그래밍을 구현하는 파이썬 라이브러리이다. IO 작업에 async 기반 동시성은 스레드 기반 동시성 보다 안전한 선점 스케줄링을 구현하면서 가볍다. 많은 자원이 아니라 단순히 시간이 필요한 IO 작업에 적합하다. 멀티 스레딩 코드보다 제어권 변동을 명시적으로 표현(await)하여 코드 레벨에서 관측 가능하다. 사용자 관점에서 주요한 요소들을 알아보자. asyncio.run() 코루틴 체인의 최상위 진입점으로, 코루틴 내 코루틴들을 모두 실행한다. 이벤트 루프 생성, 태스크 실행, 보류 태스크 취소, 이벤트 루프 소멸까지 …

동시 편집

2024-01-19

실시간 협업 툴을 만들때 사용하는 기술로 CRDT와 OT가 대표적이다. OT(Operational Transformation)은 유저들의 모든 변경사항을 기록하고, 서버에 전송해 순차적으로 적용해 결과를 만드는 방식이다. 구글 독스 등에서 사용하는 기술이나, 사용자가 몰리면 과부하 걸릴 수 있다. 반면 CRDT(Conflict-Free-Replicated Data Types)는 모든 개체(char 등) 유니크한 값으로 저장하기에 변경 사항을 합칠 때 충돌이 발생하지 않는다. 매번 서버의 응답을 기다릴 필요 없는 방식이다. refs CRDT vs OT A Gentle …

테스트 픽스처

2024-01-09

테스트 실행을 위해 필요한 초기 상태로, 객체와 환경 등 모든 것의 고정된 상태를 의미한다. 예를 들어 테스트에 db 객체가 필요하다면, 필요한 모든 데이터가 로딩 된 db 객체를 픽스처로 만들어두어야 한다. 테스트 더블과 헷갈릴 수 있는데, 더블은 테스트 수행 중에 실제 구현을 대신하여 동작하는 구현을 의미한다. 반면에 픽스처는 테스트 수행을 위해 고정되어야할 환경으로 그 의미가 전혀 다르다. 같은 객체가 더블이면서 픽스처인 경우가 있어(ex. 픽스처로 세팅된 db Mock) 혼동이 오는데, 그 목적이 달라 사용하는 맥락에 따라 구분해야한다.

Asyncio Lock

2024-01-09 · 분산시스템 python 동시성

asyncio 라이브러리가 제공하는 잠금으로 코루틴 간 경합 상황을 해결하는 도구이다. 멀티 스레딩 환경에서는 적합하지 않은데, 스레드 레벨에서는 점유 배제를 보장할 수 없기 때문이다. 즉, 스레드 A의 코루틴이 잠금을 획득했더라도 스레드 B의 코루틴은 영향 받지 않는다. refs asyncio의 동기화수단들 · Wireframe links Asyncio

<시스템 디자인 연습> 채팅 서비스 2 - 기본 성능 테스트

2024-01-07 · 부하테스트 시스템디자인

작업 다대다 채팅을 실험했다. 같은 채팅방에 있는 유저 N명이 각자 s초 간격으로 메시지를 전송하는 상황을 가정했다. 목표 100명의 사용자가 1초 간격으로 각자 메시지를 입력할 때, 정상적인 입출력이 가능한 시스템을 구성한다. 커넥션 유지 시간을 10초로 두고 6회의 이터레이션을 돌게함으로써 약 1분간의 부하 테스트를 진행한다. 살펴봐야할 지표는 커넥션 유지 - 주어진 시간 동안 100개 커넥션을 문제없이 유지하는지 RPS - 입력 RPS 100(100명 / 1초), 출력 RPS 10000(100명 * 100개 / 1초) …

웹소켓 확장성

2024-01-06 · web http

웹소켓은 stateful 하기에 웹소켓 서버의 확장을 구현하기 까다롭다. (다른 경우와 마찬가지로)수직보다는 수평 확장이 대개 낫다. 수직 확장은 1) 비용이 많이 들고(자원 확장의 비선형성, 때에 따라 자원 조절 불가) 2) 단일실패점이 될 위험이 있다. 메시지 공유를 위한 서버 간 채널이 필요하다. 보통 pub/sub 을 통해 각각 다른 서버에 연결된 클라이언트를 동기화한다. 로드 밸런싱 알고리즘에 대한 고려가 필요하다. 웹소켓 부하 분산은 (요청 단위 아니라) 지속적인 커넥션 단위로 동작해야한다. 그렇기에 일반적으로 많이 쓰는 라운드 로빈을 사용하면, 실제 요청 …

<시스템 디자인 연습> 채팅 서비스 1 - 아키텍처

2024-01-06 · 부하테스트 시스템디자인

작업 여러명이 참여한 채팅방에서 메시지를 입력하고 출력하는 다대다 채팅을 구현한다. 웹소켓으로 구성한 일반적인 형태의 채팅 서버를 만들고 그 성능을 테스트했다. 시스템 구성 AWS 기반으로 채팅 서버를 구현했다. 채팅 서버는 AWS ECS Fargate 로 배포했으며 때에 따라 확장한다. 채팅 서버 앞단에 ALB를 두어 웹소켓 트래픽을 로드 밸런싱한다. 채팅 서버의 웹소켓 엔드포인트에서 실시간으로 채팅을 입출력한다. ws://{host}/chats/ws/{channel_id} channel_id 는 채팅방 역할을 한다. 즉, 같은 channel_id 에 접속한 사용자 …

안정 해시

2024-01-06 · 분산시스템

해시 테이블 크기가 조정될 때, 재배치 필요한 키의 개수를 줄이기 위한 기술. 노드(서버)를 해시 공간(해시 링)에 분포시키고, 해시 값과 가장 가까운 노드에 키를 배치하도록 구현한다. 데이터를 분산 환경에 저장하기 위해 많이 쓰인다. 모듈러 샤딩과 같이 설비 변화에 취약한 방법을 대체하는 방식이다. refs 가상 면접 사례로 배우는 대규모 시스템 설계 기초 안정 해시 설계하기 - 박종훈 기술블로그 links

위상 정렬

2024-01-04

유향 그래프의 정점을 탐색 가능한 순서로 정렬하는 알고리즘이다. 유입 간선이 없는 정점들을 찾아 정렬된 리스트에 추가한다. 유입 간선이 없으므로 바로 탐색해도 무방한 정점들이다. 해당 정점들의 유출 간선들을 제거한다. 앞선 정점들을 방문한 상황에서는, 해당 간선들이 그 다음 탐색에 영향주지 않는다. 모든 정점을 정렬할 때 까지 1과 2를 반복한다. 불가하다면 그래프에 사이클이 존재하는 것이다. [구현 예시] from collections import defaultdict, deque indegree = defaultdict(int) for v, neighbors …

블룸 필터

2024-01-04

집합의 모든 값을 비트 배열에 저장한 자료형으로 특정 값이 집합에 속하는지 검사하는 용도로 쓰인다. m 비트 크기에 k 개의 서로 다른 해시함수를 사용해 구현한다. 해시 함수는 독립적이고 균일하게 분포해야한다. O(k) 시간에 새로운 값을 검사할 수 있다. k개 해시 모두 1인 경우 집합에 속하는 값이라 판단한다. 한정된 공간에서 집합이 커질 수록 긍정 오류(속하지 않으나 속한다고 판별)가 커지는 특성이 있지만, 부정 오류(속하는데 속하지 않는다 판별)는 발생하지 않아 1차적인 판별 알고리즘으로 많이 쓰인다.

2의 보수

2023-12-27

컴퓨터에 음수를 저장하기 위한 일반적인 방법으로, 특정 값의 2의 보수를 그 값의 음수 표현으로 여긴다. 특정 2진수 n에 대해, n보다 한자리 큰 2의 제곱수에서 n을 빼서 구한다. “n의 2의 보수는 00이다” 와 같이 표현한다. 최상위 비트(MSB)를 부호 비트로 쓰는 상황(0일 때 양수 1일 때 음수를 표현)을 전제한다. 십진수 7을 예로 들면, 4비트 이진수로 표현하면 0111 이고, 0111의 2의 보수는 1001인데, 1001을 -7에 대한 표현으로 저장하는 것이다. 1의 보수로 2의 보수 구하는 법

2PL

2023-12-20 · 동시성

content Two Phase Locking. DB에서 직렬성을 구현하는데 널리 쓰이는 알고리즘. 잠금을 확장과 수축의 두단계로 나누어 모든 트랜잭션이 lock을 획득한 후 차례로 unlock 하기에 직렬성을 구현할 수 있다. refs 데이터 중심 애플리케이션 설계 2 Phase Locking (2PL) : 네이버 블로그 links 직렬성

Domain Driven Design

2023-12-20 · 책 DDD

Domain과 Model Domain은 사용자가 SW를 사용하는 대상 영역을 말한다 SW의 본질은 (해당 도메인에서)사용자의 문제를 해결하는 것이다 그러므로 개발은 사용자 활동에 관련한 지식 체계에 집중해야 한다 지식의 양이 방대하므로 Model을 통해 추상화한다 Model의 유용성 모델과 핵심 설계는 서로 영향을 주며 구체화된다 유지보수와 계속되는 기능 개선을 가능케 한다 모델은 모든 구성원이 사용하는 언어의 중추이다 개발자와 도메인 전문가의 의사소통시 번역이 불필요하다 언어가 모델이 긴밀히 연결되므로 언어를 통해 모델을 정제할 수 있다 모델은 지식의 정수만을 뽑아 …

객체지향의 사실과 오해

2023-12-20 · 책 OOP

오해를 덜어낸 객체지향 구현 로직 (클래스가 아니라)특정한 객체를 상상하고, 우선 객체의 행동을 정의하자 정의된 행동을 기반으로 협력의 공동체를 상상해보자. 이 공동체는 요청과 응답의 흐름으로 소통할 것이고 공동체의 구성원에게는 여러가지 책임이 할당된다 다음으로 협력에 필요한 데이터 필드가 있다면 이를 정의하자. 잊지말자 상태보다 협력이 우선이다 마지막으로, (이제서야) 클래스를 구현해야한다. 게다가 클래스는 ‘타입’을 구현하기 위한 수단에 불과하다 더 구체적인 설계와 구현 구조설계: …

캡슐화

2023-12-20 · OOP

OOP에서 1) 객체의 attribute와 method를 하나로 묶고 2) 실제 구현 내용을 내부에 감추는 일. 캡슐화는 객체간 종속을 인터페이스 레벨에 묶어두어 모듈의 결합도를 낮춘다. refs 캡슐화 - 위키백과, 우리 모두의 백과사전 객체지향의 사실과 오해 links

컴포넌트 설계 원칙

2023-12-20 · 컴포넌트

content 응집도 높은 컴포넌트를 설계하려면, 1) REP 2) CCP 3) CRP 원칙을 기억해야한다. 세 원칙은 상충하기에 설계 목적에 따라 세 원칙간 균형을 잡아야한다. 컴포넌트의 결합을 잘 설계하려면, 1) ADP 2) SDP 3) SAP 를 이해해야한다. ADP(Acyclic Dependencies Principle)은 컴포넌트 간 의존성이 순환하지 않도록 하여 컴포넌트 간 의존을 끊는 최소한의 규칙이고, SDP(Stable Dependencies Principle)은 안정된(변화가 적은) 모듈이 불안정한(변화가 많은) 모듈에 의존하지 않도록 설계하는 규 …

OAuth2.0

2023-12-16 · 인증

Open Authorization 2.0 개방형 인증을 위한 표준으로 유저 신원 확인을 위해 다른 서비스에서 리소스를 가져오는 방식으로 동작한다. 비밀번호를 입력할 필요 없이 유저(Resource Owner)의 신원 정보를 서드파티 서비스(Resource Server & Authorization Server) 에서 받아오는 방식이다. refs OAuth_2.md OAuth - Wikipedia links

Snowflake ID

2023-12-12 · 분산시스템

content 분산 시스템의 ID 생성 목적으로 트위터가 고안한 자료구조. 크기가 작고(8바이트) 특정 기술에 의존하지 않아 대용량 분산 시스템의 요구사항을 잘 만족시킨다. timestamp - 약 70년의 timestamp를 표현 가능. 생성 순으로 정렬 가능 instance - 장비의 고유 ID로 사용 seqence - 동일한 ms에 생성한 id에 순번을 매김. 즉, ms 마다 4097(2^12)개 id 생성 가능 refs Snowflake ID - Wikipedia 가상 면접 사례로 배우는 대규모 시스템 설계 기초 분산 처리 시스템에서 유일한 식별자를 만드는 방 …

스트림

2023-12-12 · http TCP

content HTTP2에서 스트림은 하나의 TCP 커넥션 내 존재하는 다수의 가상 TCP 소켓이다. 클라이언트와 서버는 스트림을 기준으로 양방향 통신하여, 스트림은 요청과 응답 메시지를 묶는 단위가 된다. HTTP1.1 까지 요청과 응답은 하나의 메시지 단위로만 이뤄졌는데, HTTP2 부터는 여러개의 요청/응답 메시지를 연속적(스트림 단위)으로 전달하는 것이다. 스트림은 한개 이상의 요청/응답 메시지로 구성되며, 메시지는 프레임이라는 단위로 나뉜다. 프레임은 HTTP2 통신상 가장 작은 정보 단위이며 Header 이거나 Data이다. refs 리얼월드 HTTP …

프로토콜 버퍼

2023-12-12

구글에서 개발한 직렬화 데이터 구조. JSON과 같은 기존 포맷보다 작고 직렬화/역직렬화 속도가 빠르다. 데이터 타입을 정의한 Proto file을 (해당 언어에 맞게) 컴파일하여 사용한다. 최초 1바이트(두자리 16진수)로 필드 넘버와 타입을 표현하고, 차례로 length와 데이터를 표현한다. message Person { string name = 1; // 필드 타입 string, 필드 넘버 1 int32 age = 2; } refs 프로토콜 버퍼란 무엇인가(Protocol Buffer) 서버, 클라이언트 예제와 함께 feat. express & Vue 구 …

Awaitable 객체

2023-12-07 · python 동시성

await 키워드로 실행하는 코루틴, 퓨처, 태스크를 의미한다. awaitable 객체는 다음과 같이 정의한다. 코루틴 이거나 이터레이터를 반환하는 await() 메소드를 구현한 객체 퓨처는 이벤트 루프와 상호작용하는 객체로 작업 실행 상태와 결과를 저장한다. 상태는 1) PENDING, 2) CANCELLED, 3) FINISHED 의 세가지이며, CANCELLED 와 FINISHED는 완료 상태이다 결과 값을 저장(.set_result(value))하고 가져올(.result()) 수 있다. 실행 중 취소(.cancel()) 할 수 있다. …

TCP

2023-12-05 · TCP

Transmission Control Protocol. TCP/IP 스택 전송 계층 프로토콜로 소켓 간 신뢰할 수 있는 통신을 보장한다. 프로세스와 프로세스(엄밀히는 소켓과 소켓)를 잇는 논리적인 개념의 point-to-point 통신 reliable: 응용계층에서 받은 데이터의 error와 loss가 없음을 보장 in-order byte stream: 데이터의 순서를 유지 Pipelined : window size 단위로 패킷을 묶어 통신 send & receive buffers: 송신 측과 수신 측 모두 send, receive buffer …

추상 팩토리 패턴

2023-12-02 · 디자인패턴

객체 생성을 위해 구체 팩토리에 의존(요소 -> 팩토리)하는 것이 아니라, 추상 팩토리에 의존(요소 -> 추상 팩토리 $\Leftarrow$ 구체 팩토리)하는 패턴이다. DIP의 전형적인 예시이다. refs links DIP

CAP

2023-12-02 · 분산시스템

CAP Theorem. 분산 시스템에서 CAP의 세가지 조건이 동시에 만족할 수 없다는 정리이다. Consistency(일관성): 일관된 읽기를 보장 Availability(가용성): 응답을 보장 Partition tolererance(분할 용인): (네트워크 실패를 가정) 일부 메시지가 드랍되어도 시스템이 동작함 P의 조건은 분산 시스템과 네트워크의 본질이므로, 시스템 구현시 CP 또는 AP를 선택하는 문제만 남는다. refs CAP Theorem, 오해와 진실 links

로드 팩터

2023-12-01

content 해시 테이블에 저장한 데이터 개수 n을 버킷의 개수 k로 나눈 것(n/k) 로드 팩터가 높을수록 해시 테이블의 성능이 감소한다. 같은 버킷을 쓰는 데이터가 많아져 해시 테이블에서 탐색하는 시간이 늘어나기 때문이다. 따라서 언어별로 해시 테이블을 구현할때 로드 팩터의 임계치를 두고있으며, 임계치를 넘어설때 버킷의 수를 늘려 리해싱한다. (동적 배열의 메모리 재할당과 유사) refs links 해시 테이블 해시 충돌 Dynamic Array

콜백 함수

2023-11-30

인자로 다른 함수에게 전달되는 함수. refs links

스케줄링

2023-11-30 · 동시성

OS가 CPU를 프로세스에게 할당하는 정책이다. 선점형 vs 비선점형(협력적) 자원을 점유하는 프로세스를 중지하고 강제로 자원을 가져가는 선점형 자원을 점유하는 프로세스가 종료되거나, I/O 발생하여 대기 할때까지 기다리는 비선점형 정적 vs 동적 프로세스에 부여된 우선순위가 고정 vs 유동 refs 스케줄링 (컴퓨팅) - 위키백과, 우리 모두의 백과사전 백엔드 개발자들이 알아야할 동시성 4 — 스케줄링. 지난 포스팅에선 많은 쓰레드와 잦은 컨텍스트 스위칭이 어떻게 웹서버의… | by Choi Geonu | Medium links

CPS

2023-11-30 · 동시성 함수형프로그래밍

Continuation Passing Style. 말그대로 Continuation을 전달하는 방식으로 프로그래밍하는 것을 말한다. 이는 CPS 함수를 정의할 때 특정한 작업(ex. 콜백 함수) 을 명시적 인자로 받게되는데, CPS 함수는 해당 함수의 작업이 끝난 후 인자로 받은 작업을 수행하게 된다. Continuation이 CPS 함수에 있다가 인자로 받은 작업으로 넘어가는 것이다. CPS가 아니라면 함수가 그냥(암묵적으로) 작업을 수행하며, Continuation은 해당 함수에 머무른다. refs Continuation-passing style - …

Cache-Control

2023-11-30 · cache http 브라우저

리소스의 캐시 여부를 지정하는 http 응답/요청 헤더. Cache-Control에 부여한 directive에 따라 캐시 사용 전략이 결정된다. Etag나 bfcache 등이 모두 영향받는다. private - only cached in client public - can be cached in proxies refs Cache-Control - HTTP | MDN 프론트엔드 개발자가 알아야 할 ‘캐싱’ 개념 정리 | 요즘IT links Etag bfcache

CORS

2023-11-29 · web http 브라우저

Cross-Origin Resource Sharing. 출처가 다른(Cross-Origin) 요청에 대해 리소스를 내려 줄 것인지 판단하는 정책이다. 요청 헤더 Origin에 출처가 담긴다. 스킴, 도메인, 포트 중 하나라도 다르면 Cross-Origin으로 본다. 응답 헤더 Access-Control-Allow-Origin에 허용된 출처가 담긴다. 브라우저가 Origin, Access-Control-Allow-Origin 그리고 요청 시나리오를 고려하여 CORS 위반 여부를 판단한다. refs CORS는 왜 이렇게 우리를 힘들게 하는걸까? | Evans …

gevent

2023-11-28 · 동시성 python

코루틴 기반의 파이썬 라이브러리로 고성능 I/O를 위한 동시성을 지원한다. greenlet 이라는 경량 스레드(코루틴)와 event loop를 이용하여 넌블러킹 & 비동기 I/O를 지원한다. monkey patching을 이용해 표준 라이브러리의 구현을 gevent의 구현으로 바꿔치기하는 방식으로 동작한다. 파이썬이 표준으로 제공하는 구현이 아니고 어디까지나 monkey patching(흑마법) 이기에 한계가 분명하다. (대표적으로 mysqlclient는 gevent 와 호환되지 않는다) refs What is gevent? - gevent …

webhook

2023-11-27 · web http

특정 이벤트가 발생했을때 타겟 서비스 엔드포인트로 데이터를 전달하는 http 기반의 콜백 refs 웹훅(Webhook) | 토스페이먼츠 개발자센터 links

DHCP

2023-11-27 · IP

content Dynamic Host Configuration Protocol. 네트워크에 연결된 장치들에게 IP 주소와 기타 매개변수(네임서버 주소, 게이트웨이 주소 등)를 자동으로 할당하는 IP 네트워크 레벨의 프로토콜. 서버(보통은 공유기)와 클라이언트로 나뉘는데, DHCP 서버는 서브넷에서 사용가능한 네트워크 자원을 일정 기간 클라이언트에 임대하는 역할을 수행한다. 서버가 중앙 집중식으로 관리하기에 클라이언트 간 충돌 없이 네트워크 자원을 분배할 수 있다. refs 🌐 DHCP 이란 무엇인가? (그림으로 쉽게 정리) links

전문 검색 인덱스

2023-11-27 · mysql

컬럼 텍스트의 전체 값을 인덱싱해서 키워드 검색(full text search)을 용이하게 하는 방법으로 stopword, n-gram 등의 전문 검색 알고리즘을 사용한다. refs Real MySQL links

Hash 인덱스

2023-11-27

인덱싱할 컬럼 값의 해시를 키로 이용하는 인덱스. 동등 비교에 최적화(O(N)) 되었지만 범위 검색이나 정렬에는 전혀 사용할 수 없다. refs Real MySQL links 해시

Real MySQL

2023-11-27 · 책

refs links

<시스템 디자인 연습> 피드 서비스 3 - DB 병목

2023-11-26 · 부하테스트 mysql 시스템디자인

작업 이번에는 피드 서비스에서 주된 이슈인 Fanout 시나리오를 실험했다. 유저가 게시글을 작성하면 해당 글을 500명의 친구 피드로 전송하는 것이다. 이는 한 유저 당 501개의 create 요청을 발생시키는 고부하 작업이다. 목표 500 RPS(약 250,000 QPS) 를 견디는 시스템을 만든다. 가상 사용자(VU) 500명을 설정하고, 1초 간격으로 3분 동안 요청을 지속했다. 결과 요약 DB의 옵션을 이해하고 우선적으로 DB 성능을 튜닝하는 것이 중요하다. 그래도 DB가 병목일 땐 캐시와 비동기 작업을 적극적으로 활용하자. 환경 AWS

Active Record

2023-11-22 · django

content DB row의 wrapper 객체로 데이터에 대한 접근과 도메인 로직을 함께 구현하는 방식이다. Django Model이 Active Record를 사용한다. refs P of EAA: Active Record links