python

Asyncio Cancellation

2024-01-25 · python 동시성

코루틴이 외부 요인에 의해 중단되었음을 의미 모든 await 구문에서 아무때나 발생 가능하다. CancelledError 예외가 발생하게되며, 예외 처리를 통해 clean-up 해야한다. clean-up 작업이 까다로운데, 제대로 처리하지 못하면 예기치 못한 문제(취소된 작업이 db 커넥션을 물고 있다거나)를 야기한다. 명시적으로 Cancellation을 발생시키려면, 코루틴에 asyncio.CancelledError 를 throw 하거나(실제 코드에선 잘 안쓰임) 퓨처 또는 태스크 객체의 .cancel() 을 호출하거나 raise …

전문가를 위한 파이썬

2024-01-23 · 책 python

refs Fluent Python Chapter 1. 파이썬 데이터 모델 (Feat. 일관성 있는 언어) links

Call by Sharing

2024-01-23 · python javascript

인자의 레퍼런스(또는 포인터)를 복사해서 사용하는 함수 호출 방식이다. 파이썬에서는 모든 타입을 Call by Sharing으로 전달한다. print_arg를 실행하면 인자로 전달된 객체의 레퍼런스 카운트가 증가(2 -> 4)함을 확인할 수 있다. // python import sys def print_arg(arg): print(id(arg), sys.getrefcount(arg)) a = 9999 print(id(a), sys.getrefcount(a)) # 4416168912 2 print_arg(a) # 4416168912 4 b = [1,2,3] …

레퍼런스

2024-01-23 · python cpp javascript

언어마다 구현의 차이는 있지만, ‘메모리에 저장된 실제 데이터를 가리키는 변수’ 를 의미힌다. 파이썬에서 레퍼런스는 객체를 가리키는 변수이다. 해당 객체가 레퍼런스 카운팅을 통해 레퍼런스를 관리한다. 레퍼런스는 스택 영역에, 객체는 힙 영역에 각각 저장한다. 할당되는 순간(x = 9999999999), 레퍼런스가 힙 영역의 객체를 가리키며 객체의 레퍼런스 카운트를 증가시킨다. 다른 레퍼런스를 선언하고 기존 레퍼런스를 할당(y = x)해도 같은 일이 발생한다. 새로 만든 레퍼런스는 기존 레퍼런스가 가리키던 객체를 가리키게 되고(y -> …

Asyncio

2024-01-20 · python 동시성

async / await 문을 이용해 비동기 프로그래밍을 구현하는 파이썬 라이브러리이다. IO 작업에 async 기반 동시성은 스레드 기반 동시성 보다 안전한 선점 스케줄링을 구현하면서 가볍다. 많은 자원이 아니라 단순히 시간이 필요한 IO 작업에 적합하다. 멀티 스레딩 코드보다 제어권 변동을 명시적으로 표현(await)하여 코드 레벨에서 관측 가능하다. 사용자 관점에서 주요한 요소들을 알아보자. asyncio.run() 코루틴 체인의 최상위 진입점으로, 코루틴 내 코루틴들을 모두 실행한다. 이벤트 루프 생성, 태스크 실행, 보류 태스크 취소, 이벤트 루프 소멸까지 …

Asyncio Lock

2024-01-09 · 분산시스템 python 동시성

asyncio 라이브러리가 제공하는 잠금으로 코루틴 간 경합 상황을 해결하는 도구이다. 멀티 스레딩 환경에서는 적합하지 않은데, 스레드 레벨에서는 점유 배제를 보장할 수 없기 때문이다. 즉, 스레드 A의 코루틴이 잠금을 획득했더라도 스레드 B의 코루틴은 영향 받지 않는다. refs asyncio의 동기화수단들 · Wireframe links Asyncio

Awaitable 객체

2023-12-07 · python 동시성

await 키워드로 실행하는 코루틴, 퓨처, 태스크를 의미한다. awaitable 객체는 다음과 같이 정의한다. 코루틴 이거나 이터레이터를 반환하는 await() 메소드를 구현한 객체 퓨처는 이벤트 루프와 상호작용하는 객체로 작업 실행 상태와 결과를 저장한다. 상태는 1) PENDING, 2) CANCELLED, 3) FINISHED 의 세가지이며, CANCELLED 와 FINISHED는 완료 상태이다 결과 값을 저장(.set_result(value))하고 가져올(.result()) 수 있다. 실행 중 취소(.cancel()) 할 수 있다. …

gevent

2023-11-28 · 동시성 python

코루틴 기반의 파이썬 라이브러리로 고성능 I/O를 위한 동시성을 지원한다. greenlet 이라는 경량 스레드(코루틴)와 event loop를 이용하여 넌블러킹 & 비동기 I/O를 지원한다. monkey patching을 이용해 표준 라이브러리의 구현을 gevent의 구현으로 바꿔치기하는 방식으로 동작한다. 파이썬이 표준으로 제공하는 구현이 아니고 어디까지나 monkey patching(흑마법) 이기에 한계가 분명하다. (대표적으로 mysqlclient는 gevent 와 호환되지 않는다) refs What is gevent? - gevent …

Python heapq

2022-11-18 · python

heap을 이용하는 q의 구현을 제공하는 모듈 heap = [] heapq.heappush(heap, item) heapq.heappop(heap) heappush 와 heappop 을 통해 힙 큐를 구현할 수 있다. 주의할 것은 heap 은 heap 자료구조가 아님. 선형 자료구조(ex. 리스트) 를 받아 힙의 구현을 도와주는 모듈임 최소 힙을 구현함 0을 제외한 인덱스로 읽지 말자 - heap[0] 을 제외한 값은 정렬된 형태가 아님 refs heapq — 힙 큐 알고리즘 — Python 3.12.0 문서 파이썬의 heapq 모듈로 힙 자료구조 사용하기 | …

Event Loop

2022-10-25 · javascript 동시성 python

싱글 스레드에서 요청을 비동기로 처리하기 위해 사용하는 루프. (python asyncio에서) Asyncio Event Loop (gevent에서) I/O 요청시 커널에 요청을 주고 커널로 부터 응답 받은 이벤트를 처리하기 위해 돌고있는 루프 유저 영역 요청 -> 이벤트 루프 -> 이벤트 루프 응답 -> 대기하며 진행 커널 영역 블락 -> 이벤트 발생 -> 이벤트 루프에 노티 -> 대기 중인 것을 실현 (javascript에서) 콜백 큐에서 콜백 함수를 꺼내 콜 스택에 넣어 주는 루프 refs DEVIEW 2014 [JS] 도대체 이 …

파이썬 디스크립터

2022-10-20 · python django

매직 메서드 get, set, delete 중 하나 이상을 정의한 객체를 의미하며, 클래스 변수에 저장한 객체(디스크립터 객체)의 어트리뷰트를 제어하는 기능을 한다. 즉, 디스크립터를 이용하면 객체 어트리뷰트의 lookup, storage, and deletion을 커스터마이징할 수 있다. 보통 인스턴스 데이터에 대한 접근을 관리하는 용도로 쓰인다. ex) django.models.fields.FileField 의 FileDescriptor -> FileField를 가져올때 항상 FieldFile을 내놓도록 제어 refs [Chapter .06] …

해시 충돌

2022-10-16 · java python

(해시) 충돌은 1) 서로 다른 값이 동일한 해시를 뱉거나(해시 충돌) 2) 서로 다른 해시가 동일한 인덱스를 뱉는 경우를 말한다. 해시 자료구조를 구성할때 모든 key가 충돌한다면, 탐색에 O(n)이 걸린다. 모든 데이터가 하나의 인덱스에 저장(Separate Chaning)되거나 다른 인덱스에 순차적으로 저장(Open Addressing)될 것이기 때문이다. 저장할 값의 배열이 크지 않다면, Open Addressing 이 캐시 효율적이다. 연속된 공간에 저장한 데이터는 함께 캐싱될 것이고(cache line), spatial locality 에 따라 hit …

생성자

2022-10-12 · OOP python

객체를 초기화하고, 멤버 변수를 할당하여 객체를 (개념적으로)생성하는 서브루틴. python의 예를 들면, python 객체는 new 를 통해 메모리에 할당되며, init 을 통해 멤버 변수를 정의한다. (개념적인) 객체의 생성이 init 을 통해 이루어졌으므로, init 이 python의 생성자라 할 수 있다. refs Constructor (object-oriented programming) - Wikipedia Object lifetime - Wikipedia Python: init() is not the only constructor - DEV …

Generator

2022-10-12 · python

제너레이터는 제어 흐름을 양보할 수 있는 Iterator이다. 루프를 순회하는 도중 의도적으로 순회를 멈추고, 자신을 호출한 루틴으로 제어 흐름을 양보할 수 있다. 때문에 semicoroutine 이라고도 불리는데, (제어 흐름을 넘겨줄 routine을 지정할 수 있는) coroutine 의 특수한 형태이기 때문이다. 이러한 제너레이터의 동작은 1) 메모리 효율 2) 동시성 의 관점에서 살펴볼만하다. 루프 내 요소의 평가가 필요할때 메모리에 요소를 올리는 lazy evaluation 이고, 원하는 시점에 제어흐름을 넘겨가며 동시성 프로그래밍을 가능케하는 pseudo …

Iterator

2022-10-11 · 디자인패턴 python javascript java

특정 집합 객체 요소에 순차적으로 접근 가능하도록 구현해놓은 객체. Iterator 패턴을 따라서 내부를 노출하지 않고 집합 객체의 구현에 종속되지 않아야한다. Iterator 를 제공하는 객체는 Iterator Protocol 을 따랐다고 표현하는데, 이는 언어마다 상이하다. 에를 들어 javascript 에선 Iteration Protocol 하위에 Iteration Protocol 과 Iterator Protocol이 존재한다. 구현은 프로그래밍 언어마다 다양할 수 있다. 보통 Iterable 객체와 묶여서 구현한다. python과 java 모두 Iterable …

ASGI

2022-10-11 · web python

Asynchronous Server Gateway Interface. 파이썬 웹 애플리케이션과 웹 서버의 공통 인터페이스를 기술한 프로토콜. WSGI 처럼, 프로토콜 서버 내 앱들에게 표준화된 요청/응답을 주고받는 방식이나, ASGI는 비동기 방식으로 이벤트를 주고 받는 구조적인 차이가 있다. refs ASGI (Asynchronous Server Gateway Interface) Specification — ASGI 3.0 documentation “파이썬 웹 개발의 미래” ASGI의 개념과 활용 방법 - ITWorld Korea links …

WSGI

2022-10-11 · web python

WSGI(Web Server Gateway Interface) 는 파이썬 웹앱과 웹서버 간 통신 인터페이스 명세이다. refs links ASGI gunicorn

Bytecode

2022-10-09 · python

가상 컴퓨터의 실행 프로그램을 위한 이진 표현법. 하드웨어가 아니라 소프트웨어에서 해석되기에 기계어보다 더 추상적이다. refs 바이트코드 - 위키백과, 우리 모두의 백과사전 links

dis

2022-10-09 · python

파이썬 바이트코드 역 어셈블러. CPython의 바이트 코드를 역 어셈블하여 바이트 코드 레벨의 분석을 돕는 모듈이다. ex) def hi(x): x += 1 print(x) return x 위 정의에 따르면, 추상화한 바이트코드를 바이트코드로 바꾸는 것도 어셈블이라 볼 수 있다. refs dis — 파이썬 바이트 코드 역 어셈블러 — 파이썬 설명서 주석판 links Bytecode Assembler

gunicorn

2022-10-09 · python 동시성

UNIX 용 WSGI 서버이다. 파이썬 어플리케이션을 서빙하는 worker 를 fork하는데, worker 타입은 다음과 같다. sync 병렬로 동작하는 N개 프로세스를 fork한다. I/O로 인한 블로킹이 적을 경우 적합 gthread N개 스레드를 fork한다. 멀티스레딩을 지원하는 앱일 경우 적합 gevent gevent로 구현한 N개 웹서버를 실행한다. I/O 바운드인 보통의 서비스에 적합 refs Gunicorn vs Python GIL. What is the Python GIL, how it works… | by Luis Sena | Medium links …

numpy array

2022-10-03 · python

파이썬의 list 보다 np array가 더 빠르다 element로 PyObject 대신 value를 들고 있어 직접 접근할 수 있다. 메모리 효율이 좋다. element의 크기가 작다 PyObject - 4 for type pointer, 4 for reference count, 4 for value – and the memory allocators rounds up to 16 value - single-precision numbers takes 4 bytes each, double-precision ones, 8 bytes 동적배열 아니어서 크기가 고정 …

Python-GC

2022-10-03 · python

파이썬(CPython)에서는 아래 두가지 객체에 대해 가비지 컬렉션을 실행한다. PyObject의 ref count가 0 순환 참조가 발생했고 그 외의 참조는 없음 예제 l = [] l.append(l) del l refs Python GC가 작동하는 원리 links 가비지 컬렉션 PyObject

GIL

2022-10-03 · python 동시성

파이썬 객체의 레퍼런스 카운팅이 정상적으로 동작하도록, 인터프리터의 동작을 전역적으로 통제하는 락. 여러 스레드가 한 객체의 레퍼런스 카운트를 조작하는 동시성 을 제어하기위해, GIL 을 가진 스레드만 자원을 통제할 수 있다. 더 구체적으로 말하면, 멀티 스레딩 환경에서 각 스레드는 레퍼런스 카운팅을 위해 PyObject 의 ob_refcnt를 조작하는데, 이는 race condition이다. race condition 해결을 위해 일반적인 mutex 를 사용하자니 각 객체 마다 락이 필요하고, deadlock 의 리스크도 존재한다. 그래서 파이썬(CPython) …

PyObject

2022-10-03 · python

일반적인 CPython 구현체를 가정했을때, 파이썬의 메모리 관리 알고리즘은 C로 쓰여졌고, 이해를 위해서는 CPython 의 내부 구현을 알아야한다. 모든 파이썬 객체는 PyObject라는 c struct 를 확장하여 가지고 있다. ob_type 은 해당 객체의 타입 오브젝트(PyTypeObject)를 가리키는 포인터이다. PyTypeObject 역시 c struct 이며 특정 타입(int, dict 등)에 대한 메타 데이터를 가진다. ob_refcnt 는 객체를 참조하는 레퍼런스의 수를 저장한다. refs Memory Management in Python – …

Cython

2022-10-03 · python C

Cython: C-Extension for Python C로 파이썬의 확장 모듈을 구현하기 위해 설계한 컴파일 언어. C와 파이썬의 superset이며 표준 C/C++ 컴파일러를 이용한다. 이러한 특성은 파이썬 언어의 높은 생산성을 활용하면서 실행 속도의 향상을 가져온다. refs 사이썬 - 위키백과, 우리 모두의 백과사전 links CPython 컴파일러

CPython

2022-10-03 · python

C로 구현한 파이썬 인터프리터 시스템. 파이썬 언어로 쓰인 스크립트를 바이트코드(.pyc, pycache)로 컴파일한 후, 가상 머신에서 인터프리터로 실행한다. ‘파이썬은 인터프리터 언어다’는 말은 반은 맞고 반은 틀리다. 전체 코드를 바이트코드로 컴파일하는 과정을 거치기 때문이다. 인터프리터는 컴파일한 언어를 가상머신 위에서 한줄한줄 실행한다. 물론 이건 CPython 기준이고, 구현체에 따라 실행 과정은 달라진다(Pypy, Jython 등) 개발 환경에서는 바이트코드 파일을 생성하는게 귀찮을 때가 있다. 다행히도 바이트 코드 컴파일 과정은 매 …

Dynamic Array

2022-10-03 · python

python 의 list 는 dynamic array이다. 런타임에 element를 추가할때, 리스트에 할당된 메모리 공간이 모자라면 리스트 크기를 늘린다. 그런데 dynamic array도 엄연한 array 이기에 ’element 가 연속된 메모리 공간을 점유한다’는 제약을 따라야한다. 그래서 python(cpython)은 요소가 추가되어 리스트 크기가 변해야할 때, 전체 list를 복사하여 더 큰(2의 거듭제곱) 공간에 통째로 재할당 한다. 이는 시간 복잡도 계산에 영향을 준다. list 에 요소를 더하는 append 나 insert 연산의 …