예제가 있는 Python의 멀티스레딩:Python에서 GIL 배우기

주어진 시간에 철학자는 먹거나 생각해야 합니다.

더욱이 철학자는 스파게티를 먹기 전에 자신에게 인접한 두 개의 포크(즉, 왼쪽 및 오른쪽 포크)를 가져와야 합니다. 교착 상태의 문제는 5명의 철학자가 모두 동시에 오른쪽 포크를 들 때 발생합니다.

각 철학자들은 하나의 포크를 가지고 있기 때문에 다른 철학자들이 포크를 내려놓을 때까지 모두 기다릴 것입니다. 결과적으로 그들 중 누구도 스파게티를 먹지 못할 것입니다.

마찬가지로 동시 시스템에서 교착 상태는 서로 다른 스레드 또는 프로세스(철학자)가 공유 시스템 리소스(포크)를 동시에 얻으려고 할 때 발생합니다. 결과적으로 어떤 프로세스도 다른 프로세스가 보유한 다른 리소스를 기다리기 때문에 실행할 기회를 얻지 못합니다.

경주 조건

경쟁 조건은 시스템이 두 개 이상의 작업을 동시에 수행할 때 발생하는 프로그램의 원치 않는 상태입니다. 예를 들어 다음과 같은 간단한 for 루프를 고려하십시오.

i=0; # a global variable
for x in range(100):
    print(i)
    i+=1;

n 개를 만드는 경우 이 코드를 한 번에 실행하는 스레드의 수에 따라 프로그램 실행이 완료될 때 스레드가 공유하는 i 값을 결정할 수 없습니다. 실제 멀티쓰레드 환경에서는 쓰레드가 겹칠 수 있고, 다른 쓰레드가 접근하는 사이에 쓰레드가 가져와 수정한 i 값이 바뀔 수 있기 때문이다.

이것은 다중 스레드 또는 분산 Python 응용 프로그램에서 발생할 수 있는 두 가지 주요 문제 클래스입니다. 다음 섹션에서는 스레드를 동기화하여 이 문제를 극복하는 방법을 배웁니다.

스레드 동기화

경쟁 조건, 교착 상태 및 기타 스레드 기반 문제를 처리하기 위해 스레딩 모듈은 잠금 을 제공합니다. 물체. 아이디어는 스레드가 특정 리소스에 액세스하려고 할 때 해당 리소스에 대한 잠금을 획득한다는 것입니다. 스레드가 특정 리소스를 잠그면 잠금이 해제될 때까지 다른 스레드가 해당 리소스에 액세스할 수 없습니다. 결과적으로 리소스에 대한 변경 사항은 원자적이며 경쟁 조건이 방지됩니다.

잠금은 __thread 에 의해 구현된 저수준 동기화 기본 요소입니다. 기준 치수. 주어진 시간에 잠금은 잠김 의 두 가지 상태 중 하나일 수 있습니다. 또는 잠금 해제됩니다. 두 가지 방법을 지원합니다.

1. 획득() 잠금 상태가 잠금 해제된 경우, acquire() 메서드를 호출하면 상태가 잠금 상태로 변경되고 반환됩니다. 그러나 상태가 잠겨 있으면 다른 스레드에서 release() 메서드를 호출할 때까지 acquire() 호출이 차단됩니다.
2. 릴리스() release() 메서드는 상태를 잠금 해제, 즉 잠금 해제로 설정하는 데 사용됩니다. 잠금을 획득한 스레드가 아닌 모든 스레드에서 호출할 수 있습니다.

다음은 앱에서 잠금을 사용하는 예입니다. IDLE을 실행하고 다음을 입력하십시오.

import threading
lock = threading.Lock()

def first_function():
    for i in range(5):
        lock.acquire()
        print ('lock acquired')
        print ('Executing the first funcion')
        lock.release()

def second_function():
    for i in range(5):
        lock.acquire()
        print ('lock acquired')
        print ('Executing the second funcion')
        lock.release()

if __name__=="__main__":
    thread_one = threading.Thread(target=first_function)
    thread_two = threading.Thread(target=second_function)

    thread_one.start()
    thread_two.start()

    thread_one.join()
    thread_two.join()

이제 F5를 누르십시오. 다음과 같은 출력이 표시되어야 합니다.

코드 설명

1. 여기서 threading.Lock()을 호출하여 새 잠금을 생성합니다. 공장 기능. 내부적으로 Lock()은 플랫폼에서 유지 관리하는 가장 효과적인 구체적인 Lock 클래스의 인스턴스를 반환합니다.
2. 첫 번째 문에서, acquire() 메서드를 호출하여 잠금을 획득합니다. 잠금이 부여되면 "lock 획득" 을 인쇄합니다. 콘솔에. 스레드에서 실행하려는 모든 코드가 실행을 완료하면 release() 메서드를 호출하여 잠금을 해제합니다.

이론은 괜찮지만 잠금 장치가 실제로 작동했는지 어떻게 알 수 있습니까? 출력을 보면 각 print 문이 한 번에 정확히 한 줄씩 인쇄되고 있음을 알 수 있습니다. 이전 예제에서 여러 스레드가 동시에 print() 메서드에 액세스하고 있었기 때문에 무작위로 출력된 인쇄 위치를 기억하십시오. 여기서 print 함수는 잠금을 획득한 후에만 호출됩니다. 따라서 출력은 한 번에 하나씩 라인별로 표시됩니다.

잠금 외에도 Python은 아래 나열된 스레드 동기화를 처리하는 몇 가지 다른 메커니즘도 지원합니다.

1. RLock
2. 세마포
3. 조건
4. 이벤트 및
5. 장벽

Global Interpreter Lock(및 해결 방법)

python의 GIL에 대해 자세히 알아보기 전에 다음 섹션을 이해하는 데 유용한 몇 가지 용어를 정의해 보겠습니다.

1. CPU 바운드 코드:CPU에서 직접 실행되는 모든 코드를 나타냅니다.
2. I/O 바운드 코드:OS를 통해 파일 시스템에 액세스하는 모든 코드일 수 있습니다.
3. CPython:참조 구현입니다. C와 Python(프로그래밍 언어)으로 작성된 인터프리터로 설명할 수 있습니다.

파이썬에서 GIL이란 무엇입니까?

글로벌 통역사 잠금(GIL) 파이썬에서 프로세스를 처리하는 동안 사용되는 프로세스 잠금 또는 뮤텍스가 있습니다. 하나의 스레드가 한 번에 특정 리소스에 액세스할 수 있는지 확인하고 개체와 바이트 코드를 한 번에 사용하는 것도 방지합니다. 이는 단일 스레드 프로그램의 성능 향상에 도움이 됩니다. Python의 GIL은 매우 간단하고 구현하기 쉽습니다.

잠금을 사용하여 주어진 시간에 하나의 스레드만 특정 리소스에 액세스할 수 있도록 할 수 있습니다.

Python의 기능 중 하나는 각 인터프리터 프로세스에 전역 잠금을 사용한다는 것입니다. 즉, 모든 프로세스는 Python 인터프리터 자체를 리소스로 취급합니다.

예를 들어, 두 개의 스레드를 사용하여 CPU 및 'I/O' 작업을 모두 수행하는 파이썬 프로그램을 작성했다고 가정합니다. 이 프로그램을 실행하면 다음과 같이 됩니다.

1. 파이썬 인터프리터가 새 프로세스를 생성하고 스레드를 생성합니다.
2. thread-1이 실행을 시작하면 먼저 GIL을 획득하고 잠급니다.
3. thread-2가 지금 실행되기를 원하면 다른 프로세서가 비어 있더라도 GIL이 해제될 때까지 기다려야 합니다.
4. 이제 thread-1이 I/O 작업을 기다리고 있다고 가정합니다. 이때 GIL을 해제하고 thread-2가 GIL을 획득합니다.
5. I/O 작업을 완료한 후 스레드 1이 지금 실행하려는 경우 스레드 2가 GIL을 해제할 때까지 다시 기다려야 합니다.

이 때문에 한 번에 하나의 스레드만 인터프리터에 액세스할 수 있습니다. 즉, 주어진 시점에 파이썬 코드를 실행하는 스레드는 하나만 있게 됩니다.

이것은 스레드를 처리하기 위해 타임 슬라이싱(이 튜토리얼의 첫 번째 섹션 참조)을 사용하기 때문에 단일 코어 프로세서에서는 괜찮습니다. 그러나 멀티 코어 프로세서의 경우 여러 스레드에서 실행되는 CPU 바인딩 기능은 실제로 사용 가능한 모든 코어를 동시에 사용하지 않기 때문에 프로그램의 효율성에 상당한 영향을 미칩니다.

GIL이 필요한 이유는 무엇입니까?

CPython 가비지 수집기는 참조 카운팅으로 알려진 효율적인 메모리 관리 기술을 사용합니다. 작동 방식은 다음과 같습니다. 파이썬의 모든 객체에는 참조 횟수가 있으며, 이는 새 변수 이름에 할당되거나 컨테이너(튜플, 목록 등)에 추가될 때 증가합니다. 마찬가지로 참조가 범위를 벗어나거나 del 문이 호출되면 참조 횟수가 감소합니다. 개체의 참조 횟수가 0에 도달하면 가비지 수집되고 할당된 메모리가 해제됩니다.

그러나 문제는 참조 카운트 변수가 다른 전역 변수와 마찬가지로 경쟁 조건에 취약하다는 것입니다. 이 문제를 해결하기 위해 파이썬 개발자는 전역 인터프리터 잠금을 사용하기로 결정했습니다. 다른 옵션은 각 객체에 잠금을 추가하여 교착 상태를 발생시키고 acquire() 및 release() 호출로 인한 오버헤드를 증가시키는 것입니다.

따라서 GIL은 CPU 바운드 작업(효과적으로 단일 스레드로 만들기)을 실행하는 다중 스레드 Python 프로그램에 대한 중요한 제한 사항입니다. 애플리케이션에서 여러 CPU 코어를 사용하려면 다중 처리를 사용하세요. 대신 모듈.

요약

• Python은 멀티스레딩을 위해 2개의 모듈을 지원합니다.
  1. __스레드 모듈:스레딩을 위한 저수준 구현을 제공하며 더 이상 사용되지 않습니다.
  2. 스레딩 모듈 :멀티스레딩을 위한 높은 수준의 구현을 제공하며 현재 표준입니다.
• 스레딩 모듈을 사용하여 스레드를 생성하려면 다음을 수행해야 합니다.
  1. 스레드를 확장하는 클래스 만들기 수업.
  2. 생성자를 재정의합니다(__init__).
  3. run() 재정의 방법.
  4. 이 클래스의 개체를 만듭니다.
• 스레드는 start()를 호출하여 실행할 수 있습니다. 방법.
• join() 메소드는 이 스레드(조인이 호출된 스레드)가 실행을 완료할 때까지 다른 스레드를 차단하는 데 사용할 수 있습니다.
• 여러 스레드가 동시에 공유 리소스에 액세스하거나 수정할 때 경쟁 조건이 발생합니다.
• 스레드 동기화를 통해 피할 수 있습니다.
• Python은 스레드를 동기화하는 6가지 방법을 지원합니다.
  1. 자물쇠
  2. RLock
  3. 세마포
  4. 조건
  5. 이벤트 및
  6. 장벽
• 잠금을 사용하면 잠금을 획득한 특정 스레드만 임계 영역에 들어갈 수 있습니다.
• 잠금에는 두 가지 기본 방법이 있습니다.
  1. 획득() :잠금 상태를 잠김으로 설정합니다. 잠긴 개체에 대해 호출하면 리소스가 해제될 때까지 차단됩니다.
  2. 릴리스() :잠금 상태를 잠금 해제로 설정합니다. 그리고 반환합니다. 잠금 해제된 개체에 대해 호출하면 false를 반환합니다.
• 글로벌 인터프리터 잠금은 한 번에 하나의 CPython 인터프리터 프로세스만 실행할 수 있는 메커니즘입니다.
• CPythons의 가비지 수집기의 참조 카운팅 기능을 용이하게 하는 데 사용되었습니다.
• 많은 CPU를 사용하는 Python 앱을 만들려면 다중 처리 모듈을 사용해야 합니다.