[Python] 생성기(generator)와 yield에 대해 알아보자.

1. 생성기(generator)란?

제너레이터라고 부르는 이 함수는 여러 개의 데이터를 미리 만들어두지 않고 필요할 때마다 만들어내는 객체를 의미한다. 이터레이터(iterator)를 생성하며, 함수 안에 하나 이상의 yield 키워드를 사용하여 구현할 수 있다.

• generator는 iterable한 순서가 지정된다. (반복 가능하며 순서가 있음)
• 필요에 따라 계산되기 때문에 '느슨하게' 평가된다. → 게으른 반복자(lazy iterator)라고 불린다.
• 무한한 순서가 있는(명확한 끝이 없는) 객체(데이터 스트림)를 모델링할 수 있다.
• 함수의 내부 로컬 변수를 통해 내부 상태가 계속 유지된다.
• 자연스러운 스트림 처리를 위 파이프라인으로 구성할 수 있다.

데이터를 생성하고 반환하여 출력하는 프로그램이 있다고 할 때, 데이터 하나당 출력에 소요되는 시간이 1초라면 일반적인 함수에서는 (데이터 개수 * 1초)의 시간이 소요될 것이다. 데이터가 5개이면 5초 뒤 5개의 데이터가 한 번에 출력된다.

def default_func():
    default_data = []  # append할 리스트
	for f in "12345":  # 5개의 data
		time.sleep(1)  # 1초 대기
		default_data.append(f)  # data append
	return default_data  # 반환
  
for i in default_func():  # fuction 호출
	print(i)

 

default_func 함수를 선언하고, for문을 통해 반환된 값을 출력해보면,

# after 5 second
1
2
3
4
5

실행 시간 기준으로 5초가 지난 뒤 "12345"가 동시에 출력되는 결과를 볼 수 있다. 5개의 문자를 출력할 때는 큰 문제가 없지만, 수만 개 이상의 데이터를 제공해야 하는 경우에는 수만 초의 시간이 소요될 것이다. 이럴 때 제너레이터를 사용하면 어떤 장점을 얻을 수 있을까?

 

def yield_func():
    for f in "12345":
        time.sleep(1)
        yield f
        
for i in yield_func():
    print(i)

위에서 작성한 default_func()의 기능을 yield를 사용한 generator로 구현한 결과이다. 이 함수의 실행 결과를 보면,

 

# after 1 second
1
# after 1 second
2
# after 1 second
3
# after 1 second
4
# after 1 second
5

데이터를 생성하는 데 1초가 소요되는 함수에서 5초 뒤 모든 값을 한 번에 출력하지 않고 개별적으로 출력된다. 1초가 소요된 후 1이 출력되고, 다시 1초가 소요된 후 2가 출력, 다시 1초가 소요된 후 3이 출력되는 형식으로 5까지 출력된다. 결과를 나누어서 얻을 수 있는 것이다.

 

제너레이터를 사용하면 성능 측면에서 이점을 얻는다.

 

 

또한 return으로 반환할 경우 모든 결과값을 메모리에 올려두었다 반환하지만, yield 키워드를 사용하면 결과값을 하나씩 메모리에 올려두고 반환한다.

 

제너레이터를 사용하면 메모리 효율 측면에서 이점을 얻는다.

 

 

때문에 제너레이터는 메모리에 한 번에 올리기 부담스러운 대용량 파일을 읽거나, 스트림 데이터를 처리하는 등의 작업이 필요할 때 유용하게 사용하여 더 효율적인 프로그램을 작성할 수 있다.

 

 

---

 

2. yield 키워드란?

함수에서 일반적으로 반환값을 보내기 위한 'return' 대신 사용할 수 있는 키워드이다. 하지만 return과 같은 방식으로 반환되지는 않으며 결과값을 한 번에 제공하는 것이 아닌 여러 차례에 나누어 제공한다.

• yield는 함수를 정지시키고 현 상태를 저장한다. (return은 함수를 종료시킴)
• 함수가 연이어 실행될 때 내부에 저장되어 있는 데이터를 사용한다.
• 함수가 호출되면 iterator 메소드(__iter__, __next__ 등)가 자동으로 시행된다.
• next() 메소드를 사용하여 해당 아이템을 반복(iterate)시킬 수 있다.
• yield로 생성한 generator는 iterable한 객체가 되며 반복문에서 사용할 수 있다.

yield 키워드가 실행되면 함수의 상태를 저장한 후 제너레이터가 호출된 함수로 실행을 넘기게 된다. 때문에 yield는 '특정 데이터를 함수 바깥으로 전달(반환)하면서 프로그램의 실행은 함수 바깥에 양보한다'라고 말할 수 있다.

 

 

▶ yield from

Python 3.3부터 사용 가능한 키워드로, 반복문을 사용하지 않고 제너레이터를 반환할 수 있다.

>>> def default_generator():
...     a = [1, 2, 3]
...     for i in a:
...             yield i
... 
>>> gen = default_generator()
>>> list(gen)
[1, 2, 3]

yield를 사용한 일반적인 제너레이터에서는 반복문을 사용하여 반환한다. (한 번에 여러 값을 보낼 수 없음)

 

>>> def yf_generator():
...     a = [1, 2, 3]
...     yield from a
... 
>>> gen = yf_generator()
>>> list(gen)
[1, 2, 3]

하지만 위와 같이 yield from 키워드를 사용하면 반복문 없이 iterable한 객체를 yield할 수 있다.

 

 

---

 

 

3. generator와 yield의 응용

generator는 iterable한 객체로 동시에 두 개 생성할 경우 서로 다른 객체로서 동작한다.

>>> def generator_ex():
...     yield 1
...     yield 2
...     yield 3
...
>>> a = generator_ex()
>>> b = generator_ex()
>>> a == b
False
>>> a is b
False
>>> next(a)
1
>>> next(b)
1
>>> next(a)
2
>>> next(b)
2
>>> next(b)
3
>>> next(a)
3

 

Python의 자료형인 List, Set, Dictionary의 표현식 내부를 살펴보면, generator임을 알 수 있다.

>>> type(x*x for x in [2, 4, 6])
<class 'generator'>

 

generator로 구현한 함수를 호출하여 결과를 출력하는 것이 아닌, 함수 호출 결과를 바로 출력하면 아래와 같은 값을 반환하는 것을 알 수 있다.

>>> print(return_abc())  # return list("ABC")
['A', 'B', 'C']
>>> print(yield_abc())  # yield "A"; yield "B"; yield "C"
<generator object yield_abc at 0x7f4ed03e6040>

• return_abc() : 리스트(list)를 반환한다.
• yield_abc() : 제너레이터(generator)를 반환한다.

 

▶ 제너레이터를 사용하여 무한한 데이터를 생성하려면 어떻게 해야할까?

간단히 yield 키워드를 이용하여 1,2,3,4,5라는 숫자를 무한히 생성하는 프로그램을 만들면 된다.

def yield_loop():
    while True:
        yield 1
        yield 2
        yield 3
        yield 4
        yield 5
        
for f in yield_loop():
    print(f)

time 모듈을 이용하여 프로그램을 대기하거나, 반복문을 빠져나오는 조건이 없기 때문에 프로그램은 무한히 반복된다.

1
2
3
4
5
1
2
3
4
...(중략)

만약 제너레이터를 사용하지 않고 데이터를 무한히 생성하는 함수를 실행할 경우 (컴퓨터의 물리적인 메모리에는 한계가 존재하기 때문에) 시스템에 큰 부하를 남길 것이다.