차밍이

목차 multiprocessing 사용하게된 계기 기록용으로 안읽고 다음 탭으로 넘어가셔도 됩니다. 파이썬에서 처리 속도를 높이기 위해 멀티 프로세싱을 사용할 수 있다. 대용량의 csv 파일 수 천개를 다뤄야 했던 경험이 있다. pandas를 사용해서 파일을 읽어오는 것에만 상당히 많은 시간을 소모한다. 하나의 csv 파일을 읽어오기 위해서 그 동안 가만히 기다려야 하는 시간들이 매우 소모적이라고 생각했다. 대용량 csv 파일도 있지만 절반 정도는 매우 용량이 적은 csv 파일들이었다. 메모리에 문제가 없는 수준에서는 여러개의 파일을 읽어와서 동시에 처리해도 괜찮겠다고 생각했다. 그래서 멀티프로세싱을 사용해 core 4개로 설정했더니 2배 이상 빨라졌다. Good ! 멀티 Pool 사용하기 from mu..