차밍이

Python - CPU Core 수 확인하는 2가지 방법 os, multiprocessing

커딩왕 — Tue, 20 Jun 2023 14:51:31 +0900

파이썬을 활용해서 병렬 작업을 위해 멀티프로세스를 활용하는 경우가 다수 있습니다.
해당 작업을 진행할 때, 개인 PC CPU 값으로 대충 4 또는 8 로 값을 넣는 경우가 많습니다.
반면, 현재 CPU의 코어 수를 확인해서 해당 값을 넣어주는 방식으로도 많이 작성합니다.
따라서 간단하게 CPU 코어 수 확인하는 코드를 알아보겠습니다.

Multiprocessing 모듈 활용

멀티프로세스를 주로 사용하므로 아래와 같은 방식으로 보통 많이 사용합니다.

multiprocessing 모듈의 cpu_count 메소드를 사용하는 방식입니다.

import multiprocessing

multiprocessing.cpu_count()

OS 모듈 활용

import os
os.cpu_count()

기본 모듈인 OS 를 통해서도 cpu 수를 확인할 수 있습니다.

동일하게 cpu_count 메소드를 활용하면 됩니다.

차이점 비교

두 함수에서 얻는 값도 동일하며 속도 차이도 거의 없는 것으로 확인됩니다.
저의 개인 pc에서 속도를 확인하면 os모듈을 사용하는게 조금 더 빠른 것으로 확인되네요.
해당 값 자체를 자주 불러오는 작업이 아니므로 편한 것으로 사용하시면 되겠습니다.

multiprocess와 os를 사용한 CPU Core 수 Count 결과 비교 사진

[파이썬] Dataframe 대용량 빅데이터 빠르게 읽고 쓰는 방법

커딩왕 — Fri, 14 Apr 2023 13:49:04 +0900

파이썬을 사용해서 수 GB 정도의 데이터를 다루는 경우가 많습니다. 이 정도 크기의 대용량데이터를 판다스를 사용해서 읽고 쓰면 상당히 많은 시간이 소요됩니다. 40~50초 정도에서 길면 몇십 분 정도 기다려야 하는 경우가 있죠. 조금 기다리면 되지만 저는 가능하면 빠르게 처리되는 것을 선호합니다. 그래서 새롭게 알게 된 pyarrow를 사용해서 더 빠르게 데이터 프레임 형식으로 데이터를 읽고 쓸 수 있는 방법에 대해서 알아보겠습니다.

Apache Arrow란?

Apache Arrow는 인메모리 분석을 위한 개발 플랫폼으로 빅데이터 저장 및 처리 등을 지원하는 기술이 포함되어 있습니다. Arror 객체는 C++를 통해서 구현되어 있고 NumPy, Pandas 등의 Python 객체가 내장되어 통합이 용이합니다.

Pyarrow는 table이라는 형식을 사용합니다. Pandas는 DataFrame을 기본 형식으로 사용하는 것과 비슷하게 생각하면 됩니다.

Pyarrow 설치

pip을 사용해서 쉽게 설치할 수 있습니다.

pip install pyarrow

Test용 임시 데이터 만들기

테스트를 위해 임시로 간단한 데이터를 만들어서 사용하겠습니다. 기존에 사용할 데이터가 있다면 해당 데이터를 사용해도 무방합니다.

import os
import pandas as pd
import random

save_dir = os.path.join(os.getcwd(), 'tmp')
os.makedirs(save_dir, exist_ok=True)
file_path = os.path.join(save_dir, '임시데이터.csv')
line_count = 100_000

with open(file_path, 'w') as handler:
    start = time.perf_counter()
    for _ in range(line_count):
        data_generated = ["ABCDEFG"[random.randint(0,6)] + 
                          str(random.randint(1000, 9999)) for _ in range(1000)]
        line_data = ",".join(data_generated) + "\n"
        handler.write(line_data)
    print(time.perf_counter()-start)

만들어서 저장한 데이터

데이터 형식은 문자열로 object type으로만 만들어서 구성하였습니다. 뒤에서 판다스와 아파치를 사용한 경우의 시간 차이를 비교해보겠지만, int type으로만 구성된 데이터의 경우는 pandas와 pyarrow의 차이가 크게 없는 것으로 결과가 나왔습니다.

Pyarrow CSV 파일 읽기

pyarrow 패키지 내에 csv 파일 형식을 다루는 모듈이 있습니다. csv.read_csv를 통해서 csv파일을 읽어올 수 있습니다. 큰 틀은 판다스와 비슷합니다.

from pyarrow import csv

table = csv.read_csv(file_path)
table

read_csv, write_csv를 할 때 pyarrow는 옵션을 pyarrow의 옵션을 따로 묶어서 넘겨줘야합니다. 판다스와 비교한 아래 예시를 참고해 주세요.

Pandas

import pandas as pd

df = pd.read_csv(file_path, columns=['a','b','c',])

Pyarrow

from pyarrow import csv

options = csv.ReadOptions(column_names=['a','b','c'])
table = csv.read_csv(file_path, read_options=options)

비교하면 쉽게 차이가 보이죠. csv.ReadOptions를 통해서 columns명을 정해서 넘겨줄 수 있습니다. 이렇듯 pyarrow에서는 옵션을 하나로 모아서 넘겨줘야 한다는 차이가 있습니다.

Pyarrow CSV 파일 쓰기

from pyarrow import csv

options = csv.WriteOptions(include_header=False)
csv.write_csv(table, "data.csv", options)

Pandas VS Pyarrow 읽기 시간 비교

판다스와 Pyarrow를 사용해서 데이터 읽고 쓰는 시간을 비교해 보겠습니다. 최종적으로 Pandas의 DataFrame을 사용해서 데이터 분석이나 시각화를 진행한다고 생각해서 pyarrow의 table 형태를 dataframe으로 변경하는 것까지 해서 시간을 비교해 보겠습니다.

import time
import os
import pandas as pd
from pyarrow import csv

print("Pandas DataFrame 사용")
start = time.perf_counter()

df = pd.read_csv(file_path, header=None)
print(df.shape)
print(df.head())

end = time.perf_counter()
print('소요시간 = {:.2f} sec'.format(end-start), end="\n")


print("Pyarrow Table 사용")
start = time.perf_counter()

read_option = csv.ReadOptions(column_names=list(str(i) for i in range(1000)))
table = csv.read_csv(file_path, read_options=read_option)
df = table.to_pandas()
print(df.shape)
print(df.head())

end = time.perf_counter()
print('소요시간 = {:.2f} sec'.format(end-start))

판다스를 통해서 pd.read_csv를 사용한 경우 23.45 sec 가 소요됐습니다. 반면 Pyarrow의 csv.read_csv를 사용해서 table 형식으로 읽은 후 다시 DataFrame으로 변경하는 데 걸리는 시간은 11.58 sec로 거의 50%가량의 시간을 단축시킬 수 있었습니다.

Pandas와 Pyarrow 읽기 속도 비교 결과

Pandas VS Pyarrow 쓰기 시간 비교

데이터프레임 형식의 데이터를 CSV 형식으로 저장하는 데 걸리는 시간을 비교해 보겠습니다.

import time
import os
import pandas as pd
from pyarrow import csv
import pyarrow as pa

# 쓰기 전 데이터 읽어오기
# 읽는 것은 Pyarrow가 빠르니까 pyarrow 사용
read_option = csv.ReadOptions(column_names=list(str(i) for i in range(1000)))
table = csv.read_csv(file_path, read_options=read_option)
df = table.to_pandas()


# 쓰기 시간 비교
print("Pandas DataFrame 사용")
start = time.perf_counter()

df.to_csv(file_path, header=None)

end = time.perf_counter()
print('소요시간 = {:.2f} sec'.format(end-start), end="\n")


print("Pyarrow Table 사용")
start = time.perf_counter()

options = csv.WriteOptions(include_header=False)
table = pa.Table.from_pandas(df)
csv.write_csv(table, file_path, options)

end = time.perf_counter()
print('소요시간 = {:.2f} sec'.format(end-start))

Pandas vs Pyarrow 쓰기 시간 비교 결과

쓰기 결과가 상당히 차이가 많이 나는 것을 확인했습니다. Pandas는 45초가 걸린 반면 Pyarrow는 7초밖에 걸리지 않았습니다. 예상보다 훨씬 큰 차이를 보였습니다. 거의 6배 정도의 차이니까 엄청난 차이입니다. 이 정도면 Pyarrow를 무조건 써야 하지 않겠습니까?!

지금까지 대용량데이터를 어떻게 하면 더 빠르게 DataFrame 형식으로 읽어오거나 CSV로 저장할 수 있는지에 대해서 알아보았습니다. 해당 방법을 활용해서 더욱 빠른 파이썬 활용에 도움이 됐으면 좋겠습니다. Pyarrow를 잘 활용해 보세요~

참고하기 좋은 자료

https://superfastpython.com/multithreaded-file-loading/#Create_10000_Files_to_load

[Python] 파일 옮기기 복사하기 - shutil 모듈 move copy

커딩왕 — Mon, 6 Feb 2023 19:26:04 +0900

컴퓨터로 작업을 하다 보면 특정 폴더에서 파일을 옮기거나 복사하는 작업을 하는 경우가 있습니다.

단순하게 그냥 쓱 옮기면 편한데,
가끔은 날짜별로 정리를 하는 등의 조건에 따라 분류를 해줘야 하는 경우도 생기면 번거로워집니다.

게다가 파일의 수가 많아지면 더욱 힘들어 지는 것이죠.

이럴 때 파이썬을 사용하면 쉽고 편하게 파일을 분류할 수 있습니다.

그래서 오늘은 디렉토리의 파일들을 옮기거나 복사하기 위해 shutil 모듈을 사용해보겠습니다.

파일 옮기기 : file move

파일을 옮기기 위해서 shutil.move method를 사용하면 됩니다.
기존의 위치(src)에서 옮길 위치(dst)를 설정해 주면 됩니다.

shutil.move 예제 코드

import shutil
import os

filename = "temp.txt"
src = "E:\py_workspace\org_directory"
dst = "E:\py_workspace\new_directory"

shutil.move(os.path.join(src, filename), os.path.join(dst, filename))
# shutil.move(src + "/" + filename, dst + "/" + filename) 
# os.path.join 은 디렉토리 형태로 합쳐주는 method입니다. 위의 두 코드의 결과는 동일합니다.

파일 복사 : file copy

파일을 복사하기는 shutil.copy를 사용하면 됩니다.
move와 마찬가지로 기존의 위치 src에서 dst로 파일을 복사해 줍니다.

import shutil
import os

filename = "temp.txt"
src = "E:\py_workspace\org_directory"
dst = "E:\py_workspace\new_directory"

shutil.copy(os.path.join(src, filename), os.path.join(dst, filename))

조건에 따라 활용

특정 조건에 따라서 분류하는 방법에 대한 예시를 들어보겠습니다.

size 값에 따라서 폴더를 만들고 해당 폴더로 파일을 옮기는 것입니다.
size로 이루어진 폴더가 없으면 폴더를 만들고 만든 폴더 명은 set에 저장해 두었습니다.
그리고 해당 size를 가진 파일들은 size로 이루어진 폴더 안으로 move 하도록 하였습니다.

import shutil
import os

org_path = "E:\py_workspace\org_directory"
dst_path = "E:\py_workspace\new_directory"
files = os.listdir(org_path)

size_set = set()
for file in files:
    menu, size, side = file.split(",")
    if size not in size_list:
        size_set.add(size)
        os.mkdir(os.path.join(dst_path, size))
    
    src = os.path.join(org_path, file)
    dst = os.path.join(dst_path, size, file)
    shutil.move(src, dst)

이런 방식으로 파일을 원하는 조건에 맞춰 분류하고 이동할 수 있습니다.

오류 발생 경우

FileNotFoundError: [Errno 2] No such file or directory:

shutil move 또는 shutil copy를 할 때, 위와 같은 에러가 발생하는 경우가 종종 있습니다.
Error가 발생되는 경우는 다음과 같습니다.
1. 기존 위치의 파일이 없거나 경로가 잘못된 경우
2. 옮길 위치의 폴더가 없는 경우

위의 두 가지 경우가 있습니다.
특히나 2번과 같이 옮길 위치 directory 중 없는 폴더가 있으면
폴더가 생성되지 않고 오류가 발생하는 경우가 많으니 한 번 다시 확인해 보시면 해결할 수 있을 것입니다.

지금까지 Shutil 모듈을 사용해서 파일을 move or copy 하는 방법에 대해서 알아보았습니다.

[Python] SQL 데이터 Pandas DataFrame으로 불러오기 & 저장하기

커딩왕 — Tue, 31 Jan 2023 01:00:19 +0900

파이썬으로 데이터 분석같은 작업을 수행하다 보면
판다스 데이터 프레임을 바로 DB로 저장하거나
DB의 데이터를 DataFrame으로 바로 불러오고 싶은 경우가 많이 있습니다.

그래서 오늘은 DB와 DF간의 데이터를 저장 혹은 불러오는 방법에 대해 정리하였습니다.

pandas DataFrame을 DB 파일 형식으로 저장하기

소스코드

저장하기 소스코드는 아래와 같습니다.
설명은 코드 아래 내용들을 확인하시면 됩니다~

import sqlite3
import pandas as pd

# 1. 데이터 저장하기
con = sqlite3.connect('example.db')
cur = con.cursor()

df.to_sql('region_table', con)
con.close()

# 2. 데이터 불러오기
con = sqlite3.connect("example.db")

df = pd.read_sql("SELECT * FROM region_table", con, index_col='index')
con.close()

df

저장용 데이터 생성

DB에 저장할 DataFrame 데이터를 임시로 만들겠습니다.
아래 코드를 사용해 주시면 돼요~

import pandas as pd
import sqlite3

data = [['A지역', 'B지역', 'C지역', 'D지역', 'E지역', 'F지역', 'G지역', 'H지역', 'I지역'],
    [638, 11, 35, 18, 1, 57, 81, 365, 36],
    [774, 16, 38, 19, 2, 68, 96, 411, 34],
    [807, 16, 58, 26, 2, 62, 99, 415, 20],
    [817, 20, 60, 20, 1, 70, 104, 429, 27],
    [768, 18, 53, 22, 6, 67, 108, 404, 46],
    [898, 24, 63, 27, 2, 64, 119, 431, 46],
    [926, 29, 64, 22, 5, 63, 129, 438, 34],
    [928, 17, 53, 29, 7, 59, 127, 458, 49],
    [891, 19, 53, 24, 6, 61, 138, 458, 69],
    [1029, 20, 58, 37, 11, 69, 149, 492, 62]]
df = pd.DataFrame(data[1:], columns=data[0])

다른 방법으로 DataFrame을 만들려면 아래 글도 참고해 보세요~

[Python] 랜덤한 데이터로 DataFrame 만들기

목차 블로그 글을 작성하거나, 이런저런 예시나 테스트를 할 때 가끔 랜덤한 데이터를 생성할 필요한 경우가 생깁니다. 한 번 알아놓으면, 매번 귀찮게 찾아보지 않아도 되니 천천히 따라 해보

chancoding.tistory.com

SQL DB 연결하기

example.db라는 DB 파일과 연결한 Connection 객체를 생성합니다.
현재 파이썬과 SQL를 연결한 것으로 생각하면 됩니다.

con = sqlite3.connect('example.db')
cur = con.cursor()

SQLite3에 데이터를 저장하는 SQL에 대해서는 아래 글을 참고해 주세요~

[Python] SQlite3 DB에 데이터 저장 및 조회

목차 파이썬으로 작업하다보면 SQL 데이터 작업을 해야할 때가 생깁니다. SQLite 데이터베이스를 파이썬에서 연결하는 방법에 대해서 알아보겠습니다. 전체적인 Flow 파이썬에서 DB 파일에 연결하

chancoding.tistory.com

SQL DB에 저장하기 : to_sql

DataFrame객체의 to_sql method를 사용해서 DB에 저장이 가능합니다.

해당 메소드는 to_sql(테이블 명, Connection)이렇게 사용합니다.

첫 번째 인자로 DB에 저장할 테이블 명을 입력합니다.
두 번째 인자에는 DB와 연결한 Connection 객체를 넣으면 됩니다.

df.to_sql('region_table', con)
con.close()

이렇게 하면 데이터프레임이 SQL에 테이블 형태로 데이터가 저장됩니다.
SQLite에 직접 들어가서 확인하시면 쉽게 확인할 수 있습니다.

DataFrame과 SQL DB 데이터 비교

왼쪽 사진은 DataFrame의 테이블이고 오른쪽은 SQL GUI에서 확인한 테이블의 데이터입니다.
각 Column의 데이터가 잘 들어갔고 DataFrame의 index 또한 "index"라는 Column으로 저장된 것을 볼 수 있습니다.

SQL DB에서 판다스 DataFrame으로 데이터 불러오기

SQL에서 불러오기 : read_sql

위에서 저장한 example.db의 region_table 테이블의 데이터를 데이터프레임으로 불러오겠습니다.

저장할 때와 마찬가지로 DB와 연결을 진행합니다.
그리고 Pandas의 read_sql 메소드를 통해 불러오도록 합니다.
해당 메소드는 read_sql( SQL문, 연결객체) 형태로 사용합니다.

import sqlite3
import pandas as pd

con = sqlite3.connect("example.db")

df = pd.read_sql("SELECT * FROM region_table", con, index_col='index')
df

다음과 같이 불러온 데이터를 확인할 수 있습니다.

read_sql 불러온 데이터

지금까지 판다스의 데이터프레임과 SQL DB에 대해서 데이터를 저장하고 불러오는 방법에 대해서 알아보았습니다.

파이썬을 활용하는데 있어서 SQL 데이터를 쉽게쉽게 판다스와 연동할 수 있어서 편리한 것 같습니다.

대한항공 x 현대카드 마일리지 가장 빠르게 쌓는 카드 추천 - 현대 030 카드

커딩왕 — Mon, 30 Jan 2023 00:01:34 +0900

마일리지 최대 적립 카드

코로나가 끝나가며 다시 해외여행을 많이 다니시는 분들이 늘었습니다.
항공사 마일리지를 잘 활용하면, 무료 항공권이나 좌석 업그레이드 등 많은 혜택을 누릴 수 있기에
대한항공 마일리지를 빠르게 쌓을 수 있는 카드에 대해서 소개하려 합니다.

1. 이번에 소개할 카드는?

대한항공카드 디자인

대한항공카드 030 / 070 / 150 / the First

현대카드의 "대한항공카드" 030 / 070 / 150 / the First 카드로 총 4가지 종류가 있는데,
저는 제가 관심 있는 대한항공카드 030에 대해서만 설명할게요.

연회비를 줄이고, 마일리지 혜택에만 집중한 카드로 마일리지 적립 가성비로 활용하기 좋은 카드라고 생각합니다.

2. 백 원 단위까지 마일리지를 적립해 주는 개꿀 혜택!

☝ 국내외 가맹점 이용금액 1 천원당 1마일리지 적립
☝ 직판 항공권 / 기내 면세점 1천원당 2 마일리지 적립
☝ 해외 / 가맹점 / 국내 면세점 1천원당 2 마일리지 적립
여기까지는 보통 다른 카드와 동일하죠?

이 카드만의 특징은 바로바로!
건별 이용금액 천 원 단위 미만 금액까지 마일리지 적립(소수점 이하 올림)

편의점에서 2,300원을 사용하면 2.3 마일리지
쇼핑했는데 18,400원을 사용했다면 18.4 마일리지로 계산이 되어
20.7 => 21 마일리지가 적립됩니다.

보통은 천원 미만은 없애버려서 2 + 18 마일리지가 적립되는데,
이 카드는 그 이하까지 모두 소수점 단위로 해서 적립해 주고 올림으로 적립을 다 챙겨준다는 사실!!

이용 가맹점	이용금액	적립 마일리지
외식업종	3,800원	3.8마일리지
국내면세점	5,300원	10.6마일리지
합계	14.4마일리지
최종 적립 마일리지(소수점 이하 절상)	15마일리지

3. 웰컴보너스 이벤트 진행

웰컴보너스 3천 마일리지 적립 혜택이 있습니다.
발급월 포함 3개월 누적 이용금액이 100만 원 이상 사용할 경우
웰컴 보너스로 3천 마일리지를 적립해 줍니다.

발급월 포함 4개월 차 25일~30일경 혜택 제공
- 예시) 5월에 발급하여 7월 31일까지 누적 이용금액 100만 원 이상일 경우 8월 25일~8월 30일경 마일리지 적립

4. 연회비

국내외겸용 / 국내용 모두 상관없이 30,000원입니다.
일반 보통 신용카드에 비해서 비싼 편이지만, 다른 항공사 마일리지 카드들의 연회비가 보통 5만 원 이상인 것을 고려하면 저렴한 편입니다.

030카드 연회비

5. 주의사항

1. 030 카드 최초 발급의 경우만 해당되며 070 150 등의 카드와 중복 혜택이 발생하지 않습니다!

2. 웰컴보너스 적립 후 카드 해지 시 서비스 제공에 소요된 비용 공제 후 일할 계산하여 연회비 환불 ->이라는 유의사항이 달려있으니 적립하고 바로 해지하면 연회비 환불은 안된다고 생각해야겠습니다.

3. 상품권 결제 금액에 대해서는 마일리지 적립이 되지 않으니, 아쉽지만 상테크로는 사용이 불가능합니다 ㅠ

약관 주의사항

지금까지 대한항공카드 030에 대해서 알아보았습니다.
대한항공 마일리지를 많이 모으고 싶다면 한 번 이용해 보기에 좋은 카드라고 생각해요.
저도 이번에 알아보면서 신청한 카드이니 한 번 관심가져 보세요

[Python] SQlite3 DB에 데이터 저장 및 조회

커딩왕 — Sat, 28 Jan 2023 05:00:02 +0900

파이썬으로 작업하다보면 SQL 데이터 작업을 해야할 때가 생깁니다.

SQLite 데이터베이스를 파이썬에서 연결하는 방법에 대해서 알아보겠습니다.

sqlite3 로고

전체적인 Flow

파이썬에서 DB 파일에 연결하고 작업하는 전체적인 과정입니다.

import sqlite3

con = sqlite3.connect('example.db')
cur = con.cursor()

# 테이블 만들기
cur.execute('''CREATE TABLE stocks
               (date text, trans text, symbol text, qty real, price real)''')

# ROW 단위로 데이터 저장하기
cur.execute("INSERT INTO stocks VALUES ('2006-01-05','BUY','RHAT',100,35.14)")

# 데이터 저장하기
con.commit()

# connection 종료하기
con.close()

1. con은 Connect 객체로 데이터베이스와 연결하는 역할을 합니다.

2. Connection을 얻었으면, Cursor 객체를 만들어 cur을 사용해서 SQL의 전반적인 작업을 수행합니다.

3. execute 메소드를 사용해서 SQL 문법을 수행할 수 있습니다.

4. 모든 작업이 끝났다면, Connection에서 commit을 수행하여 변경된 내용을 DB에 저장합니다.

5. 이후 DB와연 연결을 종료해 마무리를 합니다.

SQL 데이터 조회

데이터 가져오기 : execute / fetchone / fetchall()

# 방법 1 직접 작성
cur.execute("SELECT * FROM stocks WHERE symbol='AAPL'")
print(cur.fetchone())

# 방법 2 변수 넣기
t = ('AAPL',)
cur.execute('SELECT * FROM stocks WHERE symbol=?', t)
print(cur.fetchone())
print(cur.fetchall())

execute는 단순 실행만합니다.

데이터를 꺼내려면, cur를 iterator로 사용하거나, fetchone method를 사용해서 단일행 데이터를 그져와야 합니다.

다수의 행을 한 번에 조회하려면 fetchall() 메소드를 사용하면 됩니다.

다수의 데이터 저장하기 : executemany

purchases = [('2006-03-28', 'BUY', 'IBM', 1000, 45.00),
             ('2006-04-05', 'BUY', 'MSFT', 1000, 72.00),
             ('2006-04-06', 'SELL', 'IBM', 500, 53.00),
            ]
cur.executemany('INSERT INTO stocks VALUES (?,?,?,?,?)', purchases)

다수의 데이터를 저장할때에는 executemany 메소드를 사용합니다.

[Python] Plotly 누적 그룹 막대 그래프 그리기 - Stack and Group Bar Chart

커딩왕 — Fri, 27 Jan 2023 05:00:04 +0900

Plotly를 사용해서 간단한 누적 막대 그래프와 그룹 막대 그래프를 그리는 것에 대해서는 이전 게시글을 확인해주세요.

[Python] Plotly 그래프 사용법 - Bar Plot

목차 Plotly 그래프 중 Bar Graph 그리는 방법에 대해 소개하겠습니다. express와 graph_objects 두 가지 방식을 모두 알아보겠습니다. 두 개의 차이가 궁금하다면 아래 글을 참고 해주세요. [Plotly] express와

chancoding.tistory.com

이번 게시글에서는 그룹화된 누적 막대그래프를 그리는 방법에 대해서 알아보겠습니다.

엑셀로도 해보려고 했는데 잘되지 않아서 Python Plotly를 통해서 그냥 구현하는게 빠르겠다 싶어서 알아보았습니다.

1단계 : 기본 데이터 생성

그래프를 그리기 위한 예시 데이터를 생성하겠습니다.

A지역의 데이터가 더 크고 B지역은 B-1지역과 B-2지역 두 개로 나뉘어있다고 가정해서 데이터를 만들었습니다.

import pandas as pd
import numpy as np
import plotly.graph_objects as go

data = np.random.randint(0,100,size=(10,3)) + np.array([80,0,0])
df = pd.DataFrame(data, columns=['A지역', 'B-1지역', 'B-2지역'])
df

랜덤한 값이므로 다른 값이 나올 수 있습니다~

사용할 데이터 테이블

2단계 : Simple Bar Chart

우선 간단한 기본 바 그래프를 그려보면 다음과 같습니다.

기존에 BarChart를 그리는 방법에 대해서 설명할 때 아래와 같이 add_trace를 통해서 go.Bar 객체를 추가하였었습니다.

fig = go.Figure()

for col in df.columns:
    fig.add_trace(
        go.Bar(x=df.index, y=df[col], name=col)
    )

fig.show()

Plotly Grouped Bar Graph

이번에는 기존과 다르게 Figure객체를 생성할 때 바로 데이터를 추가하는 방식으로 진행해보겠습니다.

fig = go.Figure(
    data=[
        go.Bar(x=df.index, y=df['A지역'], name='A지역'),
        go.Bar(x=df.index, y=df['B-1지역'], name='B-1지역'),
        go.Bar(x=df.index, y=df['B-2지역'], name='B-2지역'),
    ]
)

fig.show()

그래프 결과는 위와 동일한 결과를 확인할 수 있습니다.
단순히 이렇게만 그려도 Group화 된 막대그래프를 그릴 수 있습니다.
하지만, 우리가 원하는 것은 B-1과 B-2를 같은 그룹으로 묶어서 쌓아 올리는 것입니다.
우선 같은 그룹으로 묶는 방법에 대해서 알아보겠습니다.

3단계 : offsetgroup 설정하기

go.Bar에서 offsetgroup이라는 옵션을 사용할 수 있습니다.

이 값을 사용해서 Bar 그래프를 그룹화할 수 있습니다.

fig = go.Figure(
    data=[
        go.Bar(x=df.index, y=df['A지역'], name='A지역', offsetgroup=0),
        go.Bar(x=df.index, y=df['B-1지역'], name='B-1지역', offsetgroup=1),
        go.Bar(x=df.index, y=df['B-2지역'], name='B-2지역', offsetgroup=1),
    ]
)

fig.show()

plotly offsetgroup bar chart

하지만 여기에 문제가 있습니다.

B-2 지역 데이터를 추가한 결과를 통해 비교해 보겠습니다.

offsetgroup값이 동일한 두 개의 막대그래프가 겹쳐집니다.

둘 다 0부터 시작하니까 두 값을 합한 값의 높이를 확인할 수 없는 것이지요..ㅠ

4단계 : base 설정하기

3단계의 문제를 해결하기 위해서는 두 번째 B-2지역의 Bar 시작지점이 B-1 offsetgroup 막대그래프 끝 지점에서 부터 시작해야 합니다.

그래서 Base라는 옵션을 통해서 시작 지점을 어디서부터 할 것인지 기본 값을 넣어줄 수 있습니다.

fig = go.Figure(
    data=[
        go.Bar(x=df.index, y=df['A지역'], name='A지역', offsetgroup=0),
        go.Bar(x=df.index, y=df['B-1지역'], name='B-1지역', offsetgroup=1),
        go.Bar(x=df.index, y=df['B-2지역'], name='B-2지역', offsetgroup=1, base=df['B-1지역']),
    ]
)

fig.show()

grouped and stacked bar graph using Plotly

이렇게 하면 아래와 같이 B-1 지역의 값이 끝나는 막대 위에서 부터 B-2 막대가 시작하는 것을 확인할 수 있습니다.

지금까지 Plotly를 사용한 그룹화된 누적 Bar Chart를 만들 수 있습니다.

[Python] 랜덤한 데이터로 DataFrame 만들기

커딩왕 — Thu, 26 Jan 2023 20:43:27 +0900

블로그 글을 작성하거나, 이런저런 예시나 테스트를 할 때
가끔 랜덤한 데이터를 생성할 필요한 경우가 생깁니다.
한 번 알아놓으면, 매번 귀찮게 찾아보지 않아도 되니 천천히 따라 해보세요.

Random 데이터로 DataFrame 만들기

바쁜 사람들을 위해 결론 소스코드만 먼저 발사합니다.

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randint(0,100,size=(100, 5)), columns=list("abcde"))
df

0~99까지의 랜덤한 정수로 이루어진
100행 5열짜리 데이터프레임 생성완료

아래는 설명하겠습니다ㅎ

랜덤한 숫자 뽑기

넘파이 모듈을 사용해서 랜덤한 숫자 뽑기

import numpy as np

np.random.randint(범위 시작, 범위 끝)

np.random.randint(0,100)

np.random.randint(0,100) 는 0에서 99까지의 숫자 중 랜덤하게 하나의 정수 값을 출력합니다.

랜덤한 숫자 행렬 만들기

np.random.randint에 size 옵션을 통해 원하는 size의 numpy array 행렬을 만들 수 있습니다.

아래 소스 코드와 같이 하면 100행 5열의 랜덤한 숫자 행렬을 만들 수 있습니다.

np.random.randint(0,100,size=(100, 5))

랜덤한 숫자로 데이터프레임 만들기

위에서 얻은 무작위 숫자로 이루어진 넘파이 배열을 pd.DataFrame으로 덮어주기만 하면 완성입니다.

df = pd.DataFrame(np.random.randint(0,100,size=(100, 5)))
df

Numpy를 Base로 사용한 이유

파이썬 내장 Random 모듈을 가져와서 사용해도 됩니다.
그러면 소스코드는 아래와 같이 되겠지요.

import random

random.randrange(0, 100)

data = [[random.randrange(0, 100) for _ in range(5)] for _ in range(100)]

df = pd.DataFrame(data)

random 모듈을 사용해서 데이터를 만들어도 되지만, 최종적으로 DataFrame 형태의 결과물을 얻을 것이므로 Numpy를 사용합니다.
Numpy와 Pandas는 Array 배열을 사용하니까 서로 호환이 잘돼서 더 빠르기 때문입니다.

속도 비교

똑같이 100행 5열 데이터를 만들어서 DataFrame으로 만드는 작업만 속도를 측정해 보아도 쉽게 알 수 있습니다.

data = [[random.randrange(0, 100) for _ in range(5)] for _ in range(100)]
data_np = np.random.randint(0,100,size=(100, 5))

Random 모듈과 Numpy 속도 비교

넘파이를 사용한 Array 데이터가 10배 이상 빠른 것을 확인할 수 있습니다.

[Python] Plotly 그래프 사용법 - Bar Plot

커딩왕 — Sat, 21 Jan 2023 09:00:04 +0900

Plotly 그래프 중 Bar Graph 그리는 방법에 대해 소개하겠습니다.
express와 graph_objects 두 가지 방식을 모두 알아보겠습니다.
두 개의 차이가 궁금하다면 아래 글을 참고 해주세요.
[Plotly] express와 graph_objects의 차이 / px와 go 차이

[Plotly] express와 graph_objects의 차이 / px와 go 차이

목차 Plotly를 사용해서 그래프를 그리는 방법은 2가지가 있습니다. 한 가지는 express를 사용하는 방법과 graph_objects를 사용하는 방법입니다. 저는 어떨때 express를 쓰고 어떨때 graph_objects를 쓰는 것

chancoding.tistory.com

예시 데이터

아래 예시에서 사용할 기본 데이터입니다.

import pandas as pd

# 예시 데이터
data = [['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I'],
    [638, 11, 35, 18, 1, 57, 81, 365, 36],
    [774, 16, 38, 19, 2, 68, 96, 411, 34],
    [807, 16, 58, 26, 2, 62, 99, 415, 20],
    [817, 20, 60, 20, 1, 70, 104, 429, 27],
    [768, 18, 53, 22, 6, 67, 108, 404, 46],
    [898, 24, 63, 27, 2, 64, 119, 431, 46],
    [926, 29, 64, 22, 5, 63, 129, 438, 34],
    [928, 17, 53, 29, 7, 59, 127, 458, 49],
    [891, 19, 53, 24, 6, 61, 138, 458, 69],
    [1029, 20, 58, 37, 11, 69, 149, 492, 62]]

df = pd.DataFrame(data[1:], columns=data[0])

plotly.express를 사용한 bar 그래프

기본 막대그래프

fig = px.bar(x=["a", "b", "c"], y=[1, 2, 3])

fig.show()

기초적인 막대그래프를 그리는 방식입니다.

기본 막대 그래프

DataFrame 형식 Bar Graph

fig = px.bar(df, title="판매량 그래프")

fig.show()

데이터프래임을 사용해도 쉽게 그래프를 그릴 수 있습니다.

데이터프래임을 사용한 그래프

특정 Column만 선택한 막대그래프

fig = px.bar(df, y=['B', 'G', 'I'], title="판매량 그래프", height=310)

fig.show()

특정 column만 선택하려면 y=을 통해서 원하는 column을 선택하면 됩니다.

추가적으로 그래프 높이를 조절하려면 height 옵션을 통해 원하는 크기 값을 넣어줍니다.

그래프 높이 조정

unstack Bar 그래프 : plotly bar stack 된 것 풀기

fig = px.bar(df, y=['B', 'G', 'I'], title="판매량 그래프", barmode='group')

fig.show()

express를 사용해서 그래프를 그리면 기본적으로 stack되는 것이 default 옵션입니다.

따라서 unstack 해서 각각의 막대그래프를 그리고 싶으면 barmode 옵션을 group으로 설정해 주면 됩니다.

plotly unstack bar graph

수평 막대그래프 그리기 Horizontal bar graph

fig = px.bar(df, x=['B', 'G', 'I'], title="판매량 그래프", orientation='h')
fig.show()

수평 막대를 그리려면 orientation 옵션을 h로 설정하면 됩니다.

수평 막대 그래프

plotly.graph_objects를 사용한 막대그래프

기본 그래프

fig = go.Figure()

fig.add_trace(
    go.Bar(x=df.index, y=df['A'], name="A")
)

fig.add_trace(
    go.Bar(x=df.index, y=df['H'], name="H")
)

fig.show()

graphg_objects를 사용한 기본적인 그래프 그리는 방식입니다.

x, y 축 값에 들어갈 값을 직접 지정을 해줘야 합니다.

df형식의 경우 직접 추가할 column들을 선택해줘야 하는 번거로움이 있습니다.

그리고 기본 형식이 group 막대그래프입니다.

graph objects를 사용한 bar graph

막대그래프 쌓기

fig = go.Figure()

fig.add_trace(
    go.Bar(x=df.index, y=df['A'], name="A")
)

fig.add_trace(
    go.Bar(x=df.index, y=df['H'], name="H")
)

fig.update_layout(
    barmode='stack'
)

fig.show()

막대그래프가 쌓여있는 스택 막대 그래프를 그리려면 fig객체에서 layout 형식을 바꿔야 합니다.

막대 그래프 쌓기

수평 막대 그래프

fig = go.Figure()

fig.add_trace(
    go.Bar(y=df.index, x=df['A'], name="A", orientation='h')
)

fig.add_trace(
    go.Bar(y=df.index, x=df['H'], name="H", orientation='h')
)

fig.update_layout(
    barmode='stack',
)

fig.show()

orientation 옵션을 h로 바꿔주면 되므로 쉽습니다.

대신 수평 막대그래프이므로 x축과 y축에 들어가는 값이 바뀌게 됩니다.

x, y 자리를 기존에서 바꿔주어야 한다는 것을 잊지 마세요.

horizontal bar graph

지금까지 Plotly를 사용해 막대그래프를 그리는 방법에 대해서 알아보았습니다.

Bar Chart 심화 버전

[Python] Plotly 누적 그룹 막대 그래프 그리기 - Stack and Group Bar Chart

Scatter Plot과 Line Plot도 한 번 알아보세요ㅎ

[Python] Plotly 그래프 사용법 - Scatter Plot

Plotly는 매우 쉽고 예쁘고 반응적인 그래프를 그릴 수 있는 라이브러리입니다. 기본적으로 JavaScript를 기반으로 하고 있는 것 같습니다. 파이썬에서 라이브러리를 import해와서 쉽게 사용할 수 있

chancoding.tistory.com

[Python] Plotly 그래프 사용법 - Line Plot

Plotly를 사용해서 Line plot을 그려보겠습니다. 1. Plotly Express - Lineplot express 객체를 통해서 lineplot을 그릴 수 있습니다. plotly에 있는 기본 데이터를 가져와서 그려보겠습니다. import plotly.express as px df

chancoding.tistory.com

[Python] Plotly : subplot 만들기의 모든것 - subtitle, type 설정 포함

목차 Subplot 기본 구조 그리기 make_subplots 함수를 사용해서 서브플롯 생성 rows와 cols 값을 통해서 몇 행, 몇 열로 그래프를 그릴지 설정하면 됨 import plotly.graph_objects as go from plotly.subplots import make_sub

chancoding.tistory.com

[Plotly] express와 graph_objects의 차이 / px와 go 차이

커딩왕 — Fri, 20 Jan 2023 18:57:05 +0900

Plotly를 사용해서 그래프를 그리는 방법은 2가지가 있습니다.

한 가지는 express를 사용하는 방법과 graph_objects를 사용하는 방법입니다.

저는 어떨때 express를 쓰고 어떨때 graph_objects를 쓰는 것인지 해깔리더라구요.

기존에 사용해보신 분들 이라면 저와 같은 의문을 한 번쯤 가지셨을 것 같네요.

궁금해서 한 번 알아보고 정리했으니, 천천히 읽어보세요~

난이도 차이

express는 파이썬 함수화가 잘 되어있어서, 쉽게 사용할 수 있습니다.

간단하게 변수 값만 넣어주면 쉽게 그래프를 그릴 수 있죠.

처음 Plotly를 사용하거나 초보자에게는 express를 사용하기를 권장합니다.

graph_objects를 사용하는 방식은 구성 요소들을 사용자가 직접 조합해서 사용하도록 되어있습니다. 그래서 plotly 객체에 대해 이해하고 데이터 구조와 아키택쳐 맞춰주어야 합니다. 대신 내가 원하는 방식으로 조금씩 바꾸고 강조하는 등의 커스터마이징에 용이합니다.

쉽게 얘기하자면 express는 완성형 보편적인 그래프를 그릴 수 있고 graph_objects는 직접 할게 많아 귀찮지만, 커스터마이징이 가능하다는 것입니다.

모듈 import와 축약어

import plotly.express as px
import plotly.graph_objects as go

plotly Document에서 추천하는데로 보통 express는 px로 줄여서 사용하고 graph_objects는 go로 줄여서 사용합니다.

express 그래프

import plotly.express as px

fig = px.line(x=["a","b","c"], y=[1,3,2], title="sample figure")

fig.show() # 그래프를 보여줌

x축과 y축에 각각의 값을 넣어주면 간단하게 그래프를 그릴 수 있습니다.

plotly px 예시 그래프

만약 DataFrame 형식의 데이터를 다룬다면, 데이터프레임을 넣으면 index와 columns를 인식해서 쉽게 그래프를 그려줍니다.

import pandas as pd

# 예시 데이터
data = [['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I'],
    [638, 11, 35, 18, 1, 57, 81, 365, 36],
    [774, 16, 38, 19, 2, 68, 96, 411, 34],
    [807, 16, 58, 26, 2, 62, 99, 415, 20],
    [817, 20, 60, 20, 1, 70, 104, 429, 27],
    [768, 18, 53, 22, 6, 67, 108, 404, 46],
    [898, 24, 63, 27, 2, 64, 119, 431, 46],
    [926, 29, 64, 22, 5, 63, 129, 438, 34],
    [928, 17, 53, 29, 7, 59, 127, 458, 49],
    [891, 19, 53, 24, 6, 61, 138, 458, 69],
    [1029, 20, 58, 37, 11, 69, 149, 492, 62]]

df = pd.DataFrame(data[1:], columns=data[0])

fig = px.scatter(df)
fig.show()

아래의 왼쪽은 df의 데이터이고 오른쪽은 px를 사용한 그래프입니다.
x축 y축을 따로 지정하거나 값을 넣지 않았음에도 index, value와 variable까지 자동으로 잡아서 그래프를 그려줍니다.

예시 데이터와 그래프

graph_objects 그래프

import plotly.graph_objects as go

fig = go.Figure()

fig.add_trace(
    go.Scatter(x=["a","b","c"], y=[1,3,2])
)

fig.update_layout(
    title="sample figure",
    xaxis_title="X",
    yaxis_title="y"
)

fig.show() # 그래프를 보여줌

graph_object를 사용해서 px.line을 사용한 그래프를 동일하게 만들어 본 코드입니다.

그래프 결과는 동일하니 생략ㅎ

처음 Figure 객체를 먼저 선언합니다.

그리고 fig에 원하는 graph를 넣어줍니다.

마지막으로 title이나 다른 기타 설정을 잡아줍니다.

express를 사용할 때에는 한 줄이면 될 것을 go를 사용하니 3줄에 걸쳐서 작성하게 됩니다.

DataFrame을 사용할 경우 더욱 복잡해집니다.

import plotly.graph_objects as go

fig = go.Figure()

for col in df.columns:
    fig.add_trace(
        go.Scatter(x=df.index, y=df[col], mode='markers', name=col)
    )

fig.update_layout(
    xaxis_title="index",
    yaxis_title="value",
    legend_title="variable"
)

fig.show()

각 column들을 add_trace로 추가해줘야해서 for문을 돌아야 합니다.

그리고 특이하게 Scatter 그래프임에도 기본 설정에 line이 들어있어서 mode='markers'를 넣어줘야 합니다.

이제는 왜 graph_objects를 사용하면 더 귀찮고 불편한지 느껴지시죠.

grarph_objects를 사용하는 이유

앞에서 애기한 것처럼 express를 사용하면 범용적인 설정만 바꿀 수 있습니다.
반면 다양하게 원하는 방식대로 바꿀 수 있다는 것이 graph object의 장점이겠죠.

아래 첫 번째 그래프처럼 이중축을 사용하는 그래프를 그린다던지
두 번째 그래프처럼 특정 시점을 기준으로 혹은 특정 막대만
색상을 바꿔 강조를 하는 등의 효과를 넣어줄 수 있습니다.

일반적인 그래프를 넘어 그래프 시각화를 자세하게 하려면 graph objects를 사용해서 그래프를 그려야합니다~

이중축 그래프 예시

특정시점 막대 색상 변경 예시

위 두 개의 그래프에 대한 코드는 아래 글에 있어요~

Plotly를 사용한 파이썬 시각화 using 코로나 데이터셋

안녕하세요. 오늘은 plotly를 사용해서 데이터 시각화 및 EDA를 진행했던 내용을 포스팅하려고 합니다. plotly는 쉽게 사용할 수 있으면서도 matplotlib보다 더 예쁘고 인터랙티브 한 자료를 만들 수 있

chancoding.tistory.com

여러분의 필요에 맞게 plotly를 활용해서 그래프를 그려보시면 좋습니다.
matplotlib 보다 훨씬 예쁘고 사용성도 좋으며, 인터랙티브한 효과들도 많아 활용성이 좋습니다.

성공하지 못하는 7가지 이유 - 하와이대저택, 게리바이너척

커딩왕 — Tue, 10 Jan 2023 21:08:31 +0900

게리바이너척의 강연의 내용인 성공하지 못하는 이유에 관한 내용을 하와이 대저택 님이 다뤄주었다.
원래 영상에서는 8가지이지만, 내가 이해한 7가지에 대해서만 적어보았다.

1. 남의 시선을 의식한다.

주변에서 자신을 부러워하는 모습을 보고 싶어 한다.
그래서 대부분 멍청한 것들을 산다.

남에게 보여주기 위해서 명품을 사고 차를 산다.
심지어 빚까지 지면서 산다.

그리고 좋아하지 않는 직장에서 일을 한다.

돈을 벌어서 특정 로고가 달린 무언가를 사야 하기 때문에 싫어하는 직장을 그만두지 못한다.

2. 절대 부자가 될 수 없는 바로 그 직업을 버리지 못한다.

지금 가진 직업으로는 절대 부자가 되지 못한다는 사실을 스스로도 알고 있다.

하지만 그 직업을 버리지 못한다.

그 직장에서 쓰는 돈으로 부족해서 빚까지 지며, 집과 차를 산다.

망할 그 지위를 좋아한다.

남들에게 보여주기를 좋아하고 부모님도 그 직장 간판을 좋아하기 때문에 그 직업을 버리지 못한다.

그중 단 한 가지도 자신을 위한 것이 없으며, 남에게 보여주기 위한 것이 아닌가.

3. 없어 보이는 것은 하기 싫어한다.

사람들은 굉장히 잘 나가는 것처럼 보이고 싶어 한다.

결코 없어 보이는 것은 하기 싫어한다.

사람들은 남들 눈에 없어 보이만 진짜 성공을 하는 것보다

현실은 실패하는 중인데, 남들 눈에는 성공하는 것처럼 보이기를 원한다.

4. 부모님으로부터 부자가 될 수 없는 방법을 배운다.

부모들은 자신의 자식에게 만점자리 시험지를 가져오기를 강요한다.

진정 자식이 원하는 것과 행복과는 무관하게 다른 학부모들이 부러워하는 모습을 보기 위해서 말이다.

5. 세상을 바라보는 관점이 다르다.

모든 것은 관점의 차이이다.

인류 역사상 가장 부자가 되기 쉬운 시기이다.

현상을 바라보는 관점이 부족하다.

6. 인내와 겸손은 모르고 한 번에 부자가 되고자 한다.

엄청난 유산의 상속과 로또에 당첨은 99.9% 일어나지 않는다.

지금 내가 도전하려는 것들이 남들은 하지 않으려는 일인지,
무슨 일이 일어나고 있는지에 초점을 맞춰야 한다.

기회는 모두에게 동등하게 주어진다.

7. 독하게 하지도 않고 그렇게 할 생각도 안 한다.

몇 명 안 되는 고객이 남긴 열댓 개의 댓글에도 답장을 달지 않으면서, 고객이 얼마 없다고 불평한다.

아무리 소수의 팔로워에게라도 집중해라.
진정한 고객을 늘리는 방법이다.

지금 당장 반짝거리기를 원하기 때문에, 정작 없어 보이는 일을 하지 않는다.

공감 능력을 길러라. 진정 고객을 생각하고 이해해라.
모두에게 가치를 전달하는 게 진짜 방법이고 그게 전략이다.

세상이 어떻게 돌아가는지 모르는 것, 망할 성공으로 가는 지름길은 없다.

생각

나만의 사업을 해보고 싶고 책도 써보고 싶다. 새로운 것들을 배우고 더 많은 것을 배우기 위해 이직도 도전하고 싶다. 입사와 동시에 이직하겠다고 다짐하고 주변에 얘기하였으나, 2년째 열심히 회사를 위해 일하고 있다.

부모짐이 자랑스러워하는 대기업 다니는 아들이라는 타이틀을 버리지 못하고 있다. 현재 직무에서 IT 직무 또는 업종으로 옮기고 싶다. 많은 기회와 배울 것이 있다면 스타트업도 가보고 싶다. 하지만, 실상 원서를 넣어보지는 않았다.

남의 시선을 떨쳐내야 한다. 그리고 독하게 실행해야 한다.

7년 후 오늘도 나는 지금 있는 그 위치에 여전히 그렇게 앉아있을 것인가?

Pandas DataFrame 성능 빠르게하기 - apply말고 Vectorization쓰자

커딩왕 — Mon, 2 Jan 2023 19:55:14 +0900

데이터 분석을 위해 Data Preprocessing 과정을 진행하는 과정을 필수적으로 거치게됩니다.

데이터 가공을 진행하다보면 여러 Column들을 연산하여 수정하거나 새로운 데이터를 만드는 과정을 수행합니다.

이러한 과정에서 데이터량이 많아짐에 따라 연산 과정이 점점 늦어지는 현상이 발생합니다.

for문 반복 혹은 itterator를 사용한 방법은 비효율적인 방법이다.

보통 apply & applymap 등을 많이 이용해서 코드를 작성합니다.

그럼에도 데이터가 많아지니, 더 빠르게 계산할 수 있는 방법은 Numpy를 최대한 활용기 + Vectorization입니다.

기본적으로 Numpy Array를 활용

단순한 연산도 Numpy Array를 활용하면 더욱 빨라집니다.

데이터프레임의 Series의 경우 .values 와 to_numpy()를 사용해서 ndarray 형태로 데이터를 바꿀 수 있다.

단순한 판다스의 연산들도 ndarray를 활용하면 연산 속도 개선이 가능하다.

테스트 데이터 생성

import numpy as np
import pandas as pd

data = [[np.random.randint(1_000_000) for _ in range(2)] for _ in range(1_000_000)]
df = pd.DataFrame(data, columns=['X', 'Y'])

기본 연산 속도 비교

(번외 참고) 메모리를 효율적으로 활용하려면 query를 사용

pandas의 query는 df.loc[ pd.eval( … ) ]와 동일한 결과를 가진다.

쿼리를 사용하면 numpy에 비해 속도 측면에서 성능이 떨어지지만 메모리 효율을 높일 수 있다.

다중 조건을 활용한 계산의 경우, 각각의 조건에 대한 연산을 진행한 후 마지막에 최종 논리 연산을 수행한다.

그러면 각각의 조건에 대한 연산 결과를 메모리에 저장하고 있어야한다.

데이터가 많은 경우 연산 결과를 저장에 어려움이 있을 수 있다.

query를 사용하면 각 row마다 헌 번에 모든 조건을 검사해 메모리를 효율적으로 사용한다.

조건식이 복잡하고 데이터가 클수록 더 좋은 효과를 가지게된다.

test 결과상에는 17.3ms로 ndarray를 활용한 것보다 2배 이상의 시간이 소요된 것을 볼 수 있다.

메모리를 위해 시간효율을 조금 양보해야하는 부분이다.

reference : https://yahwang.github.io/posts/85

Vectorization 함수 백터화 하기

numpy의 decorator를 사용해서 함수를 백터화 할 수 있습니다.

기존의 그냥 함수와 다르게 numpy 형태로 함수를 적용할 수 있도록 만들어줍니다.

import numpy as np
import time

def strange_calc(v):
    return (1.8 * v + 32) / 7 ** 3 // 17 % 9

np.vectorize
def strange_calc_vectorized(v):
    return (1.8 * v + 32) / 7 ** 3 // 17 % 9


start = time.perf_counter()
df['X'].apply(strange_calc)
df['Y'].apply(strange_calc)
print(time.perf_counter() - start)

start = time.perf_counter()
strange_calc_vectorized(df['X'])
strange_calc_vectorized(df['Y'])
print(time.perf_counter() - start)

>>>
0.6138590999998996
0.1986875999991753

단순히 apply를 통해 함수를 적용하는 것과 비교했을 때 2배 이상 빨라진 것을 확인할 수 있습니다.

pandas의 경우 최대한 numpy의 vector 계산을 활용하면 전반적인 성능을 최대로 끌어낼 수 있습니다.

2019년에 PYCON에서 발표한 자료에 따르면 단순 for문과 비교해서 632배 속도가 증가했고

.apply 대비 218배 속도가 빨라진 것을 확인할 수 있었다고 합니다.

데이터가 많아지고 연산이 복잡해질수록 백터화한 계산과의 성능차이가 더욱더 벌어질 것이므로 적극적으로 활용하면 좋습니다!

pycon 2019 영상

EPS와 PER이 무엇이며, 수익률에 미치는 영향은 ?

커딩왕 — Sat, 24 Dec 2022 23:12:15 +0900

주식을 공부하는 주린이에게 있어 EPS는 무엇이고 PER은 무엇인지 생소하셨을 것입니다.

이번 글에서는 EPS와 PER이 무엇인지 알아보고 왜 이 값이 중요한지, 마지막으로 그럼 PER이 앞으로의 수익률에 어떻게 영향을 미칠지 알아보겠습니다.

1. EPS 주당순이익

EPS = 순이익 / 주식발행수 = 주당 순이익

EPS는 주식 한 주당 발생하는 순이익을 뜻하는 말입니다.

순이익을 주식 발행 수로 나눈 값을 의미합니다.

1개의 주식이 가지는 순이익의 량을 의미하므로, EPS가 큰 기업일수록 주식 개수 대비 순수 이익금이 크다는 것을 의미합니다.

하지만, EPS가 단순하게 크다고 좋은 기업이라고 보기는 어려울 것 같습니다.

예를 들어 순이익 1000억, 주식 1000억 주, 주가 1000원인 A 회사가 있습니다. 그리고 순이익 2000억, 주식 1000억 주, 주가 4000원인 회사 B가 있습니다.

A 회사의 EPS = 1000억 원 / 1000억 주 = 1

B 회사의 EPS = 2000억 원 / 1000억 주 = 2

같은 주식 수이지만 순이익이 높은 B 회사의 EPS가 높습니다.

단순하게 EPS만 보면 B 회사가 좋은 회사로 보입니다.

그렇지만 여기서 우리에게 중요한 것을 그래서 주가가 더 오를 것인가?이지 않습니까??

그러므로 여기에 주가는 그래서 얼마인지, 얼마나 저렴한지를 확인해야 합니다.

A 회사는 EPS가 1이지만 주당 가격은 1000원입니다.

B 회사는 EPS가 2이지만 주당 가격은 4000원입니다.

B 회사의 EPS가 2배이지만 가격은 4배 비싸죠.

물론 이 지표만 가지고 그것을 판단할 수 없지만, A 회사가 순이익 대비 주가가 더 저렴해 보입니다.

그래서 EPS와 주가를 함께 고려해서 비교하는 지표가 다음에 나오는 PER입니다.

2. PER 주가수익비율

PER = 시가총액 / 순이익

= 주가 x 주식발행수 / 순이익

= 주가 / (순이익 / 주식발생수)

= 주가 / 주당순이익 = 주가 / EPS

모두가 알고 있는 투자의 진리처럼 저렴하게 사서 비싸게 파는 것을 하고 싶습니다.

그렇다면 우선 저렴하게 사는 것이 중요하겠죠.

그리고 주식이 앞으로 오르기 위해서는 수익이 좋아 회사의 순이익이 커야겠습니다.

따라서 주당순이익(EPS) 대비 주가가 저렴한 것을 사면 좋을 것 같습니다 :)

여기에 맞는 주식이 바로 PER이 낮은 주식 이겠죠?

EPS는 크고 주가는 저렴하다

PER = 주가 (낮음) / EPS (높음)

분자가 작고 분모가 크니 PER 값이 낮은 것을 의미합니다.

3. PER이 수익률에 미치는 영향

위에서 우리가 생각하는 앞으로 주가가 오를 것이라 판단되는 주식은 PER이 낮은 주식들이라고 말씀드렸습니다.

저 PER 주식들이 그렇다면 정말로 수익률이 좋을 것인가? 확인을 통해 알아봐야겠죠.

백테스트를 할 수 있는 다양한 툴 중 10 분위 테스트를 할 수 있는 툴, 퀀터스라는 서비스가 있습니다.

백테스트 프로그램을 통해서 이러한 지표로 인한 수익률 효과를 테스트를 통해 확인 및 검증을 해볼 수 있습니다.

결론만 말씀드리자면, 저 PER 주식이 고 PER 주식에 비해 수익률이 장기적으로 매우 좋았습니다.

PER이 수익률에 미치는 영향에 대해서 알아보고

퀀터스에 대한 내용 + 10 분위 테스트가 무엇인지에 대한 내용에 대해서 궁금하시다면 아래 게시글을 확인해 주세요.

[퀀터스] 퀀트 투자 팩터의 신뢰성 검증(1) - 10분위 테스트 - PER,PBR,PSR,POR

목차 잡설이 조금 길어 바로 결과를 보고 싶으시면, 목차에서 "1.PER 팩터 검증" 누르면 바로 이동됩니다. 퀀터스 간단 소개 퀀트킹과 젠포트를 이어 새롭게 출시된 백테스트 및 포트폴리오를 출

chancoding.tistory.com

지금까지 EPS(주당순이익)과 PER(주가수익률)에 대해서 알아보는 시간을 가졌습니다.

PER 계산 수식 사진

다들 투자에 대해 열심히 공부해서 좋은 성과가 있으면 좋겠습니다.

모든 내용은 제가 공부해서 작성한 내용이며, 투자 권유 및 추천은 절대 아닙니다! 투자의 책임의 본인의 몫!

[퀀터스] 퀀트 투자 팩터의 신뢰성 검증(1) - 10분위 테스트 - PER,PBR,PSR,POR

커딩왕 — Mon, 19 Dec 2022 22:57:03 +0900

잡설이 조금 길어 바로 결과를 보고 싶으시면, 목차에서 "1.PER 팩터 검증" 누르면 바로 이동됩니다.

퀀터스 간단 소개

퀀트킹과 젠포트를 이어 새롭게 출시된 백테스트 및 포트폴리오를 출시할 수 있는 퀀트 투자 서비스가 출시했다.

다음 달부터 이제 유료 서비스로 전환된다고 한다.

솔직히 유료로 쓰기에 너무 자잘한 오류들도 많은데, 성급한 것이 아닌가 싶다.

여하튼 유용한 백테스트 툴이니, 얼마 남지 않은 무료 기간을 잘 활용해보자~

10 분위 테스트와 팩터 검증

퀀터스에 있는 기능 중 하나가 10분위 테스트이다.

10분위 테스트는 선택한 지표에 따라 10개의 그룹으로 나누어 실험하는 것을 의미한다.

예를 들어 PER 낮은 것에 대해 10 분위 테스트를 진행하면,

PER 낮은 10%에 투자하는 것이 1 분위

PER 가장 높은 10%에 투자하는 것이 10 분위가 되도록 10개 그룹으로 나눈 것이다.

그리고 각 10개 그룹의 백테스트 결과를 파일로 제공하여 비교 및 분석을 진행할 수 있다.

10분위 테스트를 할 수 있다는 것과 결과물을 파일로 제공하는 덕분에 데이터 활용의 편의성을 제공하는 것은 퀀터스의 장점이라고 할 수 있겠다.

퀀터스를 알게 된 기념 + 얼마 남지 않은 무료 이용기간을 활용해서 다양판 팩터들을 비교 및 분석해볼 예정이다.

오늘은 PER, PBR, PSR, POR를 시작으로 팩터를 검증 예정이다.

사실 문병로 교수님의 '메트릭 스튜디오' 책을 읽었거나 어느 정도 퀀트 투자에 대해서 접해본 사람들이라면 이미 결과를 다 알고 있는 것일 수도 있겠다..

BackTest 설정

유니버스 : 한국 코스피 코스닥

필터링 : 금융주 제외 / 지주사 제외 / 관리종목 제외 / 중국기업 제외

거래 수수료 : 1% <-- 슬리피지를 고려해 러프하게 잡았다.

리밸런싱 기간 : 분기별

시작일 : 2003년 01.01

종료일 : 20022년 12월 언젠가 <-- 테스트 언제 하느냐에 따라 하루 이틀씩 달라질 수 있으므로.. ㅎ

비교용 데이터

비교 데이터로 사용할 Tiger 200 / Tiger 코스닥 150 수익률이다.

최근 1년은 내리막 길만 있었네.. 후 훌쩍..

최근 3, 6, 12개월 수익률

1. PER 팩터 검증

PER 지표 검증 결과

PER 낮은 순서를 사용하여 1st Group이 PER 가장 낮은 10%에 해당된다.

연평균 수익률이 약 22% 정도로 상당히 우수한 결과를 보인다.

전체 기간뿐만 아니라 3M / 6M / 1Y 등의 전반적인 구간의 수익률 또한

상위 그룹이 하위 그룹보다 훨씬 좋은 결과를 보여준다.

최근 3개월, 6개월, 12개월 수익률은 KOSPI 200 지수에 비해 좋지 않은 것이 조금 아쉬운 부분이다.

PER 팩터 10분위 검증 결과표

PER 팩터 10분위 수익률 비교차트

2. PBR 팩터 검증

PBR 팩터 10분위 검증 결과표

PBR 팩터 10분위 수익률 비교차트

3. PSR 팩터 검증

PSR 팩터 10분위 검증 결과표

어느 정도 상위 그룹의 수익률이 상대적으로 하위 그룹보다 좋은 경향을 가지는 것을 보인다.

하지만, 최근 3개월 6개월의 경우에는 경향은 있지만 차이가 많이 줄어든 것으로 보인다.

PSR 팩터 10분위 수익률 비교차트

4. POR 팩터 검증

POR 팩터 10분위 검증 결과표.

POR 팩터 10분위 수익률 비교차트

5. 전체적인 결과 리뷰

전체 기간에 대해서는 확연하게 1 분위 그룹들의 수익률이 10 분위에 비해서 수익률이 좋은 것을 확인할 수 있다.

하지만, 최근 3~12 개월에는 그러한 경향성이 많이 줄어든 것으로 보인다.

현재 하락장이기 때문일 수 있으니, 정확한 판단을 위해서는 다른 하락장 데이터 또한 확인이 필요할 것이다.

최근 퀀트인구가 늘어나면서 알파가 사라지는 것일 수도 있을 것 같다는 생각도 든다.

3~12 개월 수익률이 코스피 200과 코스닥 150에 비해서 좋지 않은 결과를 보여주고 있다.

좋은 습관을 무의식에 각인시키기

커딩왕 — Fri, 16 Dec 2022 22:42:31 +0900

1. 의지력이란..

나쁜 습관을 없애고 좋은 습관을 들이기 위해서는 상당한 의지력이 필요하다.

의지력은 게임에서의 mp와 같다.

우리가 의지를 가지고 행동하는 모든 것들은 의지력을 소모한다.
따라서, 의지력을 소모하는 모든 행동들은 Active Skill이라 생각할 수 있다.
친구 만나기, 헬스장 가기, 독서하기, 공부하기, 청소하기 등 어떤 행동을 하게 되면 모두 의지력이 소모된다.

2. 인간의 뇌와 의지력

인간의 뇌는 변화를 싫어해서, 현재 상태를 유지하려는 특성이 있다.
그래서 개인차이는 있지만, 사람들이 가진 의지력은 크지 않으며 의지력 자체를 높이는 것 또한 쉽지 않다.
신년마다 다짐하는 "헬스장 가기", "독서하기", "매일 책상 정리하기" 등의 행동들은 많은 의지력을 소모한다.
그런데, 사람들은 새해를 맞이하면, 많은 목표를 새우고 한 번에 다 실행하려고 한다.
그렇게 며칠 되지 않아서 포기하게 되는 것이다.
100 만큼의 의지력을 가진 사람이 일과 도중 30만큼 써버렸다면, 그날 저녁엔 헬스장 가기(mp 쓸 수 없는 것이다.

3. 의지력 소모를 줄이는 방법

의지력을 가지고 해야하는 행동이 힘들면 힘들수록 거부감이 클수록 더 많은 의지력을 소모한다.

거부감을 낮추고 덜 힘든 일일수록 의지력을 덜 소모한다.

그러므로 의지력을 가지고 해야하는 일이 있다면, 무리하지 않고 아주 쉬운 것부터 목표로 잡는 것이 좋다.

헬린이가 매일 팔굽혀펴기 100회를 하겠다고 선언하면, 작심 3일이 될 확률이 다분하다.
목표를 매일 팔굽혀펴기 1개 하기를 목표로 잡으면 목표를 실패할 확률은 지극히 낮다.
목표를 지속적으로 성취하다 보면 자신감이 붙어 점점 갯수를 늘려나갈 것이다.
그렇게 계속 팔 굽혀 펴기를 더 이상 팔굽혀펴기는 의지력을 소모하지 않게된다.

Active Skill에서 Passive Skill로 바뀌어 하나의 좋은 습관이 몸에 익어가는 것이다.

4. 습관화가 되기까지..

영국 런던대 필리파 랠리 교수팀의 연구에 의하면, 인간의 뇌는 충분히 반복돼 시냅스가 형성되기 전까지는 강한 저항을 일으킨다고 발표했다. 그 이유는 안하던 행동을 입력해 놓을 기억 세포가 형성되지 않았기 때문이라고 밝혔다. 이러한 거부반응이 많은 의지력을 소모하는 것이다.

그러나, 위의 설명처럼 작은 것부터 의지력 소모가 줄어든다. 꾸준하게 '원래 하지 않던 행동'을 수행하면, 그 행동이 시냅스에 기억되고 뇌에 받아들여지는데, 여기에 필요한 시간이 최소 21일이 걸린다고 한다. 21일이 동안 꾸준히 하면 습관화가 되는 것이다. 그렇다면 더 이상 의지력이 소모하지 않는 것인가? 그렇지 않다.

5. 무의식에 각인되기 까지는..

우리가 의지력을 소모하지 않고 행동하기 위해서는 진정한 습관이 되어야 한다.
습관이라고 얘기하는 것은 무의식적인 행동을 말한다.
무의식적으로 손톱을 물어뜯는 다던지, 아침마다 커피를 마신다던지, 운동화를 구겨 신는 다던지 이러한 것들이 습관이다. 의지력을 소모하지 않기 위해서는 21일을 넘어 완전히 무의식에 각인시키기 위해서는 90일간 꾸준히 행동해야 한다.

2009년 '유럽 사회심리학 저널'에 의하면, 특정한 행동을 매일 같은 시간에 하게 한 실험을 진행했다.
해당 실험에 의하면, 특정 습관이 완전히 각인될 때까지 소요된 평균 기간이 12주였다고 한다. 따라서 90일은 해야 무의식에 완전히 각인되어 자신의 습관이 되는 것이다.

열심히 달리는 이미지

6. 마무리

의지력과 습관화, 무의식에 각인이라는 세 가지의 키워드를 바탕으로 습관을 들이는 방법에 대해서 알아보았다.

이러한 내용들을 바탕으로 요약해보자면 다음과 같은 Process이다.

목표 기대치를 아주 작게 낮춘다.
아주 작은 목표를 달성한다.
성취감을 원동력으로 꾸준하게 이어나간다.
21일이 되면 줄어든 거부감만큼 목표치를 점차 높여나간다.
꾸준하게 목표를 달성해 90일을 넘긴다.
무의식에 각인된 습관이 형성된다.

이제 2022년이 끝나가고 어느덧 2023년이 다가오고 있다. 23년의 새해 다짐을 어떻게 이루어내고 좋은 습관들을 익힐 것인지 고민해보는 시간을 가져야겠다.

이 글을 읽는 누군가도 좋은 습관을 들여 긍정적으로 성장하게 되기를 바랍니다.

해당 글은 많은 긍정적인 영향을 받은 하와이 대저택님의 '그냥 이것만 보시면 됩니다. 무의식 바꾸기 EP03'과 즐겨보는 너진똑 채널의 '습관 책 10권 읽고 '핵심'만 정리한 영상'과 의 내용을 바탕으로 작성되었습니다.

해당 영상들을 꼭 보세요. 매우 추천합니다.

[Python] 파일 및 폴더 디렉토리 삭제하는 법 총정리

커딩왕 — Tue, 13 Dec 2022 16:20:16 +0900

이번 게시글을 통해 파이썬을 사용해서 파일 및 폴더를 삭제하는 방법에 대해서 알아보겠습니다.

특정 파일을 삭제하는 방법 : os.remove & os.unlink
디렉토리 삭제 방법 : os.rmdir & os.removedir
디렉토리와 내부 파일을 모두 삭제하는 방법 : shutil.rmtree
Error 대처 방법
전체 정리 소스코드

1. File 삭제 방법

os.remove('file_path')
os.unlink('file_path')

file_path 부분에 "E:/Data/Combine/History" 이와 같은 절대 경로 혹은 "Combine/History" 이와 같은 상대 경로를 모두 인식할 수 있습니다.

os.remove와 os.unlink는 같은 의미로 사용되며, 같은 기능을 합니다.

unlink가 UNIX 환경에서 더 적합하다고 합니다.

2. Directory 삭제 방법 / Folder 삭제 방법

os.rmdir('empty_directory_path')

os 모듈을 사용해서 디렉토리를 삭제할 수 있습니다.

empty_directory_path 부분에 삭제할 경로의 주소를 적어주면 됩니다.

os.rmdir의 경우 빈 디렉토리만 삭제할 수 있습니다.

하위 디렉토리 혹은 파일이 존재하면 삭제되지 않고 Error를 발생시킵니다.

비어있지 않은 경우 삭제를 원하면 3번의 방법을 사용하면 됩니다.

3. 파일과 디렉토리 모두 삭제 방법

폴더와 내부의 파일들을 모두 삭제하기 위해서는 shutil 모듈을 사용하면 편하게 할 수 있습니다.

import shutil

shutil.rmtree('directory_path')

directory_path 부분에 원하는 폴더의 주소를 넣어주면 됩니다.

그러면 하위 폴더 및 dirs 모두 삭제됩니다.

4. 오류 대처 방법

파이썬을 사용해 파일을 제거하는 과정에서 다양한 오류가 발생하기 쉽습니다.

이러한 경우 대처방법입니다.

4.1 파일 존재 여부 확인

os.path.exists('file_path')

무조건 os.remove를 사용하면 파일이 존재하지 않을 때, 오류를 발생할 수 있습니다.

그러므로 exist를 통해서 해당 파일이 존재하는지 먼저 체크하면 방지할 수 있습니다.

4.2 파일인지 확인하기

os.path.isfile('file_path')

os.path.isfile을 사용해서 file인지 확인할 수 있습니다.

이를 directory인 경우 os.remove를 수행하면 에러를 발생시킵니다.

따라서 먼저 파일인지 확인 후 제거해주는 것도 좋은 방법입니다.

4.3 디렉토리인지 확인하기

os.path.isdir('directory_path')

디렉토리인지 확인하고 지우면, 파일 제거와 구분해서 사용할 수 있습니다.

4.4 try - except 문 사용하기

굳이굳이 확인하기 귀찮다면 try - except 문을 사용해서 삭제하면 됩니다.
try - except 문을 사용하는 것이 도 Pythonic 한 방법이라고하니 기호에 맞게 사용하시면 되겠습니다.

file_path = "E:/Data/Combine/History/test.txt"

try:
    os.remove(file_path)
except:
    print('파일이 없는데용 ㅇㅅㅇ??')

5. 종합 소스 코드

import os
import shutil

file_path = "E:/Data/Combine/History/test.txt"
dir_path = "E:/Data/Combine/History"

def delete(path):
    if os.path.isfile(path):
        os.remove(path)
    elif os.path.isdir(path):
        shutil.rmtree(path)
    else:
        raise ValueError("해당 경로를 확인해주세요")

delete(file_path)
delete(dir_path)

위와 같은 코드로 작성해서 파일인 경우와 디렉토리인 경우 모두 문제 없이 삭제할 수 있도록 할 수 있습니다.

[vscode] html 확장자 인식 안될 때, html 자동완성 안될때 해결방법

커딩왕 — Wed, 30 Nov 2022 23:49:52 +0900

VSCode를 사용하다보면 가끔 html 확장자 인식이 안되는 경우가 발생합니다.

확장자 인식이 안되면 html 자동완성 기능 또한 사용이 안되는 경우가 발생해 매우 불편합니다.

다음 사진과 같이 html이 인식이 안되면 보통 아이콘에서 부터 차이가 발생합니다.

vscode html 파일 인식 안된 경우

저도 가끔 이러면 불편해서 기록해서 남겨 놓았습니다.

이런 문제를 겪고 있다면 아래 순서에 따라 한 번 수행해보세요.

1. 설정으로 이동

왼쪽 아래에 톱니바퀴 누르기 -> 설정 또는 단축키 Ctrl + , 를 통해서

설정 화면으로 이동합니다.

2. file associations에 html 항목 추가

2-1. file associations 검색

설정 값 넣는 예시

2-2. 항목 추가 클릭

2-3. 항목에 *.html 을 넣고 값에 html을 넣고 추가

첫 칸에 *.html
두 번째 칸에 html 을 넣고 추가하면 됩니다.

3. 완료. 확장자 인식이 되는지 확인하기

이제는 아래와 같이 아이콘도 정상으로 돌아온 것을 확인할 수 있습니다.

정상적으로 vscode가 html확장자 인식을 성공하면

해당 언어의 자동완성기능도 정상적으로 돌아옵니다.

vscode html 확장자 인식 됨

[동기부여] 무의식에 저장해야할 마인드 셋팅

커딩왕 — Tue, 1 Nov 2022 05:10:29 +0900

1. 피해자처럼 굴지 말라.

가난한 사람들이 자기 삶을 책임지는 대신 피해자처럼 군다

피해자인 척하는 사람들이 제일 많이 하는 생각은

나는 불쌍해라고 한다.

그 말은 끌어당김의 원칙에 따라서 그대로 이루어져서

그들은 불쌍해진다.

2. 편안한 정도에 머무르며 살지 말라

부자가 되고 싶다면 절대로 편안한 정도의 머무르며 살지 말라

하브 에커의 편안함에 대한 일화

역경을 견디는 사나이

편안한 것도 나름대로 좋았다

최소한 기분 전환 삼아 그럴싸한 레스토랑의 식사하러 갈 수 있었다

하지만 내가 그 상황에서 주문할 수 있는 메뉴는 닭고기가 고작이었다

닭고기를 정말 먹고 싶었던 사람이라면 상관없는 일이겠지만

다른 메뉴를 고르고 싶을 때가 더 많지 않은가

사실 경제적으로 편안한 정도의 사람들은

가격표가 있는 메뉴판에 오른쪽을 보면서 무얼 먹을지 결정한다

오늘 저녁에 뭘 먹고 싶어 7달러 95센트짜리 이걸 먹을래

근데 뭔지 보자 와 놀라워라 닭고기잖아

이번 주에 벌써 19번째 먹는 닭고기 요리다

경제적으로 편안한 수준에서는

감히 메뉴 아래쪽으로 시선을 돌릴 수 없다

그랬다가는 중산층 사전에 가장 금지된 단어와 부딪힐 수 있으니까.. 시가...

호기심이 생겨도 그 음식 가격이 얼마냐고 물어보지도 못한다

3. 원하는 것에 집중하라

원하는 것에 집중하라.

부자는 원하는 것에 집중하는 반면에

가난한 사람들은 원하지 않는 것에 집중한다

우주의 원칙에 따라서 집중하는 곳이 결국 인생에서 가장 큰 비중을 차지하게 될 것이다.

부자는 어디서나 기회를 찾아보기 때문에 그 기회가 무궁무진해서

오히려 문제는 엄청나게 볼 수 있는 그 기회들을 어떻게 처리하느냐는 것이다

반면 가난한 사람들은 어디서나 장애물을 찾아보기 때문에

그들에게는 장애물이 무궁무진하고

그 많은 장애물들을 어떻게 처리해야 하는지가 가장 큰 문제다.

기회를 노리고 있으면 기회를 얻는다 문젯거리를 노려보고 있으면 문젯거리들이 생겨난다

당신의 시선이가 있는 곳이 당신 인생에서 커지게 되어있다.

4. 부자에게 감탄하라

부자를 보고 감탄하고 나도 할 수 있다고 생각하라.

5. 큰 사람이 돼라

스스로 한계를 설정하지 말라

부자들은 그들의 문제보다 크고 가난한 사람들은 그들의 문제보다 작다

작은 사람일때는 큰 문제일지라도 큰 사람이 되면 작은 문제가 된다.

문제의 크기는 결코 문제가 아니다

중요한 건 자기 자신이라는 사람의 크기이다.

삶의 커다란 문제가 있다면 그것은 당신이 작은 사람이라는 뜻이다

문제의 크기를 쳐다보지 말고 당신의 크기를 쳐다보라

전체 요약 필수 정독

1배속으로 끝까지 듣기

느낀 점

머리를 띵 맞은 것 같은 느낌을 받으며, 가장 와닿는 내용은 "2. 편안한 정도에 머무르지 말라" 부분이었다.

치열하게 공부해 대학에 갔고 죽어라 공부해 한 학기 쯤은 과수석도 해보았다.

그리고 취업한 후 내가 그렇게 까지 열심히 살아본 적이 있었던가.

나를 돌아보는 계기가 되었다.

무언가 하겠다고 이것 저것 손댄 것은 많으나 뚜렷한 목표를 가진 것도 아니었기에 불편하지 않을 만큼만 노력해왔다.

편안한 수준에 살 것인가...

20대 가장 불편하고 힘들게 성장해야할 나이에 그러하지 못한 것이 새삼 후회스럽다.

이전 글에서 적었던 태도에 대한 내용들도 정말 인상 깊다. (이 또한 하와이 대저택 님의 영상 내용이다.)

[동기부여] 마인드, 즉 태도의 중요성

여기에 소개된 책의 일화를 보면, 저자는 정말 편하지 않은 정도가 아닌 힘들고 고된 시간들을 많이 보낸 것이 느껴진다.

그러한 태도로 노력했기에 성공할 수 밖에 없었던 것이다.

편안한 정도에 머무르지 말자.

앞으로의 마음가짐을 다잡게되는 좋은 영상과 내용이었다.

[동기부여] 마인드, 즉 태도의 중요성

커딩왕 — Sun, 30 Oct 2022 23:31:45 +0900

태도란..?

어떤 일이나 상황 따위를 대하는 마음가짐

투자에 있어서 무엇이 가장 중요한가?

마인드가 가장 중요하다.

책에 소개된 일화

월급쟁이 부자로 은퇴하라 책표지

부동산에는 말이 없다.

그러니 일을 보려면 결국 내가 직접 현장에 나가야 한다

좋아진 온라인 환경 덕분에 많은 사람이 현장에 중요성을 있는 것 같다

하지만 아무리 인터넷이 발달한다고 해도 실시간으로 모든 지역의 모습과 소식 분위기를 생생하게 확인하기란 어렵다

부동산 중개인과 전화 통화로 확인할 수 있는 것도 많지만

그들의 목적이 거래를 성사시키는 것이라는 걸 고려한다면

중개인의 이야기 모두를 신뢰할 수만도 없다

그리고 상식적으로 생각해보라 몇 천원짜리 몇 만원짜리 물건을 살 때도

미리 보고 저리 보고 하는데 몇 억짜리 물건을 사면서 대충 보고 살 수 있겠는가

무슨 일이든 그 일에 임하는 사람의 태도가 중요하다

태도가 결과와 큰 상관이 없어 보여도

나는 그것들 하나하나가 모여 나중에 중요한 차이를 만든다고 믿는다

그동안 잘 몰랐던 부동산 투자를 진정 잘하고

싶고이를 통해 돈을 벌고 싶다면 무엇보다 그 일에 진지하게 임해야한다

지난 3년간 낮에는 회사일 밤과

주말엔 부동산 투자 생활을 이어가는게 쉬운 일은 아니었다

회사생활만으로도 쉽지 않은 상황에서 지치지 않는게 더 이상하지 않은가

너무 피곤해서 입술이 터지고 눈이 충혈되는 일도 잦았다

목이나 어깨가 아픈 건 예사였다

발바닥이 부르트고 발톱이 빠진 적도 있었다

투자를 시작하고 첫 여름을 맞았던 해 얼굴이 금세 시커멓게 타 회사 동료들까지 건강을 걱정해줬다

장마철에 목욕탕에서 방금 나온 것처럼 발가락이 불고 흠뻑 젖은 양말로 집을 보러 남의 집에 들어가는게 민망해 늘 수건을 가지고 다녔다

지방의 임장을 갔다 올라오던 길에는 고속도로 휴게소에서 잠시 쉬려고 눈을 붙였다가

내리 4시간을 골아 떨어져 잔 적도 있다

추운 겨울에도 졸지 않으려고 창문을 열고 내달렸다 그렇게 아내와 아이가 기다리는 집에 돌아가 잠시 눈을 붙인

후 바로 출근하는 삶에 연속이었다

만약 당신에게 어떤 일이 쉽게 느껴진다면 당신은 그 전부터 그것을 잘하기 위해 열심히 노력했을 것이다

그게 아니라면 당신은 그저 그 일을 잘한다고 착각하고 있는 것이다

유튜브 하와이 대저택님의 영상

어떤 걸 원하거나 잘하고 싶다면

정말 그걸 잘 알고 잘하고 싶다는

마인드 태도를 가져야 한다.

아래 영상 필히 정독 1배속 필요

ETH Goerli Faucet - Testnet 토큰 받기 - Alchemy 회원가입방법

커딩왕 — Sun, 23 Oct 2022 12:09:27 +0900

ETH 네트워크를 통해서 Testnet에서 개발을 하거나 테스트를 진행할 때에도 이더리움이 필요하죠.

오늘은 ETH Goerli 테스트넷의 무료 테스트넷 코인을 받는 방법에 대해서 알아보겠습니다.

1. Alchemy 회원가입

Goerli Faucet main page

ETH Geoli Faucet 자금을 받기 위해서 이제는 Alchemy에 회원가입을 진행해야합니다.
기존에는 그냥 받을 수 있었으나, 악의적인 공격때문에 바뀐 것 같네요
Alchemy 회원가입 링크 : https://alchemy.com/?r=e67bcbcf8b8b7485 로 이동해서 회원가입을 진행하겠습니다.

Alchemy - the web3 development platform

Whether you're a beginner developer, startup, web3 market leader, or a large enterprise, Alchemy makes multichain web3 development easy with reliable and scalable node infrastructure, enhanced APIs, and developer tools. Get started for free!

www.alchemy.com

1-1. Get Started

Alchemy Main Page

1-2. 이메일 넣기

email 인증은 해야하므로, 사용하는 이메일 주소를 넣어주도록 합니다.

이후 받은 이메일에서 인증을 완료해주세요.

alchmy signup page

1-3. 기본 사용 설문 진행

인증을 완료하면 4~5개 정도의 간단한 설문조사를 진행합니다.

프로젝트를 직접 만들고 build할 경우에 대한 내용이므로 크게 신경쓰지 않고 대충 선택해도됩니다.

저희는 그냥 Faucet만 받으면 되므로 아무거나 클릭클릭 다음 해주세요.

물론 아래 질문 Plan은 무료를 선택해야겠죠.

alchemy plan selection

신용카드 정보 또한 넣을 필요가 없습니다.

아래에 "skip for now"를 클릭해서 넘어가주세요.

모두 완료하면 이제 회원가입이 완료된 것입니다.

credit skip

2. Goerli ETH 받기

이제 진짜 테스트넷 이더리움을 받아야겠습니다.

아래 테스트넷 토큰을 받는 사이트로 이동합니다.

https://goerlifaucet.com/

Goerli Faucet

A fast and reliable Ethereum Goerli testnet faucet for blockchain developers.

goerlifaucet.com

2-1. Goerli Faucet으로 이동 후 alchemy 로그인

alchemy 로그인도 진행해 주도록 합니다.

그러면 아래와 같이 지갑주소를 넣으라는 것을 메인 페이지에서 확인할 수 있습니다.

Goerli Wallet Address 입력

2-2. Test Net ETH 받기

위 지갑 주소를 넣는 칸에 본인의 메타마스크 주소를 입력하면 0.1 개의 Georli ETH를 받을 수 있습니다.

매일매일 받을 수 있는데, 정확하게는 24시간 마다 받을 수 있습니다.

받은 후 24시간 뒤에 또 Send Me ETH 를 누르면 0.1개를 받을 수 있습니다.

ETH를 계속 받아놓으면 Test할 때 활용할 수도 있으며, 다른 Layer2 Testnet으로 Bridge를 통해서 이동하는 등 활용 방안이 다양하게 있습니다.

다음 글로는 zkSync Layer2 Token 발행시 에어드랍을 위한 글입니다.

Goerli ETH를 zkSync Testnet으로 Bridge해서 이동할 예정입니다. 관심 있으시면 아래 글을 참고해주세요.

https://chancoding.tistory.com/239

[JS] 자바스크립트 AND, OR 연산의 특징 및 활용

커딩왕 — Fri, 21 Oct 2022 16:00:34 +0900

AND 연산 ( && )

일반적으로 알고있는 AND OR 연산자 결과

console.log(true && true) // true
console.log(true && false) // false
console.log(false && true) // false
console.log(false && false) // false

자바스크립트에서도 다른 프로그램과 똑같은 연산 결과를 얻을 수 있습니다.

하지만, 여기에 조금 특이한 JS만의 연산 방식이 있습니다.

A && B 라는 연산을 진행하는데 있어서 A가 true라면 AND연산 결과는 B가 어떤 값인지에 따라 달라지게됩니다.

B가 true면 결과는 true B가 false면 결과도 false 입니다.

그렇죠?

그래서 JS에서는 만약 A부분의 첫 번째 인자가 true이면 결과로 B 값을 출력합니다.

이해가 잘 안된다면, 차분하게 생각해보면 의미가 전달될 것입니다.

만약 A가 false라면 B값을 볼 필요 없이 무조건 결과는 false이겠죠.

그러므로 A가 false인 결과라면 A값을 출력합니다.

OR 연산 ( || )

OR 연산도 논리가 유사합니다.

console.log(true || true) // true
console.log(true || false) // true
console.log(false || true) // true
console.log(false || false) // false

A || B 라는 연산을 진행하는데 있어서 A가 true라면 OR연산 결과는 B가 어떤 값인지에 상관없이 무조건 true값을 가지게 됩니다.

따라서 OR 연산은 A가 true 값이면 A를 바로 출력합니다.

반면, A가 false라면 결과는 B값에 따라 달라집니다. 따라서 A가 false이면 무조건 B값을 출력합니다. B가 결과를 결정하기 때문입니다.

JS 에서의 AND, OR 연산의 특징

그래서 그것이 어떻다는 것인지 궁금하실 것입니다.

console.log(0 && undefiend) // 0
console.log(null && false) // null

0과 null은 논리 값이 false에 해당되는 값입니다.

따라서 위의 AND 연산을 진행할 때, A인자의 값이 false인 것입니다.

따라서 B값에 상관없이 결과가 바뀌지 않고 A값을 그대로 출력합니다.

console.log('123' || NaN) // '123'
console.log(null || false) // false

'123'은 논리 값이 true에 해당되므로 OR연산 결과는 무조건 true에 해당됩니다.

그래서 결과 출력은 '123'을 그대로 출력합니다.

반면, null은 논리값이 false이므로 B 부분의 값에 따라 결과가 결정됩니다.

따라서, B 부분의 값을 그대로 내보냅니다.

JavaScript의 연산 특징 활용

console.log("Coding" || "Study") // Coding

위에서 설명 드린 것을 바탕으로 위의 결과가 이해가 되실 것입니다.

이러한 현상을 활용하면

js or 연산 활용

위와 같은 함수를 작성할 수 있습니다.

특정한 값을 받으면 해당 값을 출력하고 전혀 입력이 없으면 미리 정해놓은 값을 출력하게 하는 것입니다.

소스코드

function printSubject(state) {
    const msg = state || 'Python';

    console.log(msg)
}

printSubject() // Python
printSubject('Javascript') // Javascript

연산자 우선순위

console.log(true || false && false); // true
console.log((true || false) && false); // false

console.log('Study' || NaN && false); // Study
console.log(('Study' || NaN) && false); // false

AND 와 OR 연산자 사이에서는 AND 연산자의 우선순위가 더 높다는 것을 주의해야합니다.

|| 연산 뒤에 && 연산을 사용할 경우 의도와는 다르게 뒤의 && 연산이 먼저 이루어져 다른 결과를 출력할 수 있습니다.

이처럼 JavaScript는 다른 언어와 다르게 유연한 코딩이 가능하고 특이한 사항들이 많으니,

이러한 디테일한 부분들을 잘 알아놓으면 유용하게 활용할 수도 있고 의도치 않은 에러를 발생시키지 않을 수 있을 것 같네요.

[JS] 자바스크립트 몫과 나머지 구하기 - 2가지 방법

커딩왕 — Thu, 20 Oct 2022 10:35:48 +0900

몫

Javascript에서 몫을 구하는 방법 2가지를 알아보겠습니다.

사실 큰 차이는 없으니 편한 것을 사용하면 됩니다.

파이썬에서 //가 JS는 존재하지 않습니다.

1. Math.floor

var q = Math.floor( 13 / 5)
console.log(q) // 2

2. parseInt

var q = parseInt( 13 / 5 )
console.log(q) // 2

나머지

remainder를 구하는 방법은 기본 js의 연산을 사용하면 간단합니다.

const r = 13 % 5
console.log(r)

[JS] var, let, const 차이점 3가지 : Scope, Hoisting, 변수 선언

커딩왕 — Wed, 19 Oct 2022 16:19:18 +0900

function varTest() {
  var x = 1;
  {
    var x = 2;  // same variable!
    console.log(x);  // 2
  }
  console.log(x);  // 2
}

function letTest() {
  let x = 1;
  {
    let x = 2;  // different variable
    console.log(x);  // 2
  }
  console.log(x);  // 1
}

// 코드 출처 https://developer.mozilla.org/

Hoisting & Temporal dead zone(TDZ)

호이스팅이란 함수 내부에 있는 선언들을 모두 끌어올려 해당 함수 유효 범위의 최상단에 선언하는 것을 뜻합니다.

자바스크립트 Parser가 함수 실행 전 해당 함수를 한 번 훑는 과정에서 내부적으로 끌어올려 처리하는 것을 뜻하며 실제 메모리에서는 변화는 없습니다.

미리 선언문을 실행하는 것이라고 생각하면 되지만, 실재 값이 할당되기 전까지는 undefined값을 가집니다. 단지 Error만 안 난다 정도로 보면 됩니다.

내용 출처 : 팔만코딩경

var

/* 변수 호이스팅 */
console.log(a); // undefined -> 선언 전인데 Error 안남

var a = 5;
console.log(a); // 5


foo(); // foo  -> function 선언 전인데 Error 안남

function foo() {
    console.log("foo");
}

변수가 선언 전이지만 에러가 발생하지 않는 것을 확인할 수 있습니다.

let, const

/* 변수 호이스팅 */
console.log(a); // ReferenceError: a is not defined

let a = 5;
console.log(a); // 5

/* 함수 호이스팅 */
foo(); // error

var foo = function() {
    console.log("foo");
}

let과 const는 Error가 발생하는 것을 확인할 수 있습니다.

이 두 변수가 호이스팅이 발생하지 않은 것은 아닙니다.

let과 const는 변수 선언을 사전에 해두지만 초기화를 하지 않으므로 값을 참조할 수 없습니다. 따라서 동작을 할 수 없어 Error가 발생되는 것입니다.

var는 호이스팅으로 변수 선언 후 undefined로 초기화해두므로 Error가 발생하지 않는 것입니다.

function do_something() {
  console.log(bar); // undefined
  console.log(foo); // ReferenceError
  var bar = 1;
  let foo = 2;
}

지금까지 Javascript의 3가지 변수에 대해서 1. 선언 방식, 2. Scope, 3. Hoisting으로 나누어 차이점을 알아보았습니다.

이런 것도 되나 싶을 정도로 다양한 것들이 되는 자바스크립트이므로 이러한 변동적인 부분을 잘 알고 있어야 좋을 것 같네요.

역행자 추천도서 정리 - 자청 추천 책 난이도별 리스트

커딩왕 — Fri, 5 Aug 2022 18:33:19 +0900

역행자 추천도서

역행자 - YES24

오타쿠 흙수저에서 월 1억 자동 수익을 실현한 무자본 연쇄창업마,라이프해커 자청의 인생 역주행 공식 대공개 대부분의 사람들은 유전자와 본성의 명령을 그대로 따르기 때문에 평범함을 벗어

www.yes24.com

역행자 책을 읽으며, 이런저런 생각도 많아졌고 더 자세하게 뇌과학과 부의 대해서 공부를 해야겠다고 생각했다.

그래서 자청을 역행자로 만들어준 책들을 정리해서 적어두었다.

추천 책들이 난이도별로 리스트업 되어있어서 하나씩 책을 읽고 글을 써봐야겠다.

뇌에 대해 평소에 관심이 많았어서, 자청님의 애기는 상당히 흥미로운 부분들이 많다.

아래의 책 들을 읽으며, 많은 고민을 해보길 바란다.

레벨 1

독서 입문자에게 추천하는 책

부자의 그릇 : _{돈을 다루는 능력을 키우는 법} - 이즈미 마사토

인스타브레인 - 안데르스 한센

장사의 신 - 우노 다카시

레벨 2

다음 수준으로 넘어가기 위한 책

나는 돈이 없어도 사업을 한다 - 프레이저 도허티

나는 4시간만 일한다 - 팀 페리스

당신은 사업가입니까 - 캐럴 로스

당신의 뇌는 최적화를 원한다 - 가바사와 시온

더 시스템 - 스콧 애덤스

러쉬 - 토드 부크홀츠

미치지 않고서야 - 미노와 고스케

부의 추월차선 - 엠제이 드마코

스틱! - 칩 하스

언스크립티드 - 엠제이 드마코

오래된 연장통 - 전중환

최강의 인생 - 데이브 아스프리

레벨 3

독서 숙련자에게 추천하는 책

뇌, 욕망의 비밀을 풀다 - 한스, 게오르크 호이젤

생각에 관한 생각 - 대니얼 카너먼

욕망의 진화 - 데이비드 버스

정리하는 뇌 - 대니얼 J. 레비틴

지능의 역설 - 가나자와 사토시

클루지 - 게리 마커스

[도서리뷰] 쉽게 읽히는 '너무 재밌어서 잠못드는 뇌과학' 기본 내용과 요약

커딩왕 — Thu, 4 Aug 2022 17:02:09 +0900

접속하면 재미가 있다. 메시지에 반응할 때마다 뇌에서 도파민이 분비된다. 즉각적 만족을 추구하려는 성향을 타고났기 때문
그렇기에 느린 생각보다 빠른 반응을 선호하게 된다. 중독에 취약하며 호기심이 많아 반복된 결과 금세 습관으로 만들어진다.
태생적으로 소속감을 갈구하여, 계속해서 타인의 근황을 확인하려 한다.

이러한 심리적 기제가 반응하는 것을 알고 커넥티드 상태를 끊으려 노력해보자.

도서 정보

https://app.ac/WAM5rm563

YES24

YES24는 대한민국 1위 인터넷 온라인서점입니다. 국내 최대의 도서정보를 보유하고 있으며 음반, DVD, 공연까지 다양한 문화콘텐츠 및 서비스를 제공합니다.

www.yes24.com

다른 책 리뷰

[도서리뷰] 합격을 위한 공부방법, 나의 생활 패턴을 바꾼 책 - 나는 무조건 합격하는 공부만 한다

[도서리뷰] 합격을 위한 공부방법, 나의 생활 패턴을 바꾼 책 - 나는 무조건 합격하는 공부만 한

나는 무조건 합격하는 공부만 한다: 26살, 9개월 만에 사법시험을 패스한 이윤규 변호사의 패턴 공부법 저 : 이윤규 출판사 : 비즈니스북스 발행 : 2019년 12월 16일 작성 : 2020년 02월 13일 9개월 만에

chancoding.tistory.com

[도서리뷰] 부의 추월차선 : 생각과 삶의 방향을 바꾼 책

부의 추월차선 : 부자들이 말해 주지 않는 진정한 부를 얻는 방법 원제 : The Millionaire Fastlane 저자 : 엠제이 드마코 역자 : 신소영 출판사 : 토트 발행 : 2013년 08월 20일 작성 : 2020 년 02월 08일 늙은..

chancoding.tistory.com

[도서리뷰] 습관 형성에 필수 To do list - 리스트 습관(Listful Thinking)

리스트 습관 : 쓰는 대로 이루어진다 원제 : Listful Thinking · · 저 : 폴라 리조 · 역 : 곽소영 · 출판사 : 이아소 · 발행 :..

chancoding.tistory.com

[Python] pip install PIL 설치 안될때

커딩왕 — Tue, 26 Jul 2022 23:29:09 +0900

파이썬에서 PIL 모듈을 설치하려고

pip install PIL

이라고 하면 아래와 같은 에러를 발생시키면서 설치가 안된다.

ERROR: Could not find a version that satisfies the requirement PIL (from versions: none)

해결 방법은

pip install Pillow

로 수행하면 된다.

[Python] Plotly : subplot 만들기의 모든것 - subtitle, type 설정 포함

커딩왕 — Sun, 24 Jul 2022 12:43:06 +0900

Subplot 기본 구조 그리기

make_subplots 함수를 사용해서 서브플롯 생성

rows와 cols 값을 통해서 몇 행, 몇 열로 그래프를 그릴지 설정하면 됨

import plotly.graph_objects as go
from plotly.subplots import make_subplots

fig = make_subplots(rows=2, cols=2) # make_subplots를 사용해서 서브플롯 구조를 그림

Subplot에 Subtitle 설정하기

start_cell subplot 번호 시작 위치를 바꿀 수 있음.

설정을 바꾸지 않으면 왼쪽 위부터 시작함

subplot_titles 각 Subplot 마다 부제목을 달아줄 수 있음

fig객체에 add_trace를 통해서 그래프를 추가해주면 됨

import plotly.graph_objects as go
from plotly.subplots import make_subplots

fig = make_subplots(
    rows=2, cols=2,
    start_cell="bottom-left",  # 시작 위치를 바꿀 수 있음
    subplot_titles=("Plot 1", "Plot 2", "Plot 3", "Plot 4") # 각 Subplot 별 subtitle 넣기
)



fig.add_trace(go.Scatter(x=[1, 2, 3], y=[4, 5, 6], name="1번 Plot"), # name 주면 Legend 이름 설정
              row=1, col=1)
fig.add_trace(go.Scatter(x=[20, 30, 40], y=[50, 60, 70]),
              row=1, col=2)
fig.add_trace(go.Scatter(x=[300, 400, 500], y=[600, 700, 800]),
              row=2, col=1)
fig.add_trace(go.Scatter(x=[4000, 5000, 6000], y=[7000, 8000, 9000]),
              row=2, col=2)

fig.show()

legend 넣는 방법은 아래글을 참고

[Python] Plotly legend(범례) 의 모든 것 - 순서, 위치, 폰트 등

Subplot 축 공유, 그래프 간격 설정, 그래프 비율 설정

shared_yaxes y축에 대해서 축을 공유하도록 그래프를 그릴 수 있음

horizontal_spacing 가로축 방향으로 서브플롯 간의 간격을 설정할 수 있음

수직 방향으로 위아래 그래프 간격은 vertical_spacing으로 설정하면 됨

column_widths 전체 그래프 그림에서 그래프의 너비 비중을 조절할 수 있음

아래 Case에 대해서 첫 번째 Subplot을 더 넓게 그리고 싶다면 column_widths=[0.7, 0.3]으로 설정한다.

그러면 첫 번째 서브플롯의 비율이 70%를 차지해 더 넓게 그려진다.

fig = make_subplots(
    rows=1, cols=2,
    shared_yaxes=True, # 특정 축을 공유하게 그래프를 그릴 수 있음
    horizontal_spacing=0.05, # 너비 간격을 설정할 수 있음
    column_widths=[0.7, 0.3] # Subplot 높이와 너비를 조절할 수 있음
)

Subplots 별 타입 설정

각 Subplot 들이 가지는 type을 설정해 주어야함.

보통 일반 xy 축 그래프를 그리므로 기본 값으로 되어있어 설정하지 않음

pie 그래프 또는 다른 domain을 가지는 그래프를 그릴 때에는 설정해주어야함

설정할 수 있는 축 type 옵션들은 다음과 같다. (plotly doc 출처)

"xy": 2D Cartesian subplot type for scatter, bar, etc. This is the default if no type is specified.
"scene": 3D Cartesian subplot for scatter3d, cone, etc.
"polar": Polar subplot for scatterpolar, barpolar, etc.
"ternary": Ternary subplot for scatterternary.
"mapbox": Mapbox subplot for scattermapbox.
"domain": Subplot type for traces that are individually positioned. pie, parcoords, parcats, etc.

from plotly.subplots import make_subplots
import plotly.graph_objects as go

fig = make_subplots(
    rows=2, cols=2,
    specs=[[{"type": "xy"}, {"type": "polar"}],
           [{"type": "domain"}, {"type": "scene"}]],
)

fig.add_trace(go.Bar(y=[2, 3, 1]),
              row=1, col=1)

fig.add_trace(go.Barpolar(theta=[0, 45, 90], r=[2, 3, 1]),
              row=1, col=2)

fig.add_trace(go.Pie(values=[2, 3, 1]),
              row=2, col=1)

fig.add_trace(go.Scatter3d(x=[2, 3, 1], y=[0, 0, 0],
                           z=[0.5, 1, 2], mode="lines"),
              row=2, col=2)

fig.update_layout(height=700, showlegend=False)

fig.show()

type을 넣는 대신 해당 그래프 타입을 넣어도 똑같이 동작한다.

# 위와 동일한 domain 타입 설정을 그래프 타입으로 설정한 것
fig = make_subplots(
    rows=2, cols=2,
    specs=[[{"type": "bar"}, {"type": "barpolar"}],
           [{"type": "pie"}, {"type": "scatter3d"}]],
)

"xy", "polar", "domain", "scene" >>>>>>> "bar", "barpolar", "pie", "scatter3d"

Subplot Graph Example

import plotly.graph_objects as go
from plotly.subplots import make_subplots

fig = make_subplots(
    rows=1, cols=2,
    shared_yaxes=True,
    subplot_titles=("<b>A Data</b>", "<b>B Data</b>")
)
fig.add_trace(
    go.Histogram(x=t[t['SUM']>0]['RANK'].values, nbinsx=30, name="A Risk"),
    row=1, col=1
)

fig.add_trace(
    go.Histogram(x=t2[t2['SUM']>0]['RANK'].values, nbinsx=30, name="B Risk"),
    row=1, col=2
)

fig.update_layout(
    title=dict(
        text = "<b>데이터 분포 확인</b><br><sup>OO 기준에 따라서 위험도 비교 분석</sup>",
        x=0.5, y=0.94,
        font=dict(
            family="Arial",
            size=30,
            color="#000000"
        )
    ),
    legend=dict(
        orientation="h",
        xanchor="left"
    )
)

fig.update_yaxes(range=[0, 25])

[Python] Plotly legend(범례) 의 모든 것 - 순서, 위치, 폰트 등

커딩왕 — Sat, 23 Jul 2022 10:46:17 +0900

Legend 이름 및 순서 설정

legendrank 를 통해서 순서의 우선순위를 줄 수 있다.

name 에 설정해준 값이 legend로 표시된다.

fig = go.Figure()
fig.add_trace(go.Bar(name="fourth", x=["a", "b"], y=[2,1], legendrank=4))
fig.add_trace(go.Bar(name="second", x=["a", "b"], y=[2,1], legendrank=2))
fig.add_trace(go.Bar(name="first", x=["a", "b"], y=[1,2], legendrank=1))
fig.add_trace(go.Bar(name="third", x=["a", "b"], y=[1,2], legendrank=3))

fig.show()

Legend 위치

fig.update_layout(
	legend=dict(
        orientation="h", # 가로 방향으로
        yanchor="top", y=0.99, # y축 방향 위치 설정
        xanchor="left", x=0.01, # x축 방향 위치 설정
	)
)

Legend 폰트 및 글자 크기 등 스타일링

fig.update_layout(
    legend=dict(
        x=0, y=1,
        traceorder="reversed",
        title_font_family="Times New Roman",
        font=dict(
            family="Courier",
            size=12,
            color="black"
        ),
        bgcolor="LightSteelBlue",
        bordercolor="Black",
        borderwidth=2
    )
)

[Python] Plotly 자주 사용하는 Layout 설정 - title, 축 label, font, subtitle, position 등

Plotly 그래프를 그릴 때 마다 레이아웃 설정하는 부분들이 생각이 안나서 찾아보는 경우가 많다. 그래서 자주 사용하는 layout 설정 소스코드를 작성해서 필요한 부분에 맞게 복분할 수 있도록 앞

chancoding.tistory.com

[Python] Plotly 축 반전, x축 y축 반전 뒤집기

Y축 반전 뒤집기 기본 수식 작성 import plotly.graph_objects as go import numpy as np x = np.arange(-5, 6) y = x**3 fig = go.Figure(data=go.Scatter(x=x, y=y)) fig.show() 축 반전 fig.update_layout( ya..

chancoding.tistory.com

[Python] Plotly 그래프 사용법 - Line Plot

Plotly를 사용해서 Line plot을 그려보겠습니다. 1. Plotly Express - Lineplot express 객체를 통해서 lineplot을 그릴 수 있습니다. plotly에 있는 기본 데이터를 가져와서 그려보겠습니다. import plotly.expr..

chancoding.tistory.com

Plotly를 사용한 파이썬 시각화 using 코로나 데이터셋

chancoding.tistory.com

[Django] no such table 에러 해결 방법 3가지

커딩왕 — Fri, 22 Jul 2022 09:24:44 +0900

Migration

no such table: 테이블명

이런 식의 에러가 발생하는 경우는 DB에서 해당 테이블을 찾을 수 없어서 발생되는 에러이다.

그렇다면 보통은 migration 을 진행하면 해결이 된다.

python manage.py makemigrations
python manage.py migrate

Migration with `--run-syncdb`

그런데 migrate를 해도 No migrations to apply. 라고 나오면서 migration이 진행되지 않는 경우가 있다.

그런 경우에는 --run-syncdb를 붙여서 migrate를 진행해보자.

python manage.py migrate --run-syncdb

DB에 테이블을 다시 만들어주는 명령어라고 한다.

이 후 다시 runserver를 진행하면 대부분 해결되는 것 같다.

Reset Migration

그럼에도 해결되지 않는다면, migration기록을 삭제하고 다시 하는 것입니다.

python manage.py migrate --fakce {app이름} zero
python manage.py makemigrations
python manage.py migrate --fake-initial

[Spring-boot] Gradle Could not find method compile() 오류 해결 방법

커딩왕 — Wed, 20 Jul 2022 20:02:36 +0900

오류 메세지

Could not find method compile() for arguments

Count not find method compile() 에러가 계속 발생되는 문제가 발생했다.

오류 해결 방법

stackoverflow 에 검색했더니 다음과 같이 나왔다.

compile, runtime, testCompile, and testRuntime 는 Gradle 4.10 부터 없어졌다고 한다.

대신 implementation, runtimeOnly, testImplementation, and testRuntimeOnly를 사용하라고 한다.

원문

Note that the compile, runtime, testCompile, and testRuntime configurations introduced by the Java plugin have been deprecated since Gradle 4.10 (Aug 27, 2018), and were finally removed in Gradle 7.0 (Apr 9, 2021).
The aforementioned configurations should be replaced by implementation, runtimeOnly, testImplementation, and testRuntimeOnly, respectively.

링크 : https://stackoverflow.com/questions/23796404/could-not-find-method-compile-for-arguments-gradle

[Spring-boot] VScode에서 Lombok 적용하기

커딩왕 — Tue, 19 Jul 2022 22:41:14 +0900

1. 마켓플레이스에서 설치하기

VScode의 Extensions에 들어가 Lombok을 설치한다.

2. gradle.build 파일에 lombok을 dependencies에 추가한다

dependencies {

    compile('org.springframework.boot:spring-boot-starter-data-jpa')
    compile('mysql:mysql-connector-java')
    compile('org.projectlombok:lombok') # <- 이부분

    implementation 'org.springframework.boot:spring-boot-starter-web'
    developmentOnly 'org.springframework.boot:spring-boot-devtools'
    providedRuntime 'org.springframework.boot:spring-boot-starter-tomcat'
    testImplementation 'org.springframework.boot:spring-boot-starter-test'

    implementation 'org.apache.tomcat.embed:tomcat-embed-jasper'
}

[Spring-boot] the import javax.persistence cannot be resolved 해결방법

커딩왕 — Mon, 18 Jul 2022 21:33:12 +0900

문제 상황

MySQL DB와 객체를 연결하려는 작업에서 @Entity annotation이 먹지 않는 문제가 발생했다.

import javax.persistence.Entity;을 통해서 import를 이미 해주었지만, 해당 import 부분 또한 에러가 발생하는 상황이다.

해결 방법

build.gradle에 들어가서 dependencies에 아래 내용을 추가해준다.

dependencies {
    compile('org.springframework.boot:spring-boot-starter-data-jpa')
    compile('mysql:mysql-connector-java')
}

윈도우에 Tensorflow-GPU(2.5.0) 설치하기 - 그래픽카드 버전, CUDA 버전 등등

커딩왕 — Sat, 9 Jul 2022 23:46:35 +0900

텐서플로우만 설치해서 CPU버전으로 사용하는 것은 매우 쉽습니다. 하지만 gpu연동하는 것은 정말 쉽지 않은 것 같아요. 하나라도 잘못하면 안돌아가는 경우가 다반사입니다. 주의해서 꼭 차근차근 확인하시면서 진행하시는 것이 좋습니다. 본 글에 나온 버전들과 또 달라질 수 있기 때문에 꼭 확인 해야한다고한 부분은 확인하고 설치하기는 것이 좋습니다!

0. Window 기준 가상환경 설정

가상환경 설정하는 방법은 이전 글을 통해서 확인해주시면 감사하겠습니다.

가상환경은 꼭 구생해야하는 것은 아니니 넘어가도 무방합니다.

[Anaconda] 가상환경 만들기 + 필요한 이유

Jupyter Notebook에 가상환경 Kernel 연결하기

1. 기본 라이브러리 설치

pip install을 사용해서 기본적인 tensorflow 라이브러리를 설치해줍니다.

GPU 버전을 사용하기 위해서 tensorflow-gpu라이브러리 또한 설치해주도록 합니다.

pip install tensorflow
pip install tensorflow-gpu
# pip install tf-nightly

텐서플로우의 특정 버전이 필요하다면 해당 버전을 지정해서 설치해주도록합니다.

pip install tensorflow==1.15.0
pip install tensorflow-gpu==1.15.0

pip install tensorflow==2.5.0

# gpu 버전 설치하기 위해서는 gpu 꼭 적어주세요.
pip install tensorflow-gpu==2.5.0

2. CUDA 설치

1. 본인의 GPU 사양 확인하기

본인 컴퓨터의 GPU가 어떤 사양인지 확인하도록 합니다. CUDA를 사용한 텐서플로우 GPU는 NDVIA 그래픽 카드에 해당합니다.

윈도우 검색에서 장치 관리자를 찾아서 들어가도록 합시다.

장치관리자 > 디스플레이 어댑터
그래픽 카드 확인하기
저의 경우는 NVIDIA GeForce GTX 950M 입니다. 해당 버전에 맞는 cuda를 설치하기위해 찾아가겠습니다.

2. Compute Capability 확인

먼저 하드웨어는 CUDA® Compute Capability 3.5 이상의 NVIDIA® GPU 카드만 지원한다고 합니다. 본인의 Compute Capability가 3.5 이상인지 확인하도록 합니다.

본인의 컴퓨터 GPU가 충분히 좋다 or 이미 된다는 것을 알고있다 >> 그냥 넘어가셔도됩니다.

아래 링크에 들어가서 본인의 그래픽 카드능력을 확인합니다.저는 NVIDIA GeForce GTX 950M 이므로 GeForce를 클릭해서 들어가겠습니다.
https://developer.nvidia.com/cuda-gpus#compute

본인 Compute Capability 확인하기

저는 5.0이므로 충분하군요. 다음 진행으로 넘어가겠습니다.

3. NVIDIA 드라이버 설치

GPU 카드에 맞는 최신 NVIDIA 드라이버를 잡아주도록 합니다.
아래 주소에 들어가서 본인의 제품을 선택한 후 설치하면 됩니다.
https://www.nvidia.com/Download/index.aspx?lang=kr

검색 > 다운로드 > 다운로드한 드라이버 설치 > 드라이버 설치 완료

4. CUDA Toolkit 설치

가장 먼저 현재 텐서플로우가 지원하는 CUDA Toolkit 버전이 몇인지 확인하도록 합니다.

이건 구글에 검색하면 바로 찾을 수 있습니다.

Tensorflow 1.x 버전에서는 GPU를 사용하려면 CUDA 10.0을 설치하시면 됩니다.

2.2.0 설치할 때에는 CUDA® Toolkit 10.1을 설치했었습니다.

현재는 22년 7월 기준 CUDA® 11.2(TensorFlow 2.5.0 이상)를 지원합니다.

TensorFlow 2.5.0 이상의 버전을 설치하는 경우에는 꼭 CUDA 11.2 버전으로 설치하셔야합니다.

그리고 버전은 계속해서 업데이트 될 것이므로 현재 Tensorflow가 최신 어떤 버전을 지원하는지 꼭 확인하고 설치하시는 것을 권장드립니다.

CUDA Toolkit Archive 설치 페이지로 이동합니다.
https://developer.nvidia.com/cuda-toolkit-archive
본인의 환경에 맞는 설치파일을 찾습니다.
11.2 쿠다를 선택해서 들어갑니다.

저는 윈도우10 환경이므로 아래와 같이 선택해서 진행하였습니다.

다운로드를 진행합니다.
다음>다음>다음> 하면서 설치를 완료해주시기 바랍니다.

3. Visual Studio 설치

저는 Visual Studio Community 2017을 설치했습니다. 2019년 너무 최신이고 2015는 조금 오래되기도 했고 이전 버전이 같이 다 설치된다는 애기가 있어서, 저는 2017을 설치했습니다.

Visual Studio 설치 페이지로 이동합니다.
아래의 두 개의 링크 중 하나 선택해서 받으시면 됩니다.
https://docs.microsoft.com/ko-kr/visualstudio/productinfo/2017-redistribution-vs#vs2017-download
https://docs.microsoft.com/ko-kr/cpp/windows/latest-supported-vc-redist?view=msvc-170
Community 2017을 선택해서 Community 버전으로 설치를 진행합니다.
다른 프레임워크나 환경 추가적인 설치할 필요 없이 기본만 설치하시면 충분합니다.

4. CuDNN 설치

CuDNN 설치 위치로 이동합니다.
https://developer.nvidia.com/cudnn
Download cuDNN 을 선택합니다.
회원에게만 공개되므로 꼭 회원가입 해서 로그인 해야합니다. 오래 걸리지 않고 간단하니 그냥 쭉쭉 진행해줍니다.
로그인 후 다시 다운로드를 진행합니다.
압축파일이 다운로드 될 것입니다. 해당 압축을 해재해줍니다.
내pc > c드라이브 > 프로그램파일 > NVIDIA GPU Computing Toolkit > CUDA > 10.1 로 이동해줍니다.

압축해제한 폴더에 있는 모든 파일을 복사해서 C드라이브 CUDA 10.1 폴더에 붙여넣기 해줍니다. 모두 진행하기로 덮어씌워줍니다.

5. 환경 변수 설정

환경 변수 설정을 위해 시스템 환경 변수 편집으로 들어가줍니다.

환경 변수 설정을 누룹니다.

path를 누르고 편집을 누릅니다.

path를 추가해줍니다.

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\extras\CUPTI\libx64
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\include

# 자신의 CUDA 설치한 버전에 맞게 경로 설정하세요
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\extras\CUPTI\libx64
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\include

버전이 다르면 다른 버전으로 바꿔서 넣으면 되는 것 같아요.

6. 설정 확인

여기까지 따라하느라 고생 많으셨습니다. 이제 실제로 실행이 되는지 확인만 하면 끝입니다.

텐서플로우를 실행해서 버전을 확인해봅니다. 실제 import가 잘 되서 버전확인이 되는지 확인합니다. 여기까지 성공했다면 일단 tensorflow가 설치는 된 것입니다.

이제 GPU버전이 설치되어서 연동되는지 확인해보겠습니다.

from tensorflow.python.client import device_lib
device_lib.list_local_devices()

저의 결과는 아래 이미지와 같이 나왔습니다. 자세히 보면 device_type이 나와있습니다. CPU 뿐만 아니라 GPU가 나오는지 확인해 주시면 되겠습니다.

동작까지 확인하고 모델 학습을 실행하시고 작업관리자에서 gpu가 사용되는 것을 확인하면 됩니다.

수고많으셨습니다!

[Python] datetime 모듈 날짜 시간 포맷 맞추기와 포맷 코드 종류

커딩왕 — Fri, 8 Jul 2022 14:19:44 +0900

날짜와 시간 포맷에 맞춰서 출력하기

datetime 객체로부터 날짜와 시간을 가져올 때 기본 형식말고 원하는 대로 포맷을 바꿔주고 싶을때는 strftime() 메소드를 사용해서 원하는 포맷을 파라미터로 넣어주면 됩니다.

예를 들어, 2021-06-23 형식으로 표시하고 싶다면 포맷을 넣는 곳에 %Y/%m/%d 를 써주면 됩니다.

import datetime

now = datetime.datetime.now()
now_date = now.strftime('%Y/%m/%d')

print(now_date)  # 2021/06/23

12시 11분 32초 형식으로 표시하고 싶다면, %H시 %M분 %S초 를 포맷으로 넘겨주시면 됩니다.

import datetime

now = datetime.datetime.now()
now_time = now.strftime('%H시 %M분 %S초')

print(now_time)  # 19시 41분 45초

물론 위 두 가지를 합칠 수도 있습니다.

import datetime

now = datetime.datetime.now()
now_format = now.strftime('%Y/%m/%d %H시 %M분 %S초')

print(now_format)  # 2021/06/23 19시 42분 49초

이밖에 표현하고 싶은 포맷이 있다면 아래 표에 있는 포맷 코드를 조합해서 사용하면 됩니다.

포맷 코드 표

포맷코드	설명	예
%a	요일 줄임말	Sun, Mon, ... Sat
%A	요일	Sunday, Monday, ..., Saturday
%w	요일을 숫자로 표시, 월요일~~일요일, 0~~6	0, 1, ..., 6
%d	일	01, 02, ..., 31
%b	월 줄임말	Jan, Feb, ..., Dec
%B	월	January, February, …, December
%m	숫자 월	01, 02, ..., 12
%y	두 자릿수 연도	01, 02, ..., 99
%Y	네 자릿수 연도	0001, 0002, ..., 2017, 2018, 9999
%H	시간(24시간)	00, 01, ..., 23
%I	시간(12시간)	01, 02, ..., 12
%p	AM, PM	AM, PM
%M	분	00, 01, ..., 59
%S	초	00, 01, ..., 59
%Z	시간대	대한민국 표준시
%j	1월 1일부터 경과한 일수	001, 002, ..., 366
%U	1년중 주차, 월요일이 한 주의 시작으로	00, 01, ..., 53
%W	1년중 주차, 월요일이 한 주의 시작으로	00, 01, ..., 53
%c	날짜, 요일, 시간을 출력, 현재 시간대 기준	Sat May 19 11:14:27 2018
%x	날짜를 출력, 현재 시간대 기준	05/19/18
%X	시간을 출력, 현재 시간대 기준	'11:44:22'

레퍼런스

Codeit 강의 & 공식문서 https://docs.python.org/ko/3/library/datetime.html

코린이에게 추천하는 코딩강의 - 코드잇 - 직접 듣고 느낀 후기

커딩왕 — Tue, 5 Jul 2022 23:49:48 +0900

[Python] Pandas 판다스는 과연 빠른가 ? 속도확인 value_counts, unique, drop_duplicates

커딩왕 — Wed, 29 Jun 2022 13:34:30 +0900

DataFrame 10,000 line & unique value 1000개 짜리 데이터

총 Row line 수가 1만 라인에 유니크안 값이 1000개 정도인 데이터에 대해서 진행해보았다.

pandas.DataFrame.value_counts()

value_counts를 위해서 비교군으로 dictionary를 사요했다.

해당 key 값이 몇 번 발생했는지를 value로 저장하는 방식이다.

데이터 자체가 훨씬 적은 경우에는 아래쪽의 dictionray방식이 훨씬 빨랐다.

하지만 해당 데이터에서는 DataFrame을 사용하는 것이 더 빠르다.

pandas.DataFrame.unique()

uniqe한 값으로 있는지 없는지만 확인하면 되므로 비교군으로 set을 사용하였다.

set을 사용하는 경우가 조금 더 빨랐다.

DataFrame 70,000 line & unique value 1000개 짜리 데이터

전체 데이터 자체가 훨씬 많은 경우로 확인해보았다.

pandas.DataFrame.value_counts()

데이터 자체의 수가 점점 많아지자 DataFrame을 사용하는 경우와 Dictionary를 사용하는 경우의 차이가 훨씬 커졌다.

판다스를 사용하는 것이 훨씬 유리하다.

pandas.DataFrame.unique()

유니크한 값을 찾는 경우에서는 set을 사용하는 방식이 조금 더 빨랐다.

크게 차이가 나지는 않는다고 본다.

DataFrame 70,000 line & unique value 10000개 짜리 데이터

이번에는 unique한 값들이 훨씬 많은 경우를 확인해보았다.

pandas.DataFrame.value_counts()

역시나 DataFrame이 훨씬 빠르다.

pandas.DataFrame.unique()

set을 사용하는 경우가 훨씬 빠른 것을 확인할 수 있다.

DataFrame 16,000,000 line & unique value 100,000개 짜리 데이터

1.3GB가 넘는 데이터를 사용해서 확인해보았다.

pandas.DataFrame.value_counts()

여전히 DataFrmae을 사용하는 것이 유리하다.

pandas.DataFrame.unique()

set을 사용하는 방식이 조금 더 유리하다.

하지만, 전체적인 시간에 비해 큰 차이가 보이지는 않는다.

DataFrame 16,000,000 line & unique value 2,500,000개 짜리 데이터

pandas.DataFrame.value_counts()

이제는 DataFrame이 더 느려졌다.

pandas.DataFrame.unique()

set을 사용하는 것이 훨씬 빠르다.

중복되지 않은 특정 데이터 셋 찾기

100줄 짜리 데이터프레임

5만 줄 짜리 데이터프레임

데이터가 작을 때에는 데이터프레임을 쓰는 것이 더 안좋지만,

데이터의 크기가 커질수록 데이터프레임을 쓰는 것이 훨씬 좋은 성능을 보이고있다.

결론

데이터의 숫자와 결과를 비교해보면 패턴이 있다는 것을 쉽게 눈치챘을 것이다.

DataFrame 전체 길이에 비해서 unique한 값들의 수가 많아질수록 set을 사용하는 것이 유리하다.

unique한 값이 크게 많지 않다면 DataFrame의 method를 사용하는 것이 유리하다.

이 후, 1GB 이상의 데이터들에 대해서는 점차 데이터를 조회하는 것에 대한 시간이 오래걸리는 것을 유추할 수 있다.

Dictionary 또한 Set과 마찬가지로 hash방식의 데이터 조회를 한다.

unique한 데이터가 많은 마지막 Case를 보면 DataFrmae을 사용하는 방식이 더 늦어지는 것을 볼 수 있다.

따라서,

다루는 데이터가 1GB 이상의 대용량 데이터가 많고 unique한 값들 또한 많다면, Set과 Dictionary를 사용한 함수를 따로 작성해서 사용하면 성능을 높일 수 있을 것이다.

반면, 1GB 이상의 데이터가 많지 않고 그 이하의 용량을 가진 데이터를 다수 사용한다면, Pandas라이브러리를 편하게 사용하는 것이 훨씬 수고스럽지 않고 효율적이라고 볼 수 있다.

맘편하게 Pandas쓰자..

나의 경우도 대용량 데이터를 다루지만, 파일을 쪼개서 분석 및 처리를 진행하고 있어, 1GB 이상의 데이터의 비중이 매우 낮다.

그래서 그냥 판다스를 써야겠다..

추가적으로 데이터가 길던 짧던 len(df) 는 O(n) 으로 2us 고정인 것 같다.

다른 방안?

modin.pandas도 사용해보았지만, csv파일을 많이 읽고 다루다보니 Error가 많이 발생하기도 하고

가끔은 오히려 복잡해서 더 늦어지는 경우가 많았다.

안정성이 조금 떨어져서 오히려 불편하다고 느꼈다.

Pandas에서 잘되었던 것들이 modin.pandas를 사용하면, 안되거나 오류를 발생하는 것들이 많다.

파일 하나 하나의 크기가 크다면, modin을 사용하면 좋겠지만, 작을 파일들을 다수 사용하는 나는 그냥 판다스에 multiprocess를 사용하는 것이 더 빠르다고 느꼈다.

[파이썬 에러] Unable to allocate 401. MiB for an array with shape (16, 3288350) and data type int64

커딩왕 — Wed, 22 Jun 2022 19:47:45 +0900

파이썬 메모리 에러

여유 메모리가 있는데 왜 발생하는지 잘 모르겠다.

참고할만한 블로그이다.

https://bskyvision.com/799

[python] 메모리 에러 해결법(MemoryError: Unable to allocate ## for an array with shape ## and data type ##)

안녕하세요. 비스카이비전입니다. 저는 최근에 윈도우10, 아나콘다 환경에서 파이썬 코드를 실행하다가 종종 다음과 같은 에러를 만났었습니다. 메모리에러 즉, 램(RAM) 메모리가 부족해서 생기

bskyvision.com

[Python] 프로그래머스 - 정렬 - 가장 큰 수 : Case 비교 예시 설명

커딩왕 — Tue, 21 Jun 2022 23:59:36 +0900

numbers	return
[6, 10, 2]	"6210"
[3, 30, 34, 5, 9]	"9534330"
[3, 39, 34, 5, 9, 0]	"95393430"
[30, 39, 34, 5, 9, 3]	"953934330"
[0, 0, 0, 0]	"0"

[Python] Plotly 자주 사용하는 Layout 설정 - title, 축 label, font, subtitle, position 등

커딩왕 — Sun, 19 Jun 2022 15:06:28 +0900

Plotly 그래프를 그릴 때 마다 레이아웃 설정하는 부분들이 생각이 안나서 찾아보는 경우가 많다.

그래서 자주 사용하는 layout 설정 소스코드를 작성해서 필요한 부분에 맞게 복분할 수 있도록 앞으로 모아갈 예정이다.

import plotly.graph_objects as go
import plotly.express as px

fail_area = df['불량위치'].value_counts()

fig = go.Figure(data=[go.Bar(
        x=[chr(i) for i in range(65, 65+len(fail_area.values))],
        y=fail_area.values,
        marker_color=px.colors.qualitative.Dark24,
    )])

fig.update_layout(
    title=dict(
        # <br> 태크와 <sup>태그 사용해서 서브 타이틀을 작성할 수 있음
        text='<b>관련 불량 위치 수</b><br><sup>Check All Error Pin Point by Portion</sup>',
        x=0.5,
        y=0.87,
        font=dict(
            family="Arial",
            size=25,
            color="#000000"
        )
    ),
    xaxis_title=dict(
        text="<b>Fail Point</b>"
    ),
    yaxis_title="<b>Portion(%)</b>",
    font=dict(
        family="Courier New, Monospace",
        size=12,
        color="#000000"
    ),
    showlegend=False,
    margin = dict(l=10, r=10, b=10)
)


fig.show()

Plotly Layout 관련 래퍼런스 및 설명은 공식 사이트에서 참고해도된다.

Subtitle

 태그를 사용해서 Bold체 설정하여 글씨를 두껍게 할 수 있다.
  태그를 사용하면 글의 줄을 바꿀 수 있다.
 태그를 사용해서 subTitle을 달아줄 수 있다.  태그를 사용해도 된다.

`` 태그와 `` 태그의 차이

1. 태그 : 아래첨자를 넣고 싶을 때 사용합니다. subscript를 의미합니다.

<p>이것은 아래첨자<sub>아래첨자</sub> 입니다.</p>

결과 : 이것은 아래첨자_아래첨자 입니다.

빨간색으로 표시된 부분이 sub 태그 부분입니다.

2. 태그 : 윗첨자를 넣고 싶을 때 사용합니다. super subscript를 의미합니다.

<p>이것은 윗첨자<sup>윗첨자</sup> 입니다.</p>

결과 : 이것은 윗첨자^윗첨자 입니다.

빨간색으로 표시된 부분이 sup 태그 부분입니다.

출처: https://travelpark.tistory.com/37 [Bon Voyage!:티스토리]

그래프 안에 숫자 표시하기

import plotly.graph_objects as go
import plotly.express as px

fig = px.bar(large, x='대분류', y='Count', color='대분류', text='Count')

fig.update_traces(
    textfont_size=14, 
    textposition='auto',
)

fig.show()

px.bar 에서 text를 어떤 column으로 할지 설정할 수 있다.

update_traces 를 사용해서 text의 font 및 위치 등의 설정을 할 수 있다.

Subplot 으로 그래프 구성하기

아래글 참고하기

[Python] Plotly : subplot 만들기의 모든것 - subtitle, type 설정 포함

[Python] 프로그래머스 - Greedy - 체육복 - 최근 TestCase 반영

커딩왕 — Fri, 17 Jun 2022 08:16:47 +0900

문제 설명

점심시간에 도둑이 들어, 일부 학생이 체육복을 도난당했습니다. 다행히 여벌 체육복이 있는 학생이 이들에게 체육복을 빌려주려 합니다. 학생들의 번호는 체격 순으로 매겨져 있어, 바로 앞번호의 학생이나 바로 뒷번호의 학생에게만 체육복을 빌려줄 수 있습니다. 예를 들어, 4번 학생은 3번 학생이나 5번 학생에게만 체육복을 빌려줄 수 있습니다. 체육복이 없으면 수업을 들을 수 없기 때문에 체육복을 적절히 빌려 최대한 많은 학생이 체육수업을 들어야 합니다.

전체 학생의 수 n, 체육복을 도난당한 학생들의 번호가 담긴 배열 lost, 여벌의 체육복을 가져온 학생들의 번호가 담긴 배열 reserve가 매개변수로 주어질 때, 체육수업을 들을 수 있는 학생의 최댓값을 return 하도록 solution 함수를 작성해주세요.

제한사항

전체 학생의 수는 2명 이상 30명 이하입니다.
체육복을 도난당한 학생의 수는 1명 이상 n명 이하이고 중복되는 번호는 없습니다.
여벌의 체육복을 가져온 학생의 수는 1명 이상 n명 이하이고 중복되는 번호는 없습니다.
여벌 체육복이 있는 학생만 다른 학생에게 체육복을 빌려줄 수 있습니다.
여벌 체육복을 가져온 학생이 체육복을 도난당했을 수 있습니다. 이때 이 학생은 체육복을 하나만 도난당했다고 가정하며, 남은 체육복이 하나이기에 다른 학생에게는 체육복을 빌려줄 수 없습니다.

입출력 예nlostreservereturn

5	[2, 4]	[1, 3, 5]	5
5	[2, 4]	[3]	4
3	[3]	[1]	2

입출력 예 설명

예제 #1
1번 학생이 2번 학생에게 체육복을 빌려주고, 3번 학생이나 5번 학생이 4번 학생에게 체육복을 빌려주면 학생 5명이 체육수업을 들을 수 있습니다.

예제 #2
3번 학생이 2번 학생이나 4번 학생에게 체육복을 빌려주면 학생 4명이 체육수업을 들을 수 있습니다.

출처

※ 공지 - 2019년 2월 18일 지문이 리뉴얼되었습니다.
※ 공지 - 2019년 2월 27일, 28일 테스트케이스가 추가되었습니다.
※ 공지 - 2021년 7월 28일 테스트케이스가 추가되었습니다.
※ 공지 - 2021년 8월 30일 테스트케이스가 추가되었습니다.

소스코드

def solution(n, lost, reserve):
    used = set()
    reserve = set(reserve)
    lost.sort()
    for l in lost:
        if l in reserve:
            used.add(l)
        elif (l-1 in reserve) and (l-1 not in used):
            used.add(l-1)
        elif (l+1 in reserve) and (l+1 not in used):
            used.add(l+1)
            
    return n - len(lost) + len(used)
    

테스트 1 〉통과 (0.01ms, 10.3MB)
테스트 2 〉통과 (0.01ms, 10.3MB)
테스트 3 〉통과 (0.01ms, 10.2MB)
테스트 4 〉통과 (0.01ms, 10.3MB)
테스트 5 〉통과 (0.01ms, 10.2MB)
테스트 6 〉통과 (0.01ms, 10.2MB)
테스트 7 〉통과 (0.01ms, 10.3MB)
테스트 8 〉통과 (0.01ms, 10.1MB)
테스트 9 〉통과 (0.01ms, 10.3MB)
테스트 10 〉통과 (0.01ms, 10.2MB)
테스트 11 〉통과 (0.01ms, 10.2MB)
테스트 12 〉통과 (0.00ms, 10.2MB)
테스트 13 〉통과 (0.00ms, 10.1MB)
테스트 14 〉통과 (0.01ms, 10.1MB)
테스트 15 〉통과 (0.01ms, 10.3MB)
테스트 16 〉통과 (0.01ms, 10.2MB)
테스트 17 〉통과 (0.00ms, 10.2MB)
테스트 18 〉통과 (0.00ms, 10.2MB)
테스트 19 〉통과 (0.00ms, 10.4MB)
테스트 20 〉통과 (0.00ms, 10.4MB)

주의해야할 Test Case

1. lost 에 포함되면서 reserve 에도 포함되는 경우 - 본인이 본인 것을 사용하므로 다른 친구에게 먼저 빌려주면 안된다.

2. 정렬을 해주어야 한다. n = 5, lost = [4, 2], reserve = [5, 3] 인 경우가 해당된다.

위에 작성된 소스코드의 경우 만약 lost를 정렬하지 않으면, 4번 친구가 3번에게 먼저 옷을 빌려가버린다.

그러면 2번 친구는 5번에게 빌릴 수 없으므로 답으로 4를 출력하여 오답이된다.

이렇게 두 가지 예외 케이스를 생각해주면, 다른 문제 풀이에는 어려움이 없을 것이다.

[Python] 프로그래머스 - 완전탐색 - 소수찾기

커딩왕 — Thu, 16 Jun 2022 18:03:47 +0900

numbers	return
"17"	3
"011"	2

from itertools import permutations

def solution(numbers):
    numbers = list(numbers)
    numbers_set = set()
    answer = 0
    for i in range(len(numbers)):
        for value in list(permutations(numbers, i+1)):
            made_value = int("".join(value))
            if made_value not in numbers_set:
                numbers_set.add(made_value)
                if is_prime(made_value):
                    answer += 1
    return answer


def is_prime(number):
    if number in (0, 1):
        return False

    for i in range(2,number//2 + 1):
        if number % i == 0:
            return False
    return True

테스트 1 〉    통과 (0.11ms, 10.4MB)
테스트 2 〉    통과 (70.50ms, 10.5MB)
테스트 3 〉    통과 (0.03ms, 10.3MB)
테스트 4 〉    통과 (3.26ms, 10.5MB)
테스트 5 〉    통과 (4.99ms, 11MB)
테스트 6 〉    통과 (0.03ms, 10.3MB)
테스트 7 〉    통과 (0.08ms, 10.3MB)
테스트 8 〉    통과 (4.98ms, 11MB)
테스트 9 〉    통과 (0.04ms, 10.3MB)
테스트 10 〉통과 (976.44ms, 10.6MB)
테스트 11 〉통과 (33.12ms, 10.5MB)
테스트 12 〉통과 (0.36ms, 10.4MB)

문제 풀이 방법

소수인지 확인하는 부분은 is_prime함수를 사용해서 확인하는 함수를 따로 작성하였다.
전체 case를 찾아야 하므로 permutation을 사용해서 순열을 뽑았다.
011의 경우 순열에서 2 번 발생된다.
같은 숫자를 반복문 돌면서 is_prime을 확인하는 것은 시간 낭비이므로, 이전에 확인한 숫자인지 check를 해야한다. 그래서 numbers_set을 사용해서 확인한 경우는 add해 주었다.

다른 사람들 처럼 멋지게 문제를 풀지는 않았다..ㅎ

[Python] 프로그래머스 - 완전탐색 - 카펫

커딩왕 — Wed, 15 Jun 2022 18:34:13 +0900

10	2	[4, 3]
8	1	[3, 3]
24	24	[8, 6]

def solution(brown, yellow):
    total = brown + yellow
    answer = []
    for height in range(2, int(total**1/2 + 1)):
        if total % height == 0:
            width = total // height
            print(width, height)
            if 2 * (width + height - 2) == brown:
                answer = [width, height]        
                break
    return answer
    
    
테스트 1 〉	통과 (0.01ms, 10.1MB)
테스트 2 〉	통과 (0.01ms, 10.1MB)
테스트 3 〉	통과 (0.06ms, 10MB)
테스트 4 〉	통과 (0.02ms, 10MB)
테스트 5 〉	통과 (0.01ms, 10.1MB)
테스트 6 〉	통과 (0.07ms, 10.2MB)
테스트 7 〉	통과 (0.06ms, 10MB)
테스트 8 〉	통과 (0.06ms, 10MB)
테스트 9 〉	통과 (0.13ms, 10.1MB)
테스트 10 〉	통과 (0.07ms, 9.97MB)
테스트 11 〉	통과 (0.01ms, 10.2MB)
테스트 12 〉	통과 (0.01ms, 10.1MB)
테스트 13 〉	통과 (0.01ms, 10.2MB)

사실상 수학 문제 풀기 방식에 가깝게 문제를 풀었다.

[Python] 프로그래머스 - 스택/큐 - 주식 가격 -

커딩왕 — Tue, 14 Jun 2022 23:32:44 +0900

prices	return
[1, 2, 3, 2, 3]	[4, 3, 1, 1, 0]

1초 시점의 ₩1은 끝까지 가격이 떨어지지 않았습니다.
2초 시점의 ₩2은 끝까지 가격이 떨어지지 않았습니다.
3초 시점의 ₩3은 1초뒤에 가격이 떨어집니다. 따라서 1초간 가격이 떨어지지 않은 것으로 봅니다.
4초 시점의 ₩2은 1초간 가격이 떨어지지 않았습니다.
5초 시점의 ₩3은 0초간 가격이 떨어지지 않았습니다.

소스코드

def solution(prices):
    answer = [0] * len(prices)
    for i in range(len(prices)):
        for j in range(i, len(prices)-1):
            if prices[i] <= prices[j]:
                answer[i] += 1
            else:
                break

    return answer

정확성  테스트
테스트 1 〉    통과 (0.01ms, 10.2MB)
테스트 2 〉    통과 (0.06ms, 10.3MB)
테스트 3 〉    통과 (0.76ms, 10.4MB)
테스트 4 〉    통과 (0.82ms, 10.3MB)
테스트 5 〉    통과 (1.08ms, 10.3MB)
테스트 6 〉    통과 (0.03ms, 10.3MB)
테스트 7 〉    통과 (0.46ms, 10.2MB)
테스트 8 〉    통과 (0.56ms, 10.2MB)
테스트 9 〉    통과 (0.03ms, 10.2MB)
테스트 10 〉통과 (1.12ms, 10.3MB)
효율성  테스트
테스트 1 〉    통과 (154.59ms, 18.9MB)
테스트 2 〉    통과 (119.58ms, 17.6MB)
테스트 3 〉    통과 (213.63ms, 19.4MB)
테스트 4 〉    통과 (136.61ms, 18.1MB)
테스트 5 〉    통과 (97.97ms, 16.8MB)

문제 풀이 과정

가격이 떨어지는 시점과 해당 가격을 모두 비교해야해서

전체적으로 값을 비교할 수 밖에 없다고 생각했다.

우선 이중 for문을 사용하면 문제 자체는 쉽게 풀 수 있을 것이라고 생각해서 문제를 풀었더니 쉽게 해결되었다.

하지만 문제의 의도인 stack/queue를 사용하지 않아서 다른 방식을 찾아보았으나,

성능적으로 크게 개선되지 않았다.

결국엔 전부 비교하는 O(n^2) 형태 같았다.

문제 풀면서 배운 점

다른 사람 소스 코드

def solution(prices):
    answer = [0] * len(prices)
    stack = []

    for i in range(len(prices)):
        while stack != [] and stack[-1][1] > prices[i]:
            past_idx, _ = stack.pop()
            answer[past_idx] = i - past_idx

        stack.append([i, prices[i]])

    for i, _ in stack:
        answer[i] = len(prices) - i - 1

    return answer

정확성  테스트
테스트 1 〉    통과 (0.01ms, 10.2MB)
테스트 2 〉    통과 (0.04ms, 10.1MB)
테스트 3 〉    통과 (0.50ms, 10.3MB)
테스트 4 〉    통과 (0.35ms, 10.2MB)
테스트 5 〉    통과 (0.36ms, 10.2MB)
테스트 6 〉    통과 (0.02ms, 10.1MB)
테스트 7 〉    통과 (0.19ms, 10.3MB)
테스트 8 〉    통과 (0.23ms, 10.2MB)
테스트 9 〉    통과 (0.02ms, 10.2MB)
테스트 10 〉통과 (0.37ms, 10.5MB)
효율성  테스트
테스트 1 〉    통과 (33.62ms, 18.9MB)
테스트 2 〉    통과 (25.27ms, 17.5MB)
테스트 3 〉    통과 (37.94ms, 19.5MB)
테스트 4 〉    통과 (28.90ms, 18.1MB)
테스트 5 〉    통과 (19.60ms, 16.8MB)

다른 사람의 소스코드 중 가장 잘푼 것 같은 코드를 가져왔다.

실제로 돌려본 결과 효율성 측면에서 속도가 이전 소스코드의 1/4 정도인 경우도 있을 만큼 크게 성능 향상된 것을 확인할 수 있었다.

stack에 데이터를 쌓아서 한 번에 처리하는 부분에서 시간 개선이 많이 발생된 것으로 예상된다.

많이 배웠다.

프로그래머스 stack & queue 다른 문제들

[Python] 프로그래머스 - 스택/큐 - 프린터

목차 문제 설명 문제 요약 인쇄 대기목록의 가장 앞에 있는 문서(J)를 대기목록에서 꺼냅니다. 나머지 인쇄 대기목록에서 J보다 중요도가 높은 문서가 한 개라도 존재하면 J를 대기목록의 가장

chancoding.tistory.com

[Python] 프로그래머스 - 스택/큐 - 다리를 지나는 트럭 -

커딩왕 — Mon, 13 Jun 2022 22:32:16 +0900

트럭 여러 대가 강을 가로지르는 일차선 다리를 정해진 순으로 건너려 합니다. 모든 트럭이 다리를 건너려면 최소 몇 초가 걸리는지 알아내야 합니다. 다리에는 트럭이 최대 bridge_length대 올라갈 수 있으며, 다리는 weight 이하까지의 무게를 견딜 수 있습니다. 단, 다리에 완전히 오르지 않은 트럭의 무게는 무시합니다.

예를 들어, 트럭 2대가 올라갈 수 있고 무게를 10kg까지 견디는 다리가 있습니다. 무게가 [7, 4, 5, 6]kg인 트럭이 순서대로 최단 시간 안에 다리를 건너려면 다음과 같이 건너야 합니다.

경과 시간	다리를 지난 트럭	다리를 건너는 트럭	대기 트럭
0	[]	[]	[7,4,5,6]
1~2	[]	[7]	[4,5,6]
3	[7]	[4]	[5,6]
4	[7]	[4,5]	[6]
5	[7,4]	[5]	[6]
6~7	[7,4,5]	[6]	[]
8	[7,4,5,6]	[]	[]

따라서, 모든 트럭이 다리를 지나려면 최소 8초가 걸립니다.

solution 함수의 매개변수로 다리에 올라갈 수 있는 트럭 수 bridge_length, 다리가 견딜 수 있는 무게 weight, 트럭 별 무게 truck_weights가 주어집니다. 이때 모든 트럭이 다리를 건너려면 최소 몇 초가 걸리는지 return 하도록 solution 함수를 완성하세요.

제한 조건

bridge_length는 1 이상 10,000 이하입니다.
weight는 1 이상 10,000 이하입니다.
truck_weights의 길이는 1 이상 10,000 이하입니다.
모든 트럭의 무게는 1 이상 weight 이하입니다.

입출력 예

bridge_length	weight	truck_weights	return
2	10	[7,4,5,6]	8
100	100	[10]	101
100	100	[10,10,10,10,10,10,10,10,10,10]	110

소스코드

from collections import deque

def solution(bridge_length, weight, truck_weights):
    bridge = deque(0 for _ in range(bridge_length))
    truck_weights = deque(t for t in truck_weights)
    answer = 0
    bridge_weight = 0
    while bridge:
        answer += 1
        bridge_weight -= bridge.popleft()

        if truck_weights:
            if bridge_weight + truck_weights[0] <= weight:
                truck = truck_weights.popleft()
                bridge.append(truck)
                bridge_weight += truck
            else:
                bridge.append(0)

    return answer

테스트 1 〉    통과 (0.42ms, 10.2MB)
테스트 2 〉    통과 (6.50ms, 10.3MB)
테스트 3 〉    통과 (0.01ms, 10.4MB)
테스트 4 〉    통과 (5.24ms, 10.2MB)
테스트 5 〉    통과 (48.38ms, 10.3MB)
테스트 6 〉    통과 (14.80ms, 10.3MB)
테스트 7 〉    통과 (0.32ms, 10.2MB)
테스트 8 〉    통과 (0.07ms, 10.2MB)
테스트 9 〉    통과 (1.80ms, 10.2MB)
테스트 10 〉    통과 (0.08ms, 10.2MB)
테스트 11 〉    통과 (0.01ms, 10.3MB)
테스트 12 〉    통과 (0.14ms, 10.2MB)
테스트 13 〉    통과 (0.55ms, 10.2MB)
테스트 14 〉    통과 (0.02ms, 10.2MB)

문제 풀이 과정

가상의 다리 bridge를 리스트 형태로 만들어서 실제로 트럭이 지나간다고 생각하고 문제를 풀었더니 더 쉽게 해결할 수 있었다.

bridge 가장 앞 쪽이 pop해서 사라지고 뒤에 하나가 붙는 방식으로 생각하면 자연스럽게 트럭이 이동하는 모습을 상상할 수 있다.

현제 다리 위의 무게와 다음 트럭의 무게를 비교해서

무게 한도를 넘지 않으면 트럭을 올려주면 된다.

트럭이 다 넘어가고 나면 천천히 pop에 의해서 bridge의 요소들이 하나씩 빠져 나가고 결국 트럭이 모두 지나간 형태가 된 후 종료된다.

문제 풀면서 배운 점

처음 문제를 풀 때는 bridge_weight변수를 따로 두고 무게를 계산하지 않았다.

sum(brige) + truck_Weights[0] 으로 매번 sum을 사용해서 무게를 측정하였더니 생각보다 시간이 많이 걸렸다.

매번 O(n) 만큼의 시간이 추가되는 것이다.

보통의 경우 sum(list)가 많은 시간을 소요하지 않아서 별 생각없었는데,

주의해야 한다는 것을 배웠다.

bridge_weight 라는 변수를 두고 bridge_weight + truck_weights[0] <= weight 이렇게 바로 계산을 진행하니 시간 개선을 상당히 크게 (정확한 수치는 안적놓았다..ㅎ;) 할 수 있었다.

[Python] 프로그래머스 - 스택/큐 - 프린터

커딩왕 — Sun, 12 Jun 2022 20:59:47 +0900

현재 대기목록에는 1개 이상 100개 이하의 문서가 있습니다.
인쇄 작업의 중요도는 1~9로 표현하며 숫자가 클수록 중요하다는 뜻입니다.
location은 0 이상 (현재 대기목록에 있는 작업 수 - 1) 이하의 값을 가지며 대기목록의 가장 앞에 있으면 0, 두 번째에 있으면 1로 표현합니다.

입출력 예

priorities	location	return
[2, 1, 3, 2]	2	1
[1, 1, 9, 1, 1, 1]	0	5

소스코드

from collections import deque

def solution(priorities, location):
    queue = deque(priorities)
    answer = 0
    while queue:
        first_priority = max(queue)
        cur = queue.popleft()
        location -= 1

        if first_priority > cur:
            queue.append(cur)
            if location == -1:
                location = len(queue)-1
        else:
            answer += 1
            if location == -1:
                break  

    return answer

문제 풀이 과정

순서도를 작성해서 정확히 순서도 방식대로 구현하면 위와 같은 코드가 작성된다.

queue에서 앞의 값을 하니씩 빼고

원하는 타겟 값의 위치를 계속해서 location 변수를 통해 저장하고 있는다.

우선순위 비교 후 최 우선순위면 제거하고

아니라면 다시 queue에 넣어주는 방식이다.

[JS] 자바스크립트 배열 push(), pop(), shift(), splice()

커딩왕 — Fri, 10 Jun 2022 05:00:47 +0900

push 메서드 : 배열의 마지막에 새로운 요소를 추가한 후, 변경된 배열의 길이를 반환
pop 메서드 : 배열의 마지막 요소를 제거한 후, 제거한 요소를 반환
unshift 메서드 : 배열의 첫 번째 자리에 새로운 요소를 추가한 후, 변경된 배열의 길이를 반환
shift 메서드 : 배열의 첫 번째 요소를 제거한 후, 제거한 요소를 반환

var arr = [1, 2, 3];

// 배열의 마지막 요소 제거, 제거된 요소 리턴
arr.pop();  // 3

// 배열 마지막에 요소 추가, 배열의 크기 리턴
arr.push("new");  // 3
console.log(arr);  //-> [ 1, 2, 'new' ]

// 배열의 첫번째 요소 제거, 제거된 요소 리턴
arr.shift();  // 1

// 배열의 처음에 요소 추가, 배열의 크기 리턴
arr.unshift("new");  // 3
console.log(arr);  //-> [ 'new', 2, 'new' ]

splice 메서드 - 배열 요소 추가 삭제

Array.prototype.splice() 메서드는 배열의 특정 위치에 배열 요소를 추가하거나 삭제하는데 사용한다.

array.splice("시작위치", "제거건수")

splice 함수는 원하는 위치에서 하나 이상의 요소를 제거 할 수 있다.

array.splice("시작위치", "제거건수", ["요소1", "요소2" ... ])

splice 함수는 요소를 제거 후 해당 위치에 새로운 요소를 추가할 수 있다.

리턴값은 삭제한 배열 요소이다.

삭제한 요소가 없더라도 빈 배열을 반환한다.

splice 예제 1

/* 배열 임의의 위치에 요소 추가 제거 */
// start - 수정할 배열 요소의 인덱스
// deleteCount - 삭제할 요소 개수, 제거하지 않을 경우 0
// el - 배열에 추가될 요소
arr.splice(start, deleteCount, el);

var arr = [1, 5, 7];
arr.splice(1, 0, 2, 3, 4);  // [], arr: [1, 2, 3, 4, 5, 7]
arr.splice(1, 2);           // [2, 3], arr: [1, 4, 5, 7]

splice 예제 2

var arr = ['a', 'b', 'c', 'e', 'f'];

// arr = ['a', 'b', 'e', 'f']
arr.splice(2, 1); // index 2 부터 1개의 요소('c')를 제거

// arr = ['a', 'f']
arr.splice(1, 2); // index 1 부터 2개의 요소('b', 'e')를 제거

// arr = ['a']
removed = arr.splice(1, 1); // 제거한 요소를 반환 받을 수 있음

// removed = 'f'

웹 사이트 보안 관련 이슈

커딩왕 — Thu, 9 Jun 2022 21:25:26 +0900

웹 사이트 제작시 보안 이슈는 특히 조심해야한다.

쉽게 생각해서 악성 유저의 입장으로 테스트를 진행해보면 좋다.

아래에 다음과 같은 것들을 고려해서 작성해야한다.

회원가입시 너무 긴 아이디 비번을 넣는다
영어로 넣어야할 곳에 한글을 넣는다
빈칸으로 설정한다
미로그인 상태에서 조작
<script>를 서버로 보내는 XSS 공격 - <>를 못 쓰게 한다던가
brute force attack - 로그인 요청 횟수를 제한(express-rate-limit 라이브러리 사용)
DB 비밀 번호 털리지 않게 주의

[Python] 멀티 프로세싱 사용하기 - 멀티 프로세싱 적용을 위한 함수들 알아보자

커딩왕 — Wed, 8 Jun 2022 14:48:10 +0900

from multiprocessing import Pool
import multiprocessing as mp
import time
import os

def func(num):
    c_proc = mp.current_process()
    print("Running on Process",c_proc.name,"PID",c_proc.pid)
    time.sleep(1)
    print("Ended",num,"Process",c_proc.name)
    return num

if __name__ == '__main__':
    p = Pool(4)
    start = time.time()

    ret1 = p.apply_async(func,(1,))
    ret2 = p.apply_async(func,(2,))
    ret3 = p.apply_async(func,(3,))
    ret4 = p.apply_async(func,(4,))
    ret5 = p.apply_async(func,(5,))
    print(ret1.get(),ret2.get(),ret3.get(),ret4.get(),ret5.get())

    delta_t = time.time()-start
    print("Time :",delta_t)

    p.close()
    p.join()

map() , map_async()

iterable에 대해 동일한 함수를 멀티프로세싱을 이용하여 처리하고자 할 때 사용한다. 단, 사용하고자 하는 함수는 단일 인자를 받아야 한다.

starmap() , starmap_async()

인자를 두 개 이상 받을 수 있다는 점을 제외하면 map(), map_async()와 같다.

imap(), imap_unordered()

map의 결과물은 list인 반면, imap의 결과물은 iterator이다.

기본 chunkzise는 1인데, 1 대신 적절하게 큰 값을 써주면 훨씬 빨리 처리할 수 있다.

결과물의 길이가 길어서 list로 나타내었을 때,

메모리에 부담이 가는 경우 imap을 사용해주면 좋다

imap_unordered()는 순서가 보장되지 않는다.

Callback

apply_async, map_async, starmap_async에서 callback 받기

위 세 개의 함수에 callback을 달아줄 수 있다.

callback의 인자는 위 함수들의 결과물을 받는다. 작업이 완료되는 순간 실행된다.

from multiprocessing import Pool
import multiprocessing as mp
import time
import os

def callback_func(result):
    print("callback_func got result :",result)

def square(x):
    return x*x

if __name__ == '__main__':
    with Pool(4) as p:
        result = p.map_async(square,range(11),callback=callback_func)
        result.wait()

callback_func got result : [0, 1, 4, 9, 16, 25, 36, 49, 64, 81, 100]

Reference

아래 블로그에 예시 코드가 너무 잘나와있다.

내용을 잊지 않기 위해 해당 게시글을 퍼온 글이다.

자세한 예시를 보고싶다면 아래 블로그 글을 참고하면 좋다.

https://tempdev.tistory.com/27?category=845382

Python multiprocessing.Pool 멀티프로세싱 2

Python에선 multiprocessing.Pool을 이용하여 멀티프로세싱을 할 수 있다. Process를 활용할 때는 우리가 직접 Process를 만들어서 그 Process위에서 작업을 돌렸다면, Pool은 지정된 개수만큼 프로세스를 미리

tempdev.tistory.com

참고자료

멀티프로세싱에 tqdm을 사용해서 진행상황을 알고싶다면 아래 블로그를 참고하면 아주 이해가 쉽다. 검색해서 나오는 것 중 가장 잘 나와있는 자료라고 생각된다.

https://leimao.github.io/blog/Python-tqdm-Multiprocessing/

Progress Bars for Python Multiprocessing Tasks

Use tqdm for Python Multiprocessing

leimao.github.io

]

[Python] 패키지 구성을 위해 init 파일과 all에 대해 알아보자

커딩왕 — Mon, 6 Jun 2022 13:51:47 +0900

shapes 패키지 안에서 함수들을 직접 가져왔기 때문에 area를 건너뛸 수 있는 거죠. init 파일에서 임포트되는 것은 항상 package.으로 접근할 수 있습니다. 위 처럼 호출 방식을 바꿔주는 것은 유용하게 쓰일 때도 있습니다.

3-2. `init` 파일에서 변수 정의하기

상수값 PI는 area 모듈에서도 쓰이고 volume 모듈에서도 쓰입니다. PI처럼 패키지에 있는 여러 모듈이 필요로 하는 것들은 각 모듈에서 정의하지 않고 패키지 안에서 한 번만 정의해 주는 게 좋습니다. 똑같은 걸 여러 번 정의하는 건 비효율적이고 실수로 하나를 잘 못 정의하면 프로그램에 오류가 나기 때문입니다.

PI를 패키지 안에서 한 번만 정의해 주려면 (즉 패키지 레벨에서 정의해 주려면) PI를 shapes 패키지의 init 파일에서 정의해 주면 됩니다.

shapes/__init__.py

PI = 3.14

그리고 패키지 안에 있는 모듈에서는 PI를 임포트하면 됩니다.

shapes/area.py

from shapes import PI

# 원의 면적을 구해 주는 함수
def circle(radius):
        ...

shapes/volume.py

from shapes import PI

# 구의 부피를 구해 주는 함수
def sphere(radius):
    ...

PI같은 상수뿐만이 아니라 여러 모듈에서 필요한 변수, 함수 또는 객체는 패키지의 init 파일에서 정의해 주는 게 좋습니다.

그리고 패키지의 init 파일에서 정의되는 것들은 패키지 밖에서도 사용할 수 있습니다.

run.py

# PI 직접 임포트
from shapes import PI

# 패키지 임포트 후 shapes. 으로 접근
import shapes
shapes.PI

4. `all` 특수 변수란?

__all__ 특수 변수는 우리가 import \*를 했을 때 임포트 대상에서 어떤 것들을 가져와야 하는지를 정해 주는 변수입니다. 임포트 대상에서 내용 전체를 가져오라고 했을 때 '전체'가 무엇인지 정의해 주는 거죠. __all__ 은 모듈에도 적용되고 패키지에도 적용됩니다.

5. `all` 변수 활용하기

**5-1. `import *`**

모듈을 임포트할 때 from <module> import *를 하면 모듈의 모든 내용이 임포트됩니다.

하지만 모듈 대신 패키지에 from <package> import *를 하면 패키지 안에 있는 게 아무것도 임포트되지 않습니다.

5-2. `all` 과 모듈

모듈의 __all__ 은 모듈에 해당하는 파일에서 정의합니다. 예를 들어 area.py에 아래와 같은 코드를 추가해 주면:

shapes/area.py

# __all__ 정의
__all__ = ['circle', 'square'] 

PI = 3.14

# 원의 면적을 구해 주는 함수
def circle(radius):
    return PI * radius * radius  

# 정사각형의 면적을 구해 주는 함수
def square(length):
    return length * length

from shapes.area import *를 했을 때 area 모듈의 모든 내용이 임포트되지 않고 circle 과 square 함수만 임포트됩니다.

5-3. `all` 과 패키지

패키지의 __all__ 은 패키지에 해당하는 init 파일에서 정의합니다. 예를 들어 shapes 패키지의 init 파일에 아래와 같은 코드를 추가해 주면:

shapes/__init__.py

# __all__ 정의
__all__ = ['area', 'volume']

이제 from shapes import *를 하면 area 모듈과 volume 모듈이 임포트됩니다.

__all__을 사용하면 패키지나 모듈에 import *를 했을 때 어떤 것들이 임포트되는지를 제어할 수 있습니다. 그래도 여전히 import * 만 봐서는 정확히 어떤 것들이 임포트되는지를 알 수 없기 때문에 import *는 프로그램에서 정의되는 이름들, 즉 네임스페이스를 완벽히 이해하고 있을 때만 사용하는 것을 추천드립니다.

6. Reference

Codeit 강의 파이썬 중급 교육 자료

[Python] 파이썬 패키지란? - package에 대한 설명 및 예시

커딩왕 — Sun, 5 Jun 2022 13:40:06 +0900

패키지란?

패키지는 모듈들을 모아 놓은 디렉토리를 뜻합니다.

예를 들어 우리는 평면도형의 면적을 구해 주는 area 모듈과 입체도형의 부피를 구해주는 volume 모듈을 모아서 shapes라는 패키지를 만들었습니다. shapes 패키지의 구조는 아래와 같습니다.

shapes/
    __init__.py
    area.py
    volume.py

shapes/area.py

PI = 3.14

# 원의 면적을 구해 주는 함수
def circle(radius):
    return PI * radius * radius

# 정사각형의 면적을 구해 주는 함수
def square(length):
    return length * length

shapes/volume.py

PI = 3.14

# 구의 부피를 구해 주는 함수
def sphere(radius):
    return (4/3) * PI * radius * radius * radius

# 정육면체의 부피를 구해 주는 함수
def cube(length):
    return length * length * length

패키지는 일반 디렉토리와 똑같은데 안에 __init__.py라는 파일이 있습니다.

패키지 임포트

모듈과 비슷하게 패키지 안에 있는 내용을 가져올 때도 import 키워드를 사용합니다.

`import <package.module>`

run.py

import shapes.volume

print(shapes.volume.cube(3))

이렇게 패키지 안에 있는 모듈을 가져올 수 있습니다. 패키지나 모듈 안에 있는 것은 항상 . 을 이용해서 접근합니다.

`import <package>`

run.py

import shapes

print(shapes.volume.cube(3)) # 오류

이렇게 패키지 자체를 임포트할 수도 있는데 그러면 패키지 안에 있는 내용들은 임포트되지 않습니다 (패키지 안에 있는 모듈도 같이 임포트하려면 패키지의 init 파일을 활용해야 합니다 - 다음 레슨들 참고). 그래서 위 코드는 오류가 납니다.

참고로 import ... 방식을 써서는 모듈의 함수나 변수를 바로 가져올 수 없습니다.

run.py

import shapes.volume.cube # 오류

import ... 방식으로는 패키지나 모듈만 임포트할 수 있습니다.

`from <package> import <module(s)>`

run.py

from shapes import volume
print(volume.cube(3))

from ... import ... 방식도 패키지에 쓸 수 있습니다. 패키지 안의 모듈을 바로 가져올 수도 있고...

`from <package.module> import <member(s)>`

전처럼 모듈 안에 있는 변수나 함수를 가져올 수도 있습니다.

run.py

from shapes.volume import cube

print(cube(3))

`as` 키워드

그리고 임포트 문 뒤에 as 키워드를 써서 임포트하는 것의 이름을 바꿔줄 수 있습니다.

run.py

import shapes.volume as vol

print(vol.cube(3))

추가

파이썬 package 구성을 위한 __init__ 과 __all__ 구성하기 : https://chancoding.tistory.com/207

Reference

Codeit 파이썬 중급 강의 내용