대학원생이 쉽게 설명해보기

몇일 간격으로 Modular 를 모니터링하긴 하는데,

1.0v 처럼 오피셜은 아니지만 0.1.0v으로 곧 local 환경에서 만날 날은 진짜 얼마 안남은 것 같다

https://www.modular.com/

관심있으면 이메일을 등록해두고, Docs를 읽어보자. 그것과 더불어 아래 Keynote는 천천히 보다보면 재밌다. 만든 사람이 직접 브리핑하기도 하고..

https://www.modular.com/keynotes/2023

문서같은 경우는 확실히 초반에 개발이 바빠서인지는 몰라도 전반적으로 언어에 대한 설명이 부족했는데,
그때의 Docs랑 지금 Docs는 완전히 다른 차원이라는 것은 몸소 느껴진다.

지금까지 봐온 새롭게 만들어진 언어들이 그랬듯이 이제 머지않아 공식 Docs가 생기고, 핵심 언어의 번역 프로젝트도 시작되지 않을까 생각한다.

위에 말이랑 비슷하지만 Docs가 모습을 갖춘다는 것은 이제 곧 공식적으로 된다는 것을 의미하는 것 같고, 마치 예전 TensorFlow를 보는 것 같아서 굉장히 느낌이 새롭다

- Mojo Docs : https://docs.modular.com/

- Mojo git : https://github.com/modularml/mojo

1. Python의 상위 호환(superset)이다.
2. AI 프로그래밍의 불편함을 해소하고자 시작된 프로젝트이다.
3. C++, Rust 등 low 언어 문법과 (high) Python 문법이 혼합되어 있으며(let, var, struct, 메모리 관리 기법 등),
   아직 Python 문법을 100% 지원하지는 않는다.
4. Python에서 함수 정의를 위해 사용하는 def 대신 좀더 strict한 fn을 제공한다.
    서로 기능은 동일하나, fn 이 def보다 좀 더 limited, controlled 하다고 한다. input, output의 타입은 필수로 명시하는 등.

struct Complex:
    var re: Float32
    var im: Float32

    fn __init__(inout self, x: Float32):
        """Construct a complex number given a real number."""
        self.re = x
        self.im = 0.0

    fn __init__(inout self, r: Float32, i: Float32):
        """Construct a complex number given its real and imaginary components."""
        self.re = r
        self.im = i

5. Python 대표 모듈은 당연히 사용가능하게끔 지원한다. NumPy, Pandas 등

문서에 나온 예제를 보면 언뜻 다음 느낌을 받을 수 있는데, 물론 자세한 것은 아니고 느낌이 그렇다는
ㅇ 파이썬이 가지고 있는 강점은 살리면서,
- 쉬운 문법, 사용자를 바라보는 철학, 다른 라이브러리와의 비교적 쉬운 혼합(binding)
ㅇ 파이썬에 존재하는 본질적인 단점을 해결하는 느낌이다.
- 시스템 프로그래밍, 타언어에 비해 불안정적인 배포

Docs에 매우 자세하게 많은 것들이 설명돼있으니 시간을 가지고 천천히 전부 읽어보면 도움이 많이 될 것 같다.

물론 아직 신규 언어라 다른 언어 문서에 비하면 내용이 적다고 생각할 수 있지만 기본적으로 파이썬과 C 언어를 읽을 수 있으면, 전부 이해할 수 있을정도로 쉽게 설명해놓았다.

뭔가 다른 언어에 파이썬이 겹쳐있는 느낌이라 매우 흥미롭게 느껴진다. 시간이 지날수록 Mojo가 어떻게 될지, Python은 어떻게 반응할지 엄청 궁금해지는 바이다.

데이터 분석 및 전처리시 자주 사용되진 않지만 필수적으로 알아두어야 할 방법들입니다.

- explode, Reverse explode, melt, cut, qcut

여기선 다루지 않지만 행(row), 열(column)을 쉽게 조작하게 도와주는 stack(), unstack() 함수도 유용합니다.

explode

list로 이루어진 데이터(column)를 다수의 행으로 펼쳐주는 방법, explode() 를 사용하면 손쉽게 해결할 수 있습니다.

df = pd.DataFrame({
    'SEG': ['A', 'B'],
    'VALUE': [[17, 23, 54], [19, 28, 51]]
})

df.explode('VALUE')

Reverse explode

위 방법의 반대입니다.
각 seg 별로 값을 list 형태로 합쳐줄 수 있습니다.

# as_index : index 해제
# agg : 각 SEG가 가지고 있는 VALUE를 tolist()함
ep_df.groupby('SEG', as_index = False).agg(lambda x: x.tolist())

melt

열을 행으로 펼쳐주고, 새로운 열을 생성합니다. 행과 열을 프로덕트(product)하여 column을 row value로 펼쳐줍니다. melt()를 활용합니다.

df = pd.DataFrame({
    'SEG': ['A', 'B'],
    'VALUE_1': [17, 23],
    'VALUE_2': [19, 28],
})

df.melt(id_vars = ['SEG'], value_vars = ['VALUE_1', 'VALUE_2'], 
		var_name = 'VALUE_SEG', value_name = 'VALUES')

stack() 을 활용하면 동일한 결과를 얻을 수 있습니다.

df.set_index('SEG').stack().to_frame(name = 'VALUES').reset_index()

cut, quct을 활용한 category encoding

숫자 형태 데이터에 category encoding을 수행하고 싶을때,

qcut(), cut() 을 활용하면 원하는 전처리를 수행할 수 있습니다.

df = pd.DataFrame({
    'AGES': [11, 16, 18, 
             21, 24, 29,
             30, 35, 36,
             40, 42, 43]
})

age_bins = [10, 20, 30, 40, 50]

df['AGE_SEG_cut'] = pd.cut(df['AGES'], age_bins)
df['AGE_SEG_qcut'] = pd.qcut(df['AGES'], q = 5)

원래 INDEX + MATCH 함수를 사용해서 VLOOKUP을 대체하는 등을 자주 사용하곤 하지만,
INDEX + COUNTA 함수를 조합해서도 유용하게 업무를 자동화할 수 있다.

< INDEX >
특정 범위와 찾을 값의 위치를 입력하면, 해당 값을 출력
INDEX(범위, 찾을 값의 위치)

< COUNTA >
해당 범위에 비어있지 않은 셀의 갯수를 출력
COUNTA(범위)

위 예시에서 1월 1일의 경우 아래와 같이 함수를 사용합니다 
=INDEX(J6:ZZ6, COUNTA(J6:ZZ6)-3)

이런식으로 조합해서 사용하면 '1월 5일', '1월 6일' 등 날짜가 바뀌어도(1월 4일 옆으로 열이 추가돼도)
최근 4일의 값을 가져오게끔 자동화를 시켜놓을 수 있어 매우 편리합니다.

신경망(Neural Network)뿐 아니라 대부분 모델에서 학습을 수행하기 전에 데이터 값의 범위를 정규화(Normalization), 표준화(Standardization) 하는 것은 매우 중요합니다.

이러한 처리 방법을 사용해서 값의 범위를 비슷하게 만들거나 평균이 1인 정규 분포 형태로 만들어주는 것은 학습 시에 큰 도움이 됩니다.

하지만 현실 데이터에선 값의 범위가 균형적(balanced)이거나 정규분포 형태를 거의 보기 어렵고, 주로 꼬리가 치우친(Skewed or unbalanced) 형태를 띄고 있는데요. Skewed Data는 모델 입력으로 사용하기 전, 전처리 과정(Preprocessing or Engineering)에서 어떤 처리 방법을 사용할지 한번쯤은 고민하게 만드는 골치아픈 데이터입니다.

이때, 기본적으로 세 가지 방법을 후보로 생각해볼 수 있습니다.

1. Min-Max Scaler; 정규화
2. Standard Mean/Std Scaler; 표준화
3. Apply Log-function; 로그화

이 방법들을 통해 성능을 많이 향상시킬 수 있는데, 이뿐 아니라 Gaussian Rank 방법을 추가로 고려해볼 수 있습니다.

Gaussian Rank 방법은 Numeric Feature Distribution을 Normal Distribution으로 변형시켜줍니다.

1. -1 ~ 1 사이의 값(clipped value)을 순서(sorted)매깁니다.
2. 순서 값에 오차역함수(inverse error function)을 적용하여 마치 Normal Distribution처럼 만듭니다.

Gaussian Rank 방법은 Porto Seguro's Safe Driver Prediction(캐글 대회, 아래 URL 참고) 1등 솔루션 인터뷰를 보면,
Min-Max Scaler나 Standard mean/std Scaler보다 더 좋은 성능으로 가장 좋았다고 나와있습니다.

• https://www.kaggle.com/c/porto-seguro-safe-driver-prediction/discussion/44629#250927

총 세 가지 구현 방법을 찾게되었는데, 아래 세 개 코드를 참고하시길 바랍니다.

1. NumPy 구현 - 1 (Github 참조) : https://github.com/affjljoo3581/Job-Recommend-Competition
2. NumPy 구현 - 2 (Kaggle 참조) : https://www.kaggle.com/tottenham/10-fold-simple-dnn-with-rank-gauss
3. sklearn - QuantileTransformer 활용 (Kaggle 참조)
   https://www.kaggle.com/kushal1506/moa-pytorch-0-01859-rankgauss-pca-nn

< 공통 사용 모듈 Import >

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

from scipy.special import erfinv
from sklearn.preprocessing import QuantileTransformer

np.random.seed(42)

먼저, 예제로 사용할 더미 데이터를 생성합니다.

# 데이터 생성
X = (np.random.randn(200, 1) * 5 + 10) ** 2
df = pd.DataFrame(X)
df.head()

1. NumPy 구현 - 1

Gaussian Rank 적용

epsilon = 1e-4
noise_scale = 0.001

gaussian_noise = np.random.normal(0, 1, df[df.columns[0]].shape)
transformed_data = df[df.columns[0]] + noise_scale * df[df.columns[0]].max() * gaussian_noise

data_rank = np.argsort(np.argsort(transformed_data))
data_rank = 2 * data_rank / data_rank.max() - 1

clipped_data_rank = np.clip(data_rank, -1 + epsilon, 1 - epsilon)
# 오차역함수 적용
transformed_data = erfinv(clipped_data_rank)

결과 확인

plt.figure(figsize = (10, 5))

plt.subplot(1, 2, 1)
plt.hist(df[df.columns[0]])
plt.title('Before')

plt.subplot(1, 2, 2)
plt.hist(transformed_data)
plt.title('After Gaussian Rank')

plt.tight_layout()
plt.show()

2. NumPy 구현 - 2

함수 정의

def rank_gauss(x):
    N = x.shape[0]
    temp = x.argsort()
    
    rank_x = temp.argsort() / N
    rank_x -= rank_x.mean()
    rank_x *= 2
    
    efi_x = erfinv(rank_x)
    efi_x -= efi_x.mean()
    return efi_x
    
transformed_data = rank_gauss(df[df.columns[0]])

결과 확인

3. sklearn QuantileTransformer 활용

transformer = QuantileTransformer(n_quantiles=100,random_state=0, output_distribution="normal")
transformer.fit(X)

transfored_data = transformer.transform(X)

결과 확인