대학원생이 쉽게 설명해보기

초기하 분포(hypergeometric dist.)

빨간공 5개, 파란공 5개가 있다고 할 때, 복원 추출에서의 빨간공 x개, 파란공 y개를 뽑을 확률은 이항분포를 따르게 됩니다. 

예를 들어, 빨간공을 성공, 파란공을 실패로 두어 각각 독립적인 사건의 연속적 시행이라고 보면 되니까요. 

복원일 경우입니다.

복원 추출이 아닌, 비복원 추출일 시 이를 초기하 분포를 따른다고 표현할 수 있습니다. 

현재 시점에서 발생하는 사건은 정확히 이전 사건에 영향을 받게 됩니다. 왜냐하면 공 1개가 줄어들엇거든요.

초기하 분포의 PMF

전체 갯수 N에서 총 n개의 공을 뽑는다고 가정할 시,

빨간공 M개 중 x개를 뽑고, 파란공 (N-M)개 중 (n-x)개를 뽑는 경우

초기하 분포의 E(X) : np

초기하 분포의 VAR(X) : (N-n / N-1) * (npq) if q = 1 - p

- CPU issue

https://github.com/tensorflow/tensorflow/issues/18503 

에 따르면 CPU가 오래된 것일 수록 tensorflow의 고버전을 사용할 수 없습니다.

오래된 것을 어떻게 판단하냐면 AVX feature이라는 기능을 CPU가 지원을 하느냐, 안하느냐로 판단하면 됩니다.

CUDA나 Cudnn, 환경변수 등을 잘 설정했는데도 안되고, 컴퓨터가 오래된 것이라면 한번 의심해보시길 바랍니다. 

위의 저 기능이 없는경우 tensorflow 1.5까지만 사용할 수 있습니다. 

- Tensorflow + CUDA version

TensorFlow 1.10 이후의 거의 모든 버전은 CUDA 10 이후를 지원합니다.

- python version

Tensorflow 1.5 에서는 python >= 3.6.* 이 안될 때도 있다. (3.5로 설치하니까 해결)

보통 3.6은 Tensorflow 1.6부터라고 생각하면 된다. 

또한 TensorFlow 2.0부터는 파이썬 2.x버전을 지원하지 않을 것이라고 한다.

이항분포란, 

- n번의 독립적인 베르누이 시행(p)에서 성공 횟수의 분포는 Bin(n, p)를 따른다. 

PMF(확률질량변수)

기댓값 E(X) = np

분산 VAR(X) = npq

예제)

5지 선다형 문제 25문제를 다 맞출 확률은 무엇인가?

25C25 * (1/5)^25 * (4/5)^0 입니다. (엄청 작아요)

베르누이 분포는 이산 분포의 한가지로서 가장 기본이 되는 분포입니다. 

가장 기본이 되는 분포라 하면 이항분포를 떠올릴 수 있겠지만, 베르누이 분포의 업그레이드 버전이므로 

베르누이 분포를 먼저 알고 가는 것이 좋습니다.

베르누이 분포는 X가 성공(1), 실패(0) 두 가지의 경우만 가질 수 있으며, 

P(x=1) = p, P(x=0) = 1-p일 때, X ~ Bernoulli(p)를 따른다고 한다. 

베르누이 분포의 PMF는 다음과 같다.

< 베르누이 분포 PMF >

확률에서의 기댓값을 구하는 방법은 확률값 * 확률질량함수로 구할 수 있다.

따라서 베르누이 분포의 기댓값은 

E(X) = 1 * p + 0 * (1-p) = p 이며, 이와 동일하게 E(X^2)을 구해 분산을 구해보면

VAR(X) = pq 를 얻을 수 있다. 

기본 통계학 책을 보면 주사위에 관한 예제가 자주 나오는데 한번 보면, 

Abstract

임베디드 비전 앱과 모바일을 위한 효율적인 모델인 MobileNet을 소개한다. 

MobileNet은 경량 심층신경망으로 구성된 깊이방향으로 분리가능한 합성곱을 사용한 간소화된 아키텍처이다.

지연속도(latency)와 정확도(accuracy)를 효율적으로 조정 가능한 두가지 global hyper-parameter를 소개한다.

이 두 매개변수는 모델 개발자가 문제의 제약에 따라 적합한 크기의 모델을 택할 수 있게 해준다.

우리는 자원과 정확도의 trade-off관계에 대해 많은 실험을 하였고, ImageNet 분류문제에서 다른 저명한 모델과 비교하여 좋은 성능을 보였다.

object detection, fine grain classification, face attributes and large scale geo-loc를 포함한 다양한 애플리케이션에서의 효율성을 증명한다.

Reference

Howard, A. G., Zhu, M., Chen, B., Kalenichenko, D., Wang, W., Weyand, T., ... & Adam, H. (2017). Mobilenets: Efficient convolutional neural networks for mobile vision applications. arXiv preprint arXiv:1704.04861.