Mxnet/Basics - 편집 역사

2017년 7월 14일 (금) 09:20에 Admin님의 편집

2017-07-14T09:20:42Z

Admin: /* Intermediate-level Interface */

2017-07-04T09:32:29Z

Intermediate-level Interface

Admin: /* Intermediate-level Interface */

2017-07-04T09:32:06Z

Intermediate-level Interface

Admin: 새 문서: 걍 numpy를 쓰지 않는 이유는 cpu, gpu등 자유로이 알아서(?) 처리해주고, 병렬까지도 알아서(?) 한다고 함. [http://mxnet.io/tutorials/basic/ndarray.html]...

2017-07-04T09:30:01Z

새 문서: 걍 numpy를 쓰지 않는 이유는 cpu, gpu등 자유로이 알아서(?) 처리해주고, 병렬까지도 알아서(?) 한다고 함. [http://mxnet.io/tutorials/basic/ndarray.html]...

새 문서

걍 numpy를 쓰지 않는 이유는 cpu, gpu등 자유로이 알아서(?) 처리해주고, 병렬까지도 알아서(?) 한다고 함. [http://mxnet.io/tutorials/basic/ndarray.html] <del>tf도 해주지 않냐?</del>

{{c|broadcast}}[http://mxnet.io/tutorials/basic/ndarray.html#broadcast]: {{c|rep}}같은건가봄.

{{c|pickle.dump}}말고 {{c|mx.nd.load, mx.nd.save}}를 쓸 수 있다. [http://mxnet.io/tutorials/basic/ndarray.html#serialize-from-to-distributed-filesystems]

symbolic api를 설명[http://mxnet.io/tutorials/basic/symbol.html]하면서 중간에 장점이 하나 나오는데 이런게 있었네 싶었음. ㅎㅎ : 미리 그래프를 짜 놓으면 나중에 어떤 결과값이 필요할지 미리 알 수 있어서 계산중간값들을 모두 저장해둘 필요가 없다. 메모리가 절약됨.<br>
관련해서, symbolic programming을 declarative programming이라고도 하고 이 반대를 imperative programming이라고 하는 모양. <del>imperative programming은 단어만 보면 이게 도대체 뭔소린가 싶었다.</del> Declarative programming의 예: regular expression, SQL.

매뉴얼 따라하다가 {{c|graphviz}}때문에 에러남
ExecutableNotFound: failed to execute ['dot', '-Tsvg'], make sure the Graphviz executables are on your systems' PATH
맥이라 걍 포기. {{c|brew}}하면 된다는데 걍 안하고 원격 리눅스에서나. 시스템에도 있어야 하고, pip로도 있어야 한다.(우분투에서 {{c|apt ~}} 랑 {{c|pip install ~}} 다 해줘야 한다는 얘기)

bind → forward해서 output을 얻지 않고, 바로 eval할 수도 있다.

<u>{{c|tojson()}}</u>
print(c.tojson())
c.save('symbol-c.json')
c2 = mx.sym.load('symbol-c.json')

type cast
a = mx.sym.Variable('data')
b = mx.sym.cast(data=a, dtype='float16’)

===Module===
====Creation====
<pre>mod = mx.mod.Module(symbol=net,
context=mx.cpu(),
data_names=['data'],
label_names=['softmax_label' ])</pre>
====Intermediate-level Interface====
먼저 대강
mx.test_utils.download
np.genfromtxt
... # data와 label분리.
mx.io.NDArrayIter # batch 분리
... # net만들고
mod = mx.mod.Module(symbol=net, context=mx.cpu(), ...)
한 다음,
<pre># memory alloc
mod.bind(data_shapes=train_iter.provide_data, label_shapes=train_iter.provide_label)

mod.init_params(initializer=mx.init.Uniform(scale=.1))
mod.init_optimizer(optimizer='sgd', optimizer_params=(('learning_rate', 0.1), ))
metric = mx.metric.create('acc')

for epoch in range(5):
train_iter.reset()
metric.reset()
for batch in train_iter:
mod.forward(batch, is_train=True) # (1)
mod.update_metric(metric, batch.label) # (2)
mod.backward() # (3)
mod.update()
print('Epoch %d, Training %s' % (epoch, metric.get()))</pre>
* (2)의 {{c|batch.label}}이 어디서 나오나 했는데 다음 section([http://mxnet.io/tutorials/basic/data.html iterators])에 보면 나온다.
** [http://mxnet.io/api/python/io.html#mxnet.io.DataBatch API문서]도 있음.
* (2)에서 {{c|mod}}에 metric을 알려주므로, (3)에서 {{c|backward}}만 불러도, gradient계산한다.
* metric.create에서 여러가지 할 수 있는데, [http://mxnet.io/api/python/metric.html mxnet.metric api]에서 볼 수 있다.
** {{c|Accuracy, TopKAccuracy, F1, Perplexity, MAE, MSE, RMSE, CrossEntropy, Loss, Torch, Caffe<ref>{{c|Loss, Torch, Caffe}}는 Dummy metrics</ref>, CustomMetric, np<ref>numpy array를 입력으로 받는 custom metric</ref>}}가 있다.
** {{c|acc}}등으로 줄여쓸 수 있는것 같은데 그것도 문서화 안된것 같다. {{c|acc}}(accuracy), {{c|top_k_acc}}(top-k-accuracy), {{c|ce}}(CrossEntropy) 가능함.[http://mxnet.io/tutorials/basic/module.html#predict-and-evaluate]
* (1)의 {{c|forward}}에서 {{c|is_train}}은, undocumented인것 같다. 걍 train할때는 무조건 {{c|True}}주기로. 기본값은 {{c|None}}. [http://mxnet.io/api/python/module.html?highlight=module.for#mxnet.module.BaseModule.forward] [https://github.com/dmlc/mxnet/issues/1822]

====High-level Interface====
<pre>train_iter.reset()
mod = mx.mod.Module(symbol=net, context=mx.cpu(), data_names=['data'], label_names=['softmax_label'])
mod.fit(train_iter,
eval_data=val_iter,
optimizer='sgd',
optimizer_params={'learning_rate':0.1},
eval_metric='acc',
num_epoch=8)
</pre>
<pre>y = mod.predict(val_iter)</pre>
predict결과 없이 그냥 evaluation만 하려면,
score = mod.score(val_iter, ['mse', ‘acc'])
====Save and Load====
체크포인트 설정
model_prefix = 'mx_mlp'
checkpoint = mx.callback.do_checkpoint(model_prefix)
mod = mx.mod.Module(symbol=net)
mod.fit(train_iter, num_epoch=5, epoch_end_callback=checkpoint)
불러오기
sym, arg_params, aux_params = mx.model.load_checkpoint(model_prefix, 3) # 3:epoch
불러와서 다시 설정
mod.set_params(arg_params, aux_params)
Simply resume training.
<pre>mod = mx.mod.Module(symbol=sym)
mod.fit(train_iter,
num_epoch=8,
arg_params=arg_params,
aux_params=aux_params,
begin_epoch=3)
</pre>

===Iterators - Loading data===
* Data iterator는 [http://mxnet.io/api/python/io.html#mxnet.io.DataBatch {{c|DataBatch}}]를 반환한다.
* csv파일로부터 읽기: [http://mxnet.io/api/python/io.html#mxnet.io.CSVIter {{c|CSVIter}}]
* custom iterator도 지원한다.
* {{c|mx.image}}쓰려면 OpenCV있어야 한다.(CV2 아니다)
* {{c|ImageRecordIter}}나 {{c|ImageIter}}를 사용해서 이미지파일 데이터를 학습데이터로 쓸 수 있다. 이때 {{c|RecoredIO}}파일 미리 있어야 한다.
* 학습할때 뿐 아니라 score계산할때도 iterator쓴다.
<pre>eval_iter = mx.io.NDArrayIter(eval_data, eval_label, batch_size, shuffle=False)
model.score(eval_iter, metric)</pre>

← 이전 판		2017년 7월 14일 (금) 09:20 판
1번째 줄:		1번째 줄:
		+	[http://mxnet.io/tutorials/basic/ndarray.html 원문]

	걍 numpy를 쓰지 않는 이유는 cpu, gpu등 자유로이 알아서(?) 처리해주고, 병렬까지도 알아서(?) 한다고 함. [http://mxnet.io/tutorials/basic/ndarray.html] <del>tf도 해주지 않냐?</del>		걍 numpy를 쓰지 않는 이유는 cpu, gpu등 자유로이 알아서(?) 처리해주고, 병렬까지도 알아서(?) 한다고 함. [http://mxnet.io/tutorials/basic/ndarray.html] <del>tf도 해주지 않냐?</del>

@@ 61번째 줄: / 61번째 줄: @@
 ** {{c|Accuracy, TopKAccuracy, F1, Perplexity, MAE, MSE, RMSE, CrossEntropy, Loss, Torch, Caffe<ref>{{c|Loss, Torch, Caffe}}는 Dummy metrics</ref>, CustomMetric, np<ref>numpy array를 입력으로 받는 custom metric</ref>}}가 있다.
 ** {{c|acc}}등으로 줄여쓸 수 있는것 같은데 그것도 문서화 안된것 같다. {{c|acc}}(accuracy), {{c|top_k_acc}}(top-k-accuracy), {{c|ce}}(CrossEntropy) 가능함.[http://mxnet.io/tutorials/basic/module.html#predict-and-evaluate]
-* (1)의 {{c|forward}}에서 {{c|is_train}}은, undocumented인것 같다. 걍 train할때는 무조건 {{c|True}}주기로. 기본값은 {{c|None}}. [http://mxnet.io/api/python/module.html?highlight=module.for#mxnet.module.BaseModule.forward 참고1] [https://github.com/dmlc/mxnet/issues/1822 참고2], [https://github.com/dmlc/mxnet/issues/3871#issuecomment-261297178 여기] 보면, batch normalization할 때 현재 train상태인지 보는것 같음. 이런식으로 여기저기(?)서 쓰는듯.
+* (1)의 {{c|forward}}에서 {{c|is_train}}은, undocumented인것 같다. 걍 train할때는 무조건 {{c|True}}주기로. 기본값은 {{c|None}}. [http://mxnet.io/api/python/module.html?highlight=module.for#mxnet.module.BaseModule.forward 참고1] [https://github.com/dmlc/mxnet/issues/1822 참고2]<br>[https://github.com/dmlc/mxnet/issues/3871#issuecomment-261297178 여기] 보면, batch normalization할 때 현재 train상태인지 보는것 같음. 이런식으로 여기저기(?)서 쓰는듯.
 ====High-level Interface====