Mxnet - 편집 역사

Admin: /* etc */

2017-07-04T10:06:57Z

etc

Admin: /* etc */

2017-07-04T10:05:56Z

etc

Admin: /* etc */

2017-07-04T10:05:34Z

etc

Admin: /* etc */

2017-07-04T10:04:03Z

etc

Admin: /* etc */

2017-07-04T09:38:11Z

etc

2017년 7월 4일 (화) 09:34에 Admin님의 편집

2017-07-04T09:34:56Z

Admin: /* Training and Inference */

2017-07-04T09:34:18Z

Training and Inference

Admin: /* Basics */

2017-07-04T09:32:52Z

Basics

Admin: /* Loading data */

2017-07-04T08:49:39Z

Loading data

Admin: /* Linear Regression */

2017-07-04T08:48:56Z

Linear Regression

@@ 21번째 줄: / 21번째 줄: @@
                    %(name, suffix))
      return act</pre>
-* feature extraction<br>[https://github.com/dmlc/mxnet/blob/master/docs/tutorials/python/predict_image.md Predict with pre-trained models]<br>
+* feature extraction
-[http://mxnet.io/how_to/finetune.html#train How do I fine-tune pre-trained models to a new dataset?]
+**[https://github.com/dmlc/mxnet/blob/master/docs/tutorials/python/predict_image.md Predict with pre-trained models]

@@ 21번째 줄: / 21번째 줄: @@
                    %(name, suffix))
      return act</pre>
-* feature extraction [https://github.com/dmlc/mxnet/blob/master/docs/tutorials/python/predict_image.md Predict with pre-trained models]<br>
+* feature extraction<br>[https://github.com/dmlc/mxnet/blob/master/docs/tutorials/python/predict_image.md Predict with pre-trained models]<br>
 [http://mxnet.io/how_to/finetune.html#train How do I fine-tune pre-trained models to a new dataset?]

@@ 9번째 줄: / 9번째 줄: @@
 ==etc==
 * batch normalization example
-<pre>def ConvFactory(data, num_filter, kernel, stride=(1,1), pad=(0, 0),name=None, suffix=''):
+<pre>def ConvFactory(data, num_filter, kernel,
-     conv = mx.sym.Convolution(data=data, num_filter=num_filter, kernel=kernel,
+                stride=(1,1), pad=(0, 0),name=None, suffix=''):
-                   stride=stride, pad=pad, name='conv_%s%s' %(name, suffix))
+     conv = mx.sym.Convolution(data=data,
      bn = mx.sym.BatchNorm(data=conv, name='bn_%s%s' %(name, suffix))
      act = mx.sym.Activation(data=bn, act_type='relu', name='relu_%s%s'

← 이전 판		2017년 7월 4일 (화) 10:04 판
16번째 줄:		16번째 줄:
	%(name, suffix))		%(name, suffix))
	return act</pre>		return act</pre>
		+	* feature extraction [https://github.com/dmlc/mxnet/blob/master/docs/tutorials/python/predict_image.md Predict with pre-trained models]<br>
		+	[http://mxnet.io/how_to/finetune.html#train How do I fine-tune pre-trained models to a new dataset?]

← 이전 판		2017년 7월 4일 (화) 09:38 판
8번째 줄:		8번째 줄:

	==etc==		==etc==
		+	* batch normalization example
		+	<pre>def ConvFactory(data, num_filter, kernel, stride=(1,1), pad=(0, 0),name=None, suffix=''):
		+	conv = mx.sym.Convolution(data=data, num_filter=num_filter, kernel=kernel,
		+	stride=stride, pad=pad, name='conv_%s%s' %(name, suffix))
		+	bn = mx.sym.BatchNorm(data=conv, name='bn_%s%s' %(name, suffix))
		+	act = mx.sym.Activation(data=bn, act_type='relu', name='relu_%s%s'
		+	%(name, suffix))
		+	return act</pre>

← 이전 판		2017년 7월 4일 (화) 09:34 판
2번째 줄:		2번째 줄:

	뭘 이렇게들 만들어 대는지. [https://www.tensorflow.org tf]가 맘에 안들기는 하지만.		뭘 이렇게들 만들어 대는지. [https://www.tensorflow.org tf]가 맘에 안들기는 하지만.
		+
		+	[[Mxnet/Basics]]
		+
		+	[[Mxnet/Training and Inference]]
		+
		+	==etc==

← 이전 판		2017년 7월 4일 (화) 09:32 판
2번째 줄:		2번째 줄:

	뭘 이렇게들 만들어 대는지. [https://www.tensorflow.org tf]가 맘에 안들기는 하지만.		뭘 이렇게들 만들어 대는지. [https://www.tensorflow.org tf]가 맘에 안들기는 하지만.
−
−	~~==Basics==~~
−	걍 numpy를 쓰지 않는 이유는 cpu, gpu등 자유로이 알아서(?) 처리해주고, 병렬까지도 알아서(?) 한다고 함. [http://mxnet.io/tutorials/basic/ndarray.html] <del>tf도 해주지 않냐?</del>
−
−	~~{{c\|broadcast}}[http://mxnet.io/tutorials/basic/ndarray.html#broadcast]: {{c\|rep}}같은건가봄.~~
−
−	~~{{c\|pickle.dump}}말고 {{c\|mx.nd.load, mx.nd.save}}를 쓸 수 있다. [http://mxnet.io/tutorials/basic/ndarray.html#serialize-from-to-distributed-filesystems]~~
−
−	symbolic api를 설명[http://mxnet.io/tutorials/basic/symbol.html]하면서 중간에 장점이 하나 나오는데 이런게 있었네 싶었음. ㅎㅎ : 미리 그래프를 짜 놓으면 나중에 어떤 결과값이 필요할지 미리 알 수 있어서 계산중간값들을 모두 저장해둘 필요가 없다. 메모리가 절약됨.<br>
−	관련해서, symbolic programming을 declarative programming이라고도 하고 이 반대를 imperative programming이라고 하는 모양. <del>imperative programming은 단어만 보면 이게 도대체 뭔소린가 싶었다.</del> Declarative programming의 예: regular expression, SQL.
−
−	~~매뉴얼 따라하다가 {{c\|graphviz}}때문에 에러남~~
−	~~ExecutableNotFound: failed to execute ['dot', '-Tsvg'], make sure the Graphviz executables are on your systems' PATH~~
−	맥이라 걍 포기. {{c\|brew}}하면 된다는데 걍 안하고 원격 리눅스에서나. 시스템에도 있어야 하고, pip로도 있어야 한다.(우분투에서 {{c\|apt ~}} 랑 {{c\|pip install ~}} 다 해줘야 한다는 얘기)
−
−	~~bind → forward해서 output을 얻지 않고, 바로 eval할 수도 있다.~~
−
−	~~<u>{{c\|tojson()}}</u>~~
−	~~print(c.tojson())~~
−	~~c.save('symbol-c.json')~~
−	~~c2 = mx.sym.load('symbol-c.json')~~
−
−	~~type cast~~
−	~~a = mx.sym.Variable('data')~~
−	~~b = mx.sym.cast(data=a, dtype='float16’)~~
−
−	~~===Module===~~
−	~~====Creation====~~
−	~~<pre>mod = mx.mod.Module(symbol=net,~~
−	~~context=mx.cpu(),~~
−	~~data_names=['data'],~~
−	~~label_names=['softmax_label' ])</pre>~~
−	~~====Intermediate-level Interface====~~
−	~~먼저 대강~~
−	~~mx.test_utils.download~~
−	~~np.genfromtxt~~
−	~~... # data와 label분리.~~
−	~~mx.io.NDArrayIter # batch 분리~~
−	~~... # net만들고~~
−	~~mod = mx.mod.Module(symbol=net, context=mx.cpu(), ...)~~
−	~~한 다음,~~
−	~~<pre># memory alloc~~
−	~~mod.bind(data_shapes=train_iter.provide_data, label_shapes=train_iter.provide_label)~~
−
−	~~mod.init_params(initializer=mx.init.Uniform(scale=.1))~~
−	~~mod.init_optimizer(optimizer='sgd', optimizer_params=(('learning_rate', 0.1), ))~~
−	~~metric = mx.metric.create('acc')~~
−
−	~~for epoch in range(5):~~
−	~~train_iter.reset()~~
−	~~metric.reset()~~
−	~~for batch in train_iter:~~
−	~~mod.forward(batch, is_train=True) # (1)~~
−	~~mod.update_metric(metric, batch.label) # (2)~~
−	~~mod.backward() # (3)~~
−	~~mod.update()~~
−	~~print('Epoch %d, Training %s' % (epoch, metric.get()))</pre>~~
−	* (2)의 {{c\|batch.label}}이 어디서 나오나 했는데 다음 section([http://mxnet.io/tutorials/basic/data.html iterators])에 보면 나온다.
−	** [http://mxnet.io/api/python/io.html#mxnet.io.DataBatch API문서]도 있음.
−	* (2)에서 {{c\|mod}}에 metric을 알려주므로, (3)에서 {{c\|backward}}만 불러도, gradient계산한다.
−	* metric.create에서 여러가지 할 수 있는데, [http://mxnet.io/api/python/metric.html mxnet.metric api]에서 볼 수 있다.
−	** {{c\|Accuracy, TopKAccuracy, F1, Perplexity, MAE, MSE, RMSE, CrossEntropy, Loss, Torch, Caffe<ref>{{c\|Loss, Torch, Caffe}}는 Dummy metrics</ref>, CustomMetric, np<ref>numpy array를 입력으로 받는 custom metric</ref>}}가 있다.
−	** {{c\|acc}}등으로 줄여쓸 수 있는것 같은데 그것도 문서화 안된것 같다. {{c\|acc}}(accuracy), {{c\|top_k_acc}}(top-k-accuracy), {{c\|ce}}(CrossEntropy) 가능함.[http://mxnet.io/tutorials/basic/module.html#predict-and-evaluate]
−	* (1)의 {{c\|forward}}에서 {{c\|is_train}}은, undocumented인것 같다. 걍 train할때는 무조건 {{c\|True}}주기로. 기본값은 {{c\|None}}. [http://mxnet.io/api/python/module.html?highlight=module.for#mxnet.module.BaseModule.forward] [https://github.com/dmlc/mxnet/issues/1822]
−
−	~~====High-level Interface====~~
−	~~<pre>train_iter.reset()~~
−	~~mod = mx.mod.Module(symbol=net, context=mx.cpu(), data_names=['data'], label_names=['softmax_label'])~~
−	~~mod.fit(train_iter,~~
−	~~eval_data=val_iter,~~
−	~~optimizer='sgd',~~
−	~~optimizer_params={'learning_rate':0.1},~~
−	~~eval_metric='acc',~~
−	~~num_epoch=8)~~
−	~~</pre>~~
−	~~<pre>y = mod.predict(val_iter)</pre>~~
−	~~predict결과 없이 그냥 evaluation만 하려면,~~
−	~~score = mod.score(val_iter, ['mse', ‘acc'])~~
−	~~====Save and Load====~~
−	~~체크포인트 설정~~
−	~~model_prefix = 'mx_mlp'~~
−	~~checkpoint = mx.callback.do_checkpoint(model_prefix)~~
−	~~mod = mx.mod.Module(symbol=net)~~
−	~~mod.fit(train_iter, num_epoch=5, epoch_end_callback=checkpoint)~~
−	~~불러오기~~
−	~~sym, arg_params, aux_params = mx.model.load_checkpoint(model_prefix, 3) # 3:epoch~~
−	~~불러와서 다시 설정~~
−	~~mod.set_params(arg_params, aux_params)~~
−	~~Simply resume training.~~
−	~~<pre>mod = mx.mod.Module(symbol=sym)~~
−	~~mod.fit(train_iter,~~
−	~~num_epoch=8,~~
−	~~arg_params=arg_params,~~
−	~~aux_params=aux_params,~~
−	~~begin_epoch=3)~~
−	~~</pre>~~
−
−	~~===Iterators - Loading data===~~
−	* Data iterator는 [http://mxnet.io/api/python/io.html#mxnet.io.DataBatch {{c\|DataBatch}}]를 반환한다.
−	* csv파일로부터 읽기: [http://mxnet.io/api/python/io.html#mxnet.io.CSVIter {{c\|CSVIter}}]
−	* custom iterator도 지원한다.
−	* {{c\|mx.image}}쓰려면 OpenCV있어야 한다.(CV2 아니다)
−	* {{c\|ImageRecordIter}}나 {{c\|ImageIter}}를 사용해서 이미지파일 데이터를 학습데이터로 쓸 수 있다. 이때 {{c\|RecoredIO}}파일 미리 있어야 한다.
−	* 학습할때 뿐 아니라 score계산할때도 iterator쓴다.
−	~~<pre>eval_iter = mx.io.NDArrayIter(eval_data, eval_label, batch_size, shuffle=False)~~
−	~~model.score(eval_iter, metric)</pre>~~

	==Training and Inference==		==Training and Inference==

@@ 268번째 줄: / 268번째 줄: @@
 mx.test_utils.get_mnist()
 </pre>
 ===Predict with pre-trained models===
 ===Large Scale Image Classification===

@@ 161번째 줄: / 161번째 줄: @@
 (5)의 {{c|model.fit}}에서 {{c|batch_end_callback}}으로 <code>[http://mxnet.io/api/python/callback.html?highlight=ck.speedometer#mxnet.callback.Speedometer mx.callback.Speedometer]</code>줄 수 있다.
-:<code>Speedometer(batch_size, frequent=50, auto_reset=True)</code> : 배치 50번마다 로깅하고, 로깅 후 reset할것.
+*<code>Speedometer(batch_size, frequent=50, auto_reset=True)</code> : 배치 50번마다 로깅하고, 로깅 후 reset할것. 아래를 미리 해줘야 stdout에 보인다.
 <pre>>>> # Print training speed and evaluation metrics every ten batches. Batch size is one.
 >>> module.fit(iterator, num_epoch=n_epoch,

← 이전 판		2017년 7월 4일 (화) 09:34 판
2번째 줄:		2번째 줄:

	뭘 이렇게들 만들어 대는지. [https://www.tensorflow.org tf]가 맘에 안들기는 하지만.		뭘 이렇게들 만들어 대는지. [https://www.tensorflow.org tf]가 맘에 안들기는 하지만.
−
−	~~==Training and Inference==~~
−
−	~~===Linear Regression===~~
−	~~[http://mxnet.io/tutorials/python/linear-regression.html#linear-regression 원문]~~
−	~~<br>전체 소스~~
−	~~<pre>import mxnet as mx~~
−	~~import numpy as np~~
−
−	~~#Training data~~
−	~~train_data = np.random.uniform(0, 1, [100, 2])~~
−	~~train_label = np.array([train_data[i][0] + 2 * train_data[i][1] for i in range(100)])~~
−	~~batch_size = 1~~
−
−	~~#Evaluation Data~~
−	~~eval_data = np.array([[7,2],[6,10],[12,2]])~~
−	~~eval_label = np.array([11,26,16])~~
−
−	~~train_iter = mx.io.NDArrayIter(train_data,train_label, batch_size, shuffle=True,label_name='lin_reg_label') #(1)~~
−	~~eval_iter = mx.io.NDArrayIter(eval_data, eval_label, batch_size, shuffle=False)~~
−
−	~~X = mx.sym.Variable('data')~~
−	~~Y = mx.symbol.Variable('lin_reg_label') #(2)~~
−	~~fully_connected_layer = mx.sym.FullyConnected(data=X, name='fc1', num_hidden = 1)~~
−	~~lro = mx.sym.LinearRegressionOutput(data=fully_connected_layer, label=Y, name="lro") #(3)~~
−
−	~~model = mx.mod.Module(~~
−	~~symbol = lro ,~~
−	~~data_names=['data'],~~
−	~~label_names = ['lin_reg_label']# network structure (4)~~
−	)
−
−	~~mx.viz.plot_network(symbol=lro)~~
−	~~# (5)~~
−	~~model.fit(train_iter, eval_iter,~~
−	~~optimizer_params={'learning_rate':0.005, 'momentum': 0.9},~~