NNI：自動幫你做機器學習調參的神器

NNI 自動機器學習調參，是微軟開源的又一個神器，它能幫助你找到最好的神經網絡架構或超參數，支持 各種訓練環境 。

它常用的使用場景如下：

• 想要在自己的代碼、模型中試驗 不同的機器學習算法 。
• 想要在不同的環境中加速運行機器學習。
• 想要更容易實現或試驗新的機器學習算法的研究員或數據科學家，包括：超參調優算法，神經網絡搜索算法以及模型壓縮算法。

它支持的框架有：

• PyTorch
• Keras
• TensorFlow
• MXNet
• Caffe2
• Scikit-learn
• XGBoost
• LightGBM

基本上市面上所有的深度學習和機器學習的框架它都支持。

下面就來看看怎么使用這個工具。

1.準備

開始之前，你要確保Python和pip已經成功安裝在電腦上，如果沒有，可以訪問這篇文章：超詳細Python安裝指南 進行安裝。

**(可選1) **如果你用Python的目的是數據分析，可以直接安裝Anaconda：Python數據分析與挖掘好幫手—Anaconda，它內置了Python和pip.

**(可選2) **此外，推薦大家用VSCode編輯器，它有許多的優點：Python 編程的最好搭檔—VSCode 詳細指南。

請選擇以下任一種方式輸入命令安裝依賴 ：

1. Windows 環境 打開 Cmd (開始-運行-CMD)。
2. MacOS 環境 打開 Terminal (command+空格輸入Terminal)。
3. 如果你用的是 VSCode編輯器 或 Pycharm，可以直接使用界面下方的Terminal.

pip install nni

2.運行示例

讓我們運行一個示例來驗證是否安裝成功，首先克隆項目：

git clone -b v2.6 https://github.com/Microsoft/nni.git

如果你無法成功克隆項目，請在Python實用寶典后臺回復 **nni **下載項目。

運行 MNIST-PYTORCH 示例， Linux/macOS ：

nnictl create --config nni/examples/trials/mnist-pytorch/config.yml

Windows ：

nnictl create --config nniexamplestrialsmnist-pytorchconfig_windows.yml

出現這樣的界面就說明安裝成功，示例運行正常：

訪問 http://127.0.0.1:8080 可以配置運行時間、實驗次數等：

3.模型自動調參配置

那么如何讓 NNI 和我們自己的模型適配呢？

觀察 config_windows.yaml 會發現：

searchSpaceFile: search_space.json
trialCommand: python mnist.py
trialGpuNumber: 0
trialConcurrency: 1
tuner:
  name: TPE
  classArgs:
    optimize_mode: maximize
trainingService:
  platform: local

我們先看看 trialCommand, 這很明顯是訓練使用的命令，訓練代碼位于 mnist.py，其中有部分代碼如下：

def get_params():
    # Training settings
    parser = argparse.ArgumentParser(description='PyTorch MNIST Example')
    parser.add_argument("--data_dir", type=str,
                        default='./data', help="data directory")
    parser.add_argument('--batch_size', type=int, default=64, metavar='N',
                        help='input batch size for training (default: 64)')
    parser.add_argument("--batch_num", type=int, default=None)
    parser.add_argument("--hidden_size", type=int, default=512, metavar='N',
                        help='hidden layer size (default: 512)')
    parser.add_argument('--lr', type=float, default=0.01, metavar='LR',
                        help='learning rate (default: 0.01)')
    parser.add_argument('--momentum', type=float, default=0.5, metavar='M',
                        help='SGD momentum (default: 0.5)')
    parser.add_argument('--epochs', type=int, default=10, metavar='N',
                        help='number of epochs to train (default: 10)')
    parser.add_argument('--seed', type=int, default=1, metavar='S',
                        help='random seed (default: 1)')
    parser.add_argument('--no_cuda', action='store_true', default=False,
                        help='disables CUDA training')
    parser.add_argument('--log_interval', type=int, default=1000, metavar='N',
                        help='how many batches to wait before logging training status')
    args, _ = parser.parse_known_args()
    return args

如上所示，這個模型里提供了 10 個參數選擇。也就是說 NNI 可以幫我們自動測試這10個參數。

那么這些參數在哪里設定？答案是在 searchSpaceFile 中，對應的值也就是 search_space.json:

{
    "batch_size": {"_type":"choice", "_value": [16, 32, 64, 128]},
    "hidden_size":{"_type":"choice","_value":[128, 256, 512, 1024]},
    "lr":{"_type":"choice","_value":[0.0001, 0.001, 0.01, 0.1]},
    "momentum":{"_type":"uniform","_value":[0, 1]}
}

這里有4個選項，NNI 是怎么組合這些參數的呢？這是 tuner 參數干的事，為了讓機器學習和深度學習模型適應不同的任務和問題，我們需要進行超參數調優，而自動化調優依賴于優秀的調優算法。NNI 內置了先進的調優算法，并且提供了易于使用的 API。

在 NNI 中，Tuner 向 trial 發送超參數，接收運行結果從而評估這組超參的性能，然后將下一組超參發送給新的 trial。

下表簡要介紹了 NNI 內置的調優算法。

可以看到本示例中，選擇的是TPE tuner.

其他的參數比如 trialGpuNumber，指的是使用的gpu數量，trialConcurrency 指的是并發數。trainingService 中 platform 為 local，指的是本地訓練。

當然，還有許多參數可以選，比如：

trialConcurrency: 2                 # 同時運行 2 個 trial
maxTrialNumber: 10                  # 最多生成 10 個 trial
maxExperimentDuration: 1h # 1 小時后停止生成 trial

不過這些參數在調優開始時的web頁面上是可以進行調整的。

所以其實NNI干的事情就很清楚了，也很簡單。你只需要在你的模型訓練文件中增加你想要調優的參數作為輸入，就能使用NNI內置的調優算法對不同的參數進行調優，而且允許從頁面UI上觀察調優的整個過程，相對而言還是很方便的。

不過，NNI可能不太適用一些數據量極大或模型比較復雜的情況。比如基于DDP開發的模型，在NNI中可能無法實現大型的分布式計算。