│ [Colaboratory]Tensorflow2_ObjectDetectionAPI_Colab_Hands_On.ipynb
|
├─01_train_data─┬─000000.jpg
│               │     :
│               └─000049.jpg
│      
├─02_tfrecord
│      
├─03_pretrained_model─efficientdet_d0_coco17_tpu-32─┬─pipeline.config
│                                                   ├─checkpoint──┬─checkpoint
│                                                   │             ├─ckpt-0.data-00000-of-00001
│                                                   │             └─ckpt-0.index
│                                                   └─saved_model─┬─saved_model.pb
│                                                                 └─variables─┬─variables.data-00000-of-00001
│                                                                             └─variables.index
│
└─04_test_data─┬─000050.jpg
               │     :
               └─000099.jpg

[Colaboratory]Tensorflow2_ObjectDetectionAPI_Colab_Hands_On.ipynb

Colaboratory用スクリプト(環境設定、モデル訓練、推論結果確認)

01_train_data

学習用データセット ※アノテーション未実施

02_tfrecord

アノテーション実施済みTFRecord格納先

03_pretrained_mode

ファインチューニング用モデル(EffientDet D0)

04_test_data

テスト用データセット

「新規プロジェクト」を選択する

プロジェクト設定を行う

表示名：Tensorflow2-ObjectDetectionAPI-Colab-Hands-On
セキュリティトークン：Generate New Security Token
ソース接続：「Add Connection」を押下

ソース接続の接続設定を行う

表示名：Tensorflow2-ObjectDetectionAPI-Colab-Hands-On-TrainData プロバイダー：ローカルファイルシステム フォルダーパス：クローンしたリポジトリの「01_train_data」ディレクトリを指定

ターゲット接続の接続設定を行う

ターゲット接続：Add Connection 表示名：Tensorflow2-ObjectDetectionAPI-Colab-Hands-On-TFRecord
プロバイダー：ローカルファイルシステム
フォルダーパス：クローンしたリポジトリの「02_tfrecord」ディレクトリを指定

タグを追加し設定を保存する

タグ：「Fish」を追加
「プロジェクトを保存」を押下

マウス左ドラッグで魚を選択する

TAGSから「Fish」を選択する

南京錠のマークを選択しておくことでタグを使用するタグを固定することが可能

エクスポート設定

プロバイダー：Tensorflow レコード
アセットの状態：タグ付きアセットのみ
「エクスポート設定を保存」を押下する アノテーション画面からエクスポートマークを押下し、TFRecordをエクスポートする。

画像の端の対象をアノテーションする際に、以下のように端から少し隙間を設けてください。
問題の詳細は確認中ですが、隙間を開けずにアノテーションをすると、
VoTTの問題かTensorflowの問題か、モデル学習時に以下のエラーが発生します。

W0921 13:29:32.965700 140050120722176 optimizer_v2.py:1275] Gradients do not exist for variables ['top_bn/gamma:0', 'top_bn/beta:0'] when minimizing the loss.
Traceback (most recent call last):
  File "object_detection/model_main_tf2.py", line 113, in 
    tf.compat.v1.app.run()
  File "/usr/local/lib/python3.6/dist-packages/tensorflow/python/platform/app.py", line 40, in run
    _run(main=main, argv=argv, flags_parser=_parse_flags_tolerate_undef)
  File "/usr/local/lib/python3.6/dist-packages/absl/app.py", line 300, in run
    _run_main(main, args)
  File "/usr/local/lib/python3.6/dist-packages/absl/app.py", line 251, in _run_main
    sys.exit(main(argv))
  File "object_detection/model_main_tf2.py", line 110, in main
    record_summaries=FLAGS.record_summaries)
  File "/usr/local/lib/python3.6/dist-packages/object_detection/model_lib_v2.py", line 639, in train_loop
    loss = _dist_train_step(train_input_iter)
  File "/usr/local/lib/python3.6/dist-packages/tensorflow/python/eager/def_function.py", line 780, in __call__
    result = self._call(*args, **kwds)
  File "/usr/local/lib/python3.6/dist-packages/tensorflow/python/eager/def_function.py", line 807, in _call
    return self._stateless_fn(*args, **kwds)  # pylint: disable=not-callable
  File "/usr/local/lib/python3.6/dist-packages/tensorflow/python/eager/function.py", line 2829, in __call__
    return graph_function._filtered_call(args, kwargs)  # pylint: disable=protected-access
  File "/usr/local/lib/python3.6/dist-packages/tensorflow/python/eager/function.py", line 1848, in _filtered_call
    cancellation_manager=cancellation_manager)
  File "/usr/local/lib/python3.6/dist-packages/tensorflow/python/eager/function.py", line 1924, in _call_flat
    ctx, args, cancellation_manager=cancellation_manager))
  File "/usr/local/lib/python3.6/dist-packages/tensorflow/python/eager/function.py", line 550, in call
    ctx=ctx)
  File "/usr/local/lib/python3.6/dist-packages/tensorflow/python/eager/execute.py", line 60, in quick_execute
    inputs, attrs, num_outputs)
tensorflow.python.framework.errors_impl.InvalidArgumentError: 2 root error(s) found.
  (0) Invalid argument:  assertion failed: [[0.15956609][0.103383526][0.109880842]...] [[0.23180081][0.133959055][0.132812485]...]
	 [[{{node Assert_1/AssertGuard/else/_35/Assert_1/AssertGuard/Assert}}]]
	 [[MultiDeviceIteratorGetNextFromShard]]
	 [[RemoteCall]]
	 [[IteratorGetNext]]
	 [[Loss/localization_loss_1/write_summary/summary_cond/pivot_t/_4/_111]]
  (1) Invalid argument:  assertion failed: [[0.15956609][0.103383526][0.109880842]...] [[0.23180081][0.133959055][0.132812485]...]
	 [[{{node Assert_1/AssertGuard/else/_35/Assert_1/AssertGuard/Assert}}]]
	 [[MultiDeviceIteratorGetNextFromShard]]
	 [[RemoteCall]]
	 [[IteratorGetNext]]

• 3行目(Line 3)：クラス数(num_classes)
  変更前(Before) : 90
  変更後(After) : 1
  
• 134行目(Line 134)：バッチサイズ(batch_size)
  変更前(Before) : 128
  変更後(After) : 16
  
• 161行目(Line 161)：ファインチューニング用のチェックポイント格納先(fine_tune_checkpoint)
  変更前(Before) : "PATH_TO_BE_CONFIGURED"
  変更後(After) : "/content/models/research/Tensorflow2-ObjectDetectionAPI-Colab-Hands-On/03_pretrained_model/efficientdet_d0_coco17_tpu-32/checkpoint/ckpt-0"
• 167行目(Line 167)：ファインチューニング方法(fine_tune_checkpoint_type)
  変更前(Before) : "classification"
  変更後(After) : "detection"
  
• 168行目(Line 168)：Googleカスタム 16ビットbrain浮動小数点の使用有無(use_bfloat16)
  変更前(Before) : true
  変更後(After) : false
  
• 172行目(Line 172)：ラベルマップファイルの格納先(label_map_path)
  変更前(Before) : "PATH_TO_BE_CONFIGURED/label_map.txt"
  変更後(After) : "/content/models/research/Tensorflow2-ObjectDetectionAPI-Colab-Hands-On/02_tfrecord/tf_label_map.pbtxt"
  
• 174行目(Line 174)：学習データの格納先(input_path)
  変更前(Before) : "PATH_TO_BE_CONFIGURED/train2017-?????-of-00256.tfrecord"
  変更後(After) : "/content/models/research/train_data/??????.tfrecord"
  
• 185行目(Line 185)：ラベルマップファイルの格納先(label_map_path)
  変更前(Before) : "PATH_TO_BE_CONFIGURED/label_map.txt"
  変更後(After) : "/content/models/research/Tensorflow2-ObjectDetectionAPI-Colab-Hands-On/02_tfrecord/tf_label_map.pbtxt"
  
• 189行目(Line 189)：バリデーションデータの格納先(input_path)
  変更前(Before) : "PATH_TO_BE_CONFIGURED/val2017-?????-of-00032.tfrecord"
  変更後(After) : "/content/models/research/val_data/??????.tfrecord"

パイプラインコンフィグにはデータ拡張設定も記載されています。
初期のパイプラインコンフィグには、以下の水平反転、ランダムスケールクロップのみのデータ拡張が設定されています。

  data_augmentation_options {
    random_horizontal_flip {
    }
  }
  data_augmentation_options {
    random_scale_crop_and_pad_to_square {
      output_size: 512
      scale_min: 0.10000000149011612
      scale_max: 2.0
    }
  }

使用可能なデータ拡張手法は、preprocessor.proto、preprocessor.pyに記載されているため、
必要に応じて追加してみてください。