カスタム・モデル・データセット

• 最初の行は、次の2列名を含むヘッダーである必要があります。

  • text: 分類されるテキストを取得します。
  • labels: 1つ以上の割当て済クラスを取得します。マルチラベル分類データセットの場合、複数のクラス名を |記号で結合することによって指定できます。
• ヘッダー行の後の全ての行に研修レコードが含まれます。
• ファイルに2つ以上の列がある場合は、text列とlabels列のみがモデルのトレーニングに使用されます。

• CSVファイル・エンコーディングの場合は、UTF-8を使用します。Excelを使用する場合は、ファイルをCSV UTF-8 (カンマ区切り)(.CSV)として保存します。

• デリミタには、カンマ(,)を使用します。
• エスケープ文字の場合は、U+0022のUnicode文字でも知られている二重引用符(")を使用します。

  たとえば、Excelで、次のテキストを入力した場合です。

  This is a "double quote" sentence

  前述の文は、次のようにCSVに格納されます。

  "This is a ""double quote"" sentence"

単一ラベルのテキスト分類のCSVファイルの例:

text,labels
Windows OS -unable to print,Network Printer Failure
Citrix Account frequently locking,Account (Password reset)
Pull print queue not working ,Application Component Disconnect
wifi disable and lan is disconnected at the desktop,Hardware Device Failure

Windows OS -unable to print,Network Printer Failure
Pull print queue not working ,Application Component Disconnect|Network Printer Failure
wifi disable and lan is disconnected at the desktop,Hardware Device Failure|Network Connection Issue

JSONファイルにはトレーニング・データは含まれていません。かわりに、JSONファイルは、ラベルなしデータを含むファイルへのラベルおよびポインタ(相対パス)を含むマニフェスト・ファイルです。

JSON形式はJSON行(JSONL)形式であり、各行は単一のJSONオブジェクトです。

• オブジェクトの最初の行は、ラベルまたはクラスのセットと注釈ファイルのタイプを示します。
• その後の行にはすべて、研修レコードの説明があります。

• マニフェスト・ファイル(.jsonl)と同じディレクトリにすべてのテキスト・ファイルを保存し、トレーニング・レコードにファイルに名前を付けます。

1. 最初の行はヘッダー行です。ファイル・タイプを説明するJSONオブジェクトが含まれています。
2. 後続の行には、ラベル付きレコードを表すJSONオブジェクトが含まれます。

{
    "labelsSet": [
      {
        "name": "Label1"
      },
      {
        "name": "Label2"
      },
      {
        "name": "Label3"
      },
      {
        "name": "Label4"
      }
    ],
    "annotationFormat": "ENTITY_EXTRACTION",
    "datasetFormatDetails": {
      "formatType": "TEXT"
    }
  }

{
    "sourceDetails": {
      "path": "Complaint3.txt"
    },
    "annotations": [
      {
        "entities": [
          {
            "entityType": "TEXTSELECTION",
            "labels": [
              {
                "label_name": "Label1"
              },
              {
                "label_name": "Label2"
              }
            ],
            "textSpan": {
              "offset": 0,
              "length": 28
            }
          },
          {
            "entityType": "TEXTSELECTION",
            "labels": [
              {
                "label_name": "Label1"
              }
            ],
            "textSpan": {
              "offset": 196,
              "length": 11
            }
          }
        ]
      }
    ]
  }