アノテーションの副業は何をする？文章の分類・範囲指定・不一致の確認を練習

※本記事にはPRを含む場合があります。

こんにちは。「脱会社員」脱サラを応援し続けるブログ、運営者の「なかびー」です。

アノテーションの副業に関心があっても、「データにラベルを付ける」と聞くだけでは、実際に何を判断する仕事なのか分かりにくいものです。文字を正確に入力できれば十分なのか、自分の感覚で文章を分類してよいのか。その違いは、短い教材を一つ仕上げると見えてきます。

この記事では、架空の商品「手帳ミナ」について書かれた16レコードを使います。文章の評価を分類する作業と、商品名の文字範囲を示す作業を分け、最後に意図的な誤りを見つけます。求人の紹介や採用試験の代行ではなく、依頼の規約に沿って判断を残す練習です。報酬や受注を保証するものではありません。

アノテーションは、転記ではなく指定された意味を付ける仕事

上段は文全体の分類、下段は対象商品名の範囲指定。同じ文でも記録するものが異なる。

同じテキストに二つの違う作業をする

「手帳ミナは開きやすく、使っていて満足です。」という原文を、そのまま別の欄へ写すなら転記です。一方、この文章に肯定という分類を付けるには、何を肯定と呼ぶかを理解しなければなりません。「満足」という文字が入力されているかだけでなく、それを誰が、どの商品について述べているかも判断材料になります。アノテーションの練習では、この原文にない分類情報を、決められた規約に従って付け加えます。

もう一つの仕事は、原文のどこに「手帳ミナ」があるかを示すことです。肯定か否定かではなく、商品名の始まりと終わりを指定します。文章が否定的でも、対象名が書かれた位置は同じ方法で示せます。内容を分類する結果と、文字範囲を指定する結果は、同じ原文から作っていても別の成果物です。片方が正しいだけで、両方の作業が終わったことにはなりません。

この違いを先に分けると、仕事の説明も読みやすくなります。「ラベルを付ける」と書かれた募集でも、レコード全体へ一つ付けるのか、文章中の複数の箇所へ付けるのかでは操作と確認が違います。入力欄の数だけで難しさを判断するより、判断する単位、対象、使えるラベル、例外の扱いを見たほうが、自分が何を練習するべきか絞れます。

公的事業の在宅ワーカー事例にもアノテーションを扱った例があります。ただし、個人の働き方を紹介した事例から、現在募集中の案件や一般的な報酬を推定することはできません。ここでは仕事のイメージをつかむ参考にとどめ、具体的な判断は以下の独自教材で確かめます。

最初に固定するのは対象・単位・規約

この教材の分類単位は、番号が付いた一つのレコードのテキスト全体です。句点が二つあっても、同じ番号なら分割しません。たとえばR15の「手帳ミナは便利。手帳ルカは使いにくい。」は一件です。文章を二つに分けて二件と数えると、後で分類表と原文を対応させられなくなります。読みやすさのための文の区切りと、作業として数える単位を区別してください。

評価対象は「手帳ミナ」だけに限定します。「手帳ルカ」は別の商品で、比較のために名前が出ても分類対象へ加えません。また、判断するのは文章の話者本人の評価です。友人が好きだと言ったという引用だけなら、話者本人が好きだとは決めません。文章の中に肯定的な単語があることと、指定された人の肯定評価があることは別だからです。

使う分類は、肯定のみのPOS、否定のみのNEG、両方あるMIX、対象への本人評価がないNONEです。情報不足や今回の規約で決められない場合はHOLDにします。ただしHOLDは五つ目の感情ではなく、分類を確定せず確認へ回す作業状態です。この区別は、見やすい表のためだけでなく、「判断できなかったもの」を「評価がなかったもの」に混ぜないために必要になります。

規約の正式な版は「1.0-r2」です。これは実案件の共通ルールではありません。ここでは「悪くない」を肯定として扱いますが、別の案件が違う定義を採用していれば、その定義で作業します。国語として唯一の正解を当てる練習ではなく、同じ条件で再現できる判断をする練習だと考えると、迷ったときにどこへ戻るべきか明確になります。

先に自分で答えてから理由を照合する

練習するときは、まず原文と規約だけを見て、レコード番号、分類結果、短い理由を記録してください。その後で次の章の解説と照合します。理由は「なんとなく良い感じ」ではなく、「本人が使いやすさを肯定している」のように、規約のどの条件に当たるかが分かる形にします。正解の記号を写すだけでは、自分が対象を取り違えたのか、否定表現を読み落としたのか分かりません。

分類の作業が一巡したら、同じ原文で範囲指定をします。二つを同時に進めると、分類がHOLDになった行では範囲も未実施のままにするなど、別作業の状態を引きずりがちです。最初は工程を分け、分類と範囲でそれぞれ何を確認したかを残すと、自分の確認漏れを具体的に振り返れます。

表は横にスクロールして確認できます。

肯定・否定の単語だけで分類を決めない

本教材の規約では、軽いという属性だけでは評価を補わずNONE、本人の助かるという評価があるR11はPOS。

肯定と否定を、対象への評価として読む

R01は「手帳ミナは開きやすく、使っていて満足です。」です。開きやすさと満足のどちらも、本人による対象商品の肯定なのでPOSにします。R02の「手帳ミナは紙が薄すぎて使いにくい。」はNEGです。紙が薄いという属性そのものではなく、「薄すぎて使いにくい」という不便の評価が書かれています。同じ薄さでも、人によって好ましいとは限らないため、属性を読者の好みで評価へ置き換えないことが大切です。

R03は「手帳ミナは表紙が好きだが、開きにくい。」です。表紙を好きだという肯定と、開きにくいという否定が同じ対象について共存しています。この教材ではMIXです。最後に書かれた評価だけを優先するルールはないので、文末が否定だからNEGにするのは誤りです。また、肯定と否定が相殺されて評価なしになるわけでもありません。両方が書かれているという情報をMIXで残します。

この三件を比べると、分類の軸が見えます。褒め言葉の数や否定語の強さを競わせるのではなく、対象への肯定があるか、否定があるかを別々に確認します。肯定だけならPOS、否定だけならNEG、両方ならMIXです。判断の手順を二つの有無へ分けると、長い文章でも途中の評価を落としていないか見直しやすくなります。ただし、この二段階は今回の四分類に合わせた方法で、別の評価体系へそのまま持ち込むものではありません。

否定されているのは、どの言葉か

R05の「手帳ミナは悪くない。」には「悪い」に近い言葉が含まれます。しかし、その悪さを「ない」で否定しています。この教材では、規約に従ってPOSにします。否定的な単語が見えた瞬間にNEGを選ぶと、文章の意味と逆になります。記号を決める前に、否定語がどこまで作用しているかを確かめてください。

対してR06は「手帳ミナが良いとは思わない。」です。「良い」という肯定を話者が否定しているためNEGになります。「良い」を見つけたことだけを理由にPOSとするのも、「思わない」を評価の欠落と考えてNONEとするのも、この規約とは合いません。話者は何も評価していないのではなく、良いという評価を採用しないと述べています。

R05をPOSにすることは、最高に満足しているという意味ではありません。今回のラベルには満足の強弱を分ける軸がないので、程度を付け足さず肯定側へまとめています。もし仕事内容が五段階評価なら、同じ文でも別の確認が必要になるでしょう。出力欄にない強さを勝手に補うより、「このラベルで何を区別し、何を区別しないか」を理解するほうが重要です。

練習時の理由欄には、R05なら「悪さを否定し、本教材では肯定と定義」、R06なら「良いという評価を否定」と書けます。同じ否定表現でも、否定される内容が逆なので結果も逆になることを示せます。単に「否定あり」とだけ残すと、後でこの二件を説明できなくなるため、短い理由でも否定の対象を省かないようにします。

引用された評価を本人の評価にしない

R07は「友人は手帳ミナが好きだと言った。」です。「好き」という肯定はありますが、それを述べたのは友人です。話者本人の評価は書かれていないため、今回の期待結果はNONEになります。文章を書いた人と、文中で評価を述べている人を同一視しないことが、この例のポイントです。

ここで「友人が褒めているのだから本人も好印象だろう」と考えると、原文にない態度を加えてしまいます。反対に、友人の発言を紹介しただけだから否定的だと考える根拠もありません。評価が存在することは認めつつ、指定された本人の評価ではないため分類対象から外す。この二段階を踏むことで、内容を無視せず、対象条件も守れます。

ただし、R07の中に商品名が書かれている事実は変わりません。後で行う範囲指定では「手帳ミナ」を抽出します。分類がNONEだから商品名もないとするのは、評価の判定と文字の存在を混同したものです。同じ行について、分類は評価なし、範囲は一か所ありという組合せが成立します。

属性の説明と、本人の価値判断を分ける

R04の「手帳ミナを昨日買いました。」は購入の事実だけなのでNONEです。買ったなら気に入ったはず、という推測は加えません。贈り物、必要に迫られた購入、試し買いなど別の事情もあり得ますが、その事情を想像して分類する必要もありません。書かれた内容に本人の評価があるかという問いだけで判断します。

R09の「手帳ミナの表紙は青です。」もNONEです。青が好きな読者には好ましく見えても、原文は色を説明しているだけです。色の情報はあるが好悪の情報はない、という違いを残します。自分にとっての長所を、話者の肯定へ置き換えないことが大切です。

R10は「手帳ミナは前の製品より軽い。」で、これもNONEです。比較があると評価のように見えますが、ここには軽さを歓迎している表現がありません。R11の「手帳ミナは軽くて助かる。」になると、本人にとって役立つという価値判断が示されるのでPOSです。同じ「軽い」でも、「助かる」が加わったことによって分類の根拠が変わります。

R12の「手帳ミナは重くて持ち歩きづらい。」はNEGです。重さだけなら属性ですが、持ち歩きづらさが本人の不便を示します。この対比から、軽いなら肯定、重いなら否定という単純な辞書を作れないことが分かります。言葉を見つける補助はできても、その属性を話者がどう扱っているかを読む工程は必要です。

別の商品と、複数の文を混ぜない

R15は「手帳ミナは便利。手帳ルカは使いにくい。」です。一つのレコードに二文あり、肯定と否定もありますが、評価対象が違います。対象のミナには肯定だけなのでPOSです。ルカの否定を混ぜてMIXにすると、指定されていない商品の情報が対象商品のラベルに入り込みます。

この場合、先にレコードを二件へ分ける必要はありません。テキスト全体を読み、その中から対象商品の評価だけを拾います。作業単位は一件のまま、評価対象を絞るわけです。一文だけ見て決めるのでも、全商品の感情をまとめるのでもないことを確認してください。

R16は「手帳ミナは使いやすい。手帳ミナの色も好き。」です。二文とも同じ対象への肯定で、分類は一つのPOSです。肯定が二つあるからPOSを二個入れるわけではありません。一方、商品名の出現は二か所なので範囲指定は二つになります。分類の個数と範囲の個数を揃えようとすると、ここでどちらかを誤ります。

迷ったレコードは、作業状態として理由を残す

NONEは評価なしという判定結果。HOLDは要確認の状態であり、未着手とも異なる。

NONEとHOLDと未着手は別の状態

NONEは、規約を適用して「対象への本人評価がない」と判断した結果です。HOLDは、分類を確定する条件が不足している状態です。未着手は、まだ必要な確認をしていない状態です。この三つを一つの空欄へまとめると、誰かが読み終えたのか、どこを補えば進められるのかが分からなくなります。

R09のように色だけが完全な文章として書かれている場合はNONEにできます。文章を読み、評価が書かれていないと確認できるからです。一方、評価の途中で文章が切れている場合は、後半に肯定や否定が続くかもしれません。見えていない内容を評価なしと断定するのは早すぎます。書かれていない理由が、単なる評価の不在なのか入力不足なのかを分ける必要があります。

この教材では、対象をレコード内で特定できない場合と、評価の文が途中で途切れた場合はHOLDを優先します。先にNONEへ入れてから気になったものだけ拾うのではなく、確定できない条件に当たっていないかを確認してから分類へ進みます。これは空欄を減らすためではなく、確定結果に混ぜてはいけないものを識別するための手順です。

皮肉は、読めたつもりでも規約の外へ出ない

R08は「手帳ミナは最高ですね、三日で壊れるなんて。」です。否定的な皮肉だと受け取る人はいるでしょう。しかし、この教材では皮肉の推定を分類へ反映せずHOLDにする、と規約で定めています。自分には意味が分かったという理由でNEGに変えると、同じ規約で処理した結果ではなくなります。

確認するなら、「R08は肯定語と故障の記述を含みます。皮肉と解釈して否定へ分類する規約を追加しますか、それとも保留を維持しますか」と、どの規約が足りないかを示します。単に正解を教えてほしいと尋ねるより、判断条件の不足が伝わります。回答が来ていない段階ではHOLDを残し、解決したように表を埋めません。

また、この質問の答えを別のレコードへ無制限に広げないことも大切です。一件だけの修正指示なのか、同種表現全体への規約変更なのかで、再確認すべき範囲が違います。今回の練習では追加回答は設定していないので、R08の期待状態は最後までHOLDです。自分で例外を解消することは課題に含めていません。

対象不明と原文不足では、必要な情報が違う

R13は「この手帳は気に入りました。」です。好意的な表現は明確ですが、「この手帳」がミナかどうかをレコード内で特定できません。そのためHOLDです。「ミナという名前がないから本人評価なし」としてNONEへ入れるのではなく、評価はあるが指定対象との対応が不明だと扱います。肯定表現を見つけることと、その評価をミナへ帰属させることは別です。

前のR12にミナが出ていても、R13の指示対象をそこから補ってはいけません。今回の規約はレコードをまたぐ文脈補完を認めていないためです。必要な確認は、R13がどの商品を指すか、あるいは参照可能な文脈を別途提供するかです。文章の書き手の気持ちを推理するより、対象を確定できる資料を求めるほうが課題に合っています。

R14は「手帳ミナは」で終わっています。対象は分かりますが、評価の部分がありません。完成した属性説明ではなく途中で切れた入力なので、こちらもHOLDです。R13と同じ状態でも、必要なのは対象情報ではなく完全な原文です。保留理由を「不明」と一括りにすると、この違いが失われます。

理由欄は、R13なら「対象商品の特定待ち」、R14なら「欠けた原文の確認待ち」と書けます。これなら担当が変わっても、どの情報を用意すれば再開できるか分かります。同じHOLDを三件数えるだけでなく、皮肉の規約、対象の対応、原文の欠落という異なる不足を分けておくことが、確認作業そのものの精度を高めます。

商品名の文字範囲を、原文を変えずに示す

始点を含み終点を含まない。二つの異なる出現を別々の座標で収録し、助詞と句点を含めない。

始点と終点は、文字の間の境界

範囲指定では、原文に明示された「手帳ミナ」の全出現を対象にします。この教材はゼロ始まりで、始点を含み終点を含まない半開区間を使います。「手帳ミナは」なら、手の直前が0、帳の直前が1、ミの直前が2、ナの直前が3、はの直前が4です。商品名だけを示す範囲は[0,4)になります。終点4の文字「は」は含めません。

初めて見ると、四文字目のナを指すのだから終点3ではないかと迷うかもしれません。しかし、指定しているのは最後の文字の番号ではなく、その文字の直後の境界です。始点0から終点4までの間に四文字が入ります。この考え方で揃えると、範囲の長さは終点から始点を引いた値になり、四文字の商品名であることも確認できます。

紙で練習するときは、文字の上に番号を書くより、文字と文字の隙間へ境界番号を書くと混同しにくくなります。「手」の前から始め、四文字を囲み、「は」の前で囲みを閉じます。文字を塗る操作と、その両端を数字で記録する操作を対応させてください。数字の規則を暗記するより、何を含め何を含めないかを目で確認できます。

ここでの文字単位はUnicodeコードポイントです。今回の教材の文字はこの数え方で扱えますが、見た目で一文字に見える絵文字や結合文字などが、あらゆるソフトで同じ長さになるとは限りません。実案件では開始番号、終点の扱い、文字の単位が依頼仕様と一致しているかを確認します。今回の座標を、異なる数え方のツールへ説明なしに移さないようにしてください。

先頭とは限らない位置を原文から探す

R01の商品名は冒頭なので[0,4)ですが、すべてのレコードがそうとは限りません。R07は「友人は手帳ミナが好きだと言った。」で、商品名の前に「友人は」の三文字があります。したがって、商品名の範囲は[3,7)です。前の行が[0,4)だったからといって同じ数字をコピーすると、R07では「友人は手」を示してしまいます。

範囲を入れた後は、指定した数字で原文から実際にどの文字が取り出されるか確認します。対象名を目で見つけたつもりでも、入力した座標が一つずれることはあります。文章に商品名が存在することの確認と、提出した座標がその商品名を指すことの確認は、分けて行うとよいでしょう。

R15には別商品「手帳ルカ」も登場しますが、抽出対象はミナだけです。どちらも手帳の名前だからと両方へ同じラベルを付けると、対象範囲を広げたことになります。文章中のすべての商品名を抽出する課題と、特定の商品名だけを抽出する今回の課題は異なります。対象に似た文字列が近くにあるときほど、文字の一部ではなく名前全体を照合します。

引用中の名前は除外しません。R07の本人評価はNONEでも、商品名の文字列は原文に明示されているからです。評価を述べた人が誰かという分類条件を、範囲指定の除外条件へ勝手に持ち込まないでください。一つの教材に二つの作業があるときは、各作業の対象条件を別々に読み直すことが役立ちます。

原文を整えてから座標を付け直さない

範囲の数字は、特定の原文に結び付いています。読みやすくしようとして途中へ空白を入れたり、句点を削ったりすると、それより後の位置が変わることがあります。原文の誤字を見つけたとしても、依頼にない修正を先に行い、その修正後の座標を元の原文の結果として返すのは避けます。

R16は「手帳ミナは使いやすい。手帳ミナの色も好き。」です。二つ目の商品名は[11,15)にあります。最初の句点を削ると、二つ目の始まりは一つ前へ動きます。その状態で[11,15)を残せば、元の四文字と違う範囲を示してしまいます。見た目の意味がほぼ同じでも、文字位置を使う成果物では別の入力になっているわけです。

このため、練習では原文欄を固定し、分類や範囲は別の欄へ記録します。読みやすい表示用の改行を使う場合も、座標計算の元データへ改行文字を挿入したのか、見た目だけ折り返したのかを区別します。文章を整える編集と、与えられた文章へ注釈を付ける作業は目的が違うので、同じ操作として扱わないようにします。

原文を確認する指紋としてハッシュ値を保存する方法もありますが、ハッシュがあるだけで内容が正しいとはいえません。それは同じ文字列かどうかを照合する補助です。誤った原文に対して正しく計算したハッシュも存在するため、最初にどの原文を採用したかを確かめることと、以後の不変を確かめることは別の確認になります。

分類が保留でも、範囲は確認できる

R14は「手帳ミナは」で途切れているので分類はHOLDですが、商品名の範囲[0,4)は特定できます。評価の後半がなくても、見えている商品名まで存在しないことにはなりません。範囲指定を先へ進められる条件と、分類を確定できる条件が違う例です。

R13は「この手帳は気に入りました。」で、対象名「手帳ミナ」の明示出現はありません。範囲の期待結果は空配列です。「この手帳」の四文字をミナに相当すると推測して抽出することはしません。指示語から実体を推定する別の課題ではなく、明示された対象名を示す課題だからです。

空配列は、それだけでは作業が済んだ証拠になりません。原文を確認して対象名がないと判断したのか、まだ何も入力していないのかは同じ形に見えます。そこで、範囲の状態を別に持ちます。R13は対象なしを確認して範囲作業は完了、分類は対象不明のため保留、という二つの状態を併記できます。空の結果を失敗と決めつけたり、反対に空なら確認済みと決めつけたりしないことが重要です。

同じ文字を二つ並べても、二つの出現にはならない

範囲の誤りを確認するため、五つの意図的な誤出力を用意します。これらは実在の作業者のミスではなく、検査方法の違いを比べるための教材です。文字列が合っているか、件数が合っているか、座標が重複していないか、必要な出現を網羅しているかを、別々の問いとして確認します。

S1はR01の[0,5)です。切り出すと「手帳ミナは」になり、助詞を含んでいます。範囲は原文からはみ出しておらず件数も一つですが、対象文字列との照合で誤りを見つけられます。S2はR07の[0,4)で、「友人は手」になります。こちらは先頭にあるはずという思い込みが原因の例です。どちらも数字として扱える範囲であっても、対象を指していません。

S3はR16に[0,4)だけを返した場合です。切り出した文字は正しく、同じ座標の重複もありません。しかし、二つ目の[11,15)が抜けています。正しい部分が一つあることは、必要な部分がすべてあることを意味しません。この場合は、原文の全出現と照らすか、期待される二件との件数差に注目すると不足を検出できます。

S4は、R16へ[0,4)を二度返した場合です。どちらからも「手帳ミナ」が取り出せ、件数も二つあります。それでも二つ目の出現は指していません。文字列と件数の検査だけを通すと、S3より見つけにくい誤りになります。同じ座標の重複を調べ、さらに[11,15)が含まれるかを比較する必要があります。

重複を消してから検査する方法にも注意してください。最初に集合へ変換すると、同じ[0,4)が二度あったという証拠が消えます。網羅の不足は残りますが、元の出力には重複もあったことを説明できなくなります。元リストの重複確認と、全出現との集合比較を別々に行えば、何が悪かったかを具体的に返せます。

S5はR13の[0,4)です。切り出される「この手帳」を対象名とみなした誤りです。文字列を「手帳ミナ」へ書き換えて見せれば正しく見えるかもしれませんが、それは原文にない名前を挿入しています。範囲指定は原文にある位置を示す作業なので、表示された名前ではなく元の文字列から確認します。

演習ではR16の文字の間へ境界番号を書き、S3とS4を横に置いてみてください。S3は文字列と一意性を満たすが件数と網羅を満たさず、S4は文字列と件数を満たすが一意性と網羅を満たしません。この違いを自分の言葉で一文ずつ説明できれば、「二件あるから大丈夫」という確認より一段具体的な検品ができています。

表は横にスクロールして確認できます。

二つの出力を比べ、同意と正しさを分ける

10/16は架空の分類結果・保留状態の一致であり正解率ではない。R09ではA/B共通の誤りがある。

分類結果と保留状態の一致10/16を、合格率と呼ばない

ここでは架空の作業者AとBの分類出力を比較します。人間二人へ実際に依頼して測定した値ではなく、違いを学ぶために作った出力です。AはR09をPOSとする誤りを含み、それ以外は教材の期待結果と同じです。Bはその出力から、R03をPOS、R05をNONE、R07をPOS、R08をNEG、R10をPOS、R15をMIXへ変えています。

AとBが同じ結果を返すのは16件中10件なので、10を16で割って62.5%です。比較したのは分類結果と保留状態だけです。二つの架空出力にspanは含まれていないので、この数字を範囲指定の一致率や納品一式の一致率と呼ぶことはできません。比較する欄が変われば、同じという判定の意味も変わります。

また、この62.5%は正解率ではありません。AとBが同じ答えを返したかを見ているだけで、教材の規約に合っているかはまだ別の問いです。二人が同じ誤解をしていれば一致はします。逆に、不一致があってもどちらか一方が規約に合っている場合があります。一致の数だけで作業の正しさを結論にしないことが、この比較の目的です。

分母にはHOLDを期待結果とするレコードも含めています。保留を除いた別の集計をするなら、除外の基準と対象件数を先に決め、別の指標として示す必要があります。都合よく一致率を高く見せるために、結果を見てから迷った行だけ外してはいけません。この教材では全16件を同じ範囲で比較します。

六つの不一致を、違う種類の問題へ戻す

不一致はR03、R05、R07、R08、R10、R15の六件です。どれもAとBの記号が違うという点は同じですが、理由は異なります。R03のPOSとMIXの違いは、開きにくいという否定を拾ったかどうかです。R05のPOSとNONEの違いは、規約で「悪くない」を肯定として扱う条件を適用したかどうかになります。

R07のNONEとPOSの違いは、評価の話者を区別したかどうかです。R10のNONEとPOSの違いは、軽いという属性へ読者自身の好意を加えたかどうかです。同じPOSの付け過ぎでも、直すべき読み方が違います。「肯定を選びすぎ」とまとめるだけでは、次のレコードで同じ間違いを防ぐための具体的な手掛かりになりません。

R15のPOSとMIXの違いは、別商品ルカの否定をミナへ混ぜたかどうかです。対象名に印を付けてから評価を対応させると、どこで範囲が広がったか確かめられます。R03は同じ商品の肯定と否定なのでMIX、R15は別商品同士なのでPOSという対比を作れば、MIXを選ぶ条件を再確認できます。

R08のHOLDとNEGの違いは、皮肉を否定へ確定してよいという規約がないのに推定したかどうかです。ここではBのNEGへ揃えるのではなく、HOLDを維持します。多数決のように数だけで決めると、規約にない解釈が多数になった瞬間に採用されてしまいます。合意を作る前に、何を根拠に確定できるかへ戻ります。

同じ誤りR09も、原文と規約へ戻す

R09ではAもBもPOSを返しています。しかし、原文は表紙が青だという属性だけなので、期待結果はNONEです。この一件があるため、一致した十件をすべて正解とみなすことはできません。不一致だけを見る確認では、二人に共通した思い込みが残ることが分かります。

R09を見直すときは、「青を好む人が多いか」ではなく、話者本人の好意が原文に書かれているかを確かめます。対象や話者の条件を満たす評価がなければ、色の好みを補いません。二つの出力が一致したという事実は、規約の代わりにはならないわけです。

練習では、不一致の六件に加えて、共通誤りの一件を別欄へ記録してください。前者は出力同士の比較で見つかり、後者は原文と規約の照合で見つかります。検査の入口が違うため、同じ一覧へ理由なく混ぜるよりも、どの検査で発見したかを残すと確認の範囲を説明しやすくなります。

修正後は、何を確認し直したかを限定する

分類結果を直しても、範囲指定まで再検査したことにはなりません。今回のA/B比較は分類と保留の欄だけなので、「分類差分を確認した」と報告するのが正確です。S1～S5の範囲教材を別に検算した場合は、その結果を別項目として添えます。工程を分けておくことで、確認していない欄まで合格したように見せずに済みます。

規約への誤適用を直す場合と、規約そのものを変更する場合も分けます。R07で話者を取り違えたなら既存規約に合わせる修正ですが、皮肉を今後NEGにするなら規約変更になります。後者では同じ条件の他のレコードを再確認する必要が生じます。今回の教材では規約変更は行わず、正式版1.0-r2の期待結果を維持します。

比較を終えたら、数値の横へ「架空出力」「分類結果と保留状態のみ」「全16件」と短く書いておくと、後から値だけを見た人も対象を誤解しにくくなります。大きな一致率を示すことより、何を比べた数なのかを再現できることが、練習成果として意味を持ちます。

表は横にスクロールして確認できます。

練習見本を、説明できる一式へ整える

R13は分類の確認待ちを残したまま、対象名の範囲確認を0件で完了できる。結果と状態を別欄に記録する。

分類結果と作業状態を別の欄へ出す

完成した練習見本では、原文のID、使った規約版、分類結果、分類の作業状態、範囲、範囲の作業状態を対応させます。HOLDの行は、分類結果を未確定のままにし、作業状態を確認待ちにします。POSなどの確定ラベルとHOLDを同じ感情の選択肢として扱わないことが、出力の構造でも分かる形にします。

たとえばR14は、分類結果を空にして分類状態を確認待ち、範囲は[0,4)、範囲状態は完了です。R13も分類は確認待ちですが、範囲は空配列で完了です。R09は分類結果NONEで分類状態は完了、範囲は[0,4)で完了となります。同じ空欄や空配列が出てくる場合でも、状態欄を併せて見れば意味を取り違えずに済みます。

機械処理を想定した見本では、分類結果をdecision、分類状態をworkflow_status、範囲状態をspan_statusといった別項目にできます。英語の項目名を使うこと自体が目的ではありません。結果と進捗を一つの値へ押し込まず、何が確定して何が残っているかを、受け取る人が同じ意味で読めることが大切です。

別々の欄が、それぞれ許容された値でも、組合せとして矛盾する場合があります。意図的な誤出力として、R13をdecision=NONE、workflow_status=needs_reviewにした例を考えます。これは評価なしと確定しながら未確定でもあるという衝突です。R09をdecision=null、workflow_status=completedにした例は、必要な分類結果がないのに完了を宣言しています。どちらも一つのセルだけを見る検査では見逃します。

修正は、空欄を一律にNONEへ埋めるのではなく、原文と規約へ戻って行います。R13はnullとneeds_review、R09はNONEとcompletedの組合せへ戻します。これは範囲の正しさでは代替できない、分類結果と状態の関係の検査です。この二例は誤りを説明するための作例で、固定した16件の期待出力へ追加・混入しません。

数字の総数だけで終わりにしない

この教材には16レコードあり、対象名の範囲も合計16個あります。しかし、全行に一個ずつあるわけではありません。R13はゼロ、R16は二個で、残り十四件が一個ずつです。合計だけを見て正しいとすると、R13へ誤った範囲を一つ追加し、R16から一つ落としても同じ総数になってしまいます。

確認では、合計に加えてIDごとの対応を見ます。R13にないものを作っていないか、R16の二つが異なる出現を指しているか、それぞれの座標から取り出した文字が対象名かを確かめます。全体の数字は異常の手掛かりになりますが、正しい対応の代わりにはなりません。

規約版も、ファイル名に書いただけで本文の判断がその版へ揃っているとは限りません。今回ならR13とR14のHOLD優先、R15とR16のレコード単位、A/B一致率の対象範囲が、表や説明でも一貫しているかを見ます。見出しだけを修正して例文の解説が古いまま残ると、読者はどちらを使うべきか迷います。

実務経験ではなく、確認できる練習内容として説明する

この見本を自己紹介へ使うなら、「架空16レコードを規約に沿って分類し、商品名の範囲指定と意図的な誤出力の確認を行った」と説明できます。実案件を担当した、企業へ納品した、人間の一致率を測った、といった実施していない経験には言い換えません。小さな練習でも、対象と確認内容が明確なら学んだことを具体的に示せます。

強調できるのは、判断理由を説明できることです。R07で引用を本人評価にしない、R15で別商品を混ぜない、S4で文字列と件数が合っても重複を見つける。このような実際の例を示すほうが、「正確に作業できます」という抽象的な表現だけより、何を確認したか伝わります。ただし、練習結果だけで業務上の品質や採用を保証するものではありません。

再び練習する場合は、答えを覚えた十六件を速く処理できたことと、初めてのデータにも規約を適用できることを混同しないようにします。今回の教材では、分類の理由や検査の違いを説明することを到達点にしてください。速度を測ることより、違う種類の誤りを見分け、未確定を未確定として残せるかを確かめるほうが目的に合っています。

アノテーションの副業を検討するときは、作業名だけで判断せず、対象、単位、規約、保留の扱い、成果物の確認方法を読むところから始められます。この練習で難しかったのが引用の区別なのか、文字位置なのか、検査の網羅なのかを振り返れば、次に練習したい部分も具体化できます。分類を埋めることと、説明できる品質で仕上げることを分けて考えてみてください。

表は横にスクロールして確認できます。

転記・照合を中心とする仕事との違いは、在宅ワークのデータ入力の記事も参考になります。問い合わせから回答を編集する別の練習は、FAQ制作の教材で扱っています。

作業方式の参考：Prodigyのテキスト分類資料、範囲注釈の資料、レビューの資料。参照確認日：2026年10月17日（日本時間）。本稿の規約・原文・誤出力は独自の架空教材で、特定ソフトの利用や購入を前提にしません。