アノテーションを外注することになり、複数のベンダーに見積もりを依頼しているものの、「最終的に何を確認して発注先を決めればよいのか」と迷っていませんか。
アノテーションベンダーを比較するときは、見積金額や納期だけでなく、実際に作業する人や品質管理の方法、データの取り扱い、プロジェクトの進め方なども確認することが重要です。
特に、アノテーションでは作業開始後に判断基準の追加や修正が発生することがあります。
発注前に確認する項目が不足していると、作業開始後に認識のずれが発生したり、追加作業や手戻りにつながったりする可能性があります。
そこで本記事では、アノテーションを発注する前に確認しておきたい14項目をチェックリスト形式で紹介します。
候補となるベンダーへの問い合わせや見積もり比較を行う際の確認事項として、ご活用ください。
アノテーションベンダーへの発注前には、見積金額や納期だけでなく、実際の作業体制や品質管理、プロジェクトの進め方などを確認しておく必要があります。
発注前に確認したい項目は、以下の14項目です。
ワーカーのスキル・経験
作業環境の整備
チェック体制・回数
セキュリティ水準
プロジェクトマネジメント
チーム内連携
コミュニケーション体制
QA管理
料金体系
料金の柔軟性
初期費用
実績数
ドメイン知識の有無
高難易度案件への対応能力
これらを事前に確認しておくことで、複数のベンダーを比較する際にも、同じ基準で検討しやすくなります。
それぞれの確認ポイントを詳しく見ていきます。
まず確認したいのが、アノテーションの品質やデータの安全性に関わる項目です。
実際にアノテーションを担当するワーカーが、どのような経験やスキルを持っているのかを確認しましょう。
確認したいのは、ワーカーの経験年数だけではありません。教育プログラムの有無や、どのようなトレーニングを行っているのか、ワーカーの雇用形態なども確認しておくとよいでしょう。
特に、判断基準が複雑なアノテーションでは、作業者がルールを正しく理解していることが重要です。
発注前には、「実際に誰が作業するのか」「どのような教育を受けたワーカーが担当するのか」を確認しておきましょう。
アノテーションをどのような環境で行うのかも確認しておきたいポイントです。
ワーカーが集中して作業できる環境が整っているか、セキュアな環境で作業しているか、どのようなPCや作業端末を使用しているかなどを確認しましょう。
特に、機密性の高い画像や動画、開発中の製品に関するデータなどを扱う場合は、作業環境が自社のセキュリティ要件を満たしているか確認することが重要です。
アノテーション後のデータをどのようにチェックしているかも確認しておきましょう。
確認したいのは、単純なチェック回数だけではありません。
「全量検査なのか、抜き打ち検査なのか」「ダブルチェックなのか、トリプルチェックなのか」など、どの程度の範囲を、何回チェックするのかを確認することが大切です。
ベンダーによって品質チェックの方法は異なるため、具体的な検査方法を確認したうえで比較しましょう。
アノテーションでは、自社の製品画像や開発データ、個人情報などを外部に提供する場合があります。
そのため、ベンダーがどのようなセキュリティ基準でデータを管理しているのかを確認しておきましょう。
例えば、ISO27001などの認証取得状況や、預けたデータを他の用途に利用することがあるのかなどを確認することがポイントです。
「データをどのような環境で保管・利用するのか」まで確認しておくと発注後のトラブルを防ぎやすくなります。
アノテーションは、作業を開始して終わりというものではありません。
作業途中で質問が発生したり、判断基準を変更したりすることもあるため、プロジェクトをどのように管理するのかも確認しておきましょう。
ベンダーがプロジェクトをどのように管理するのかを確認しましょう。
確認したいのは、プロジェクトの進捗管理や品質管理だけではありません。
大量のデータを扱う場合には、データを分割して納品する「分割納品」など、柔軟な進め方に対応できるかどうかも確認しておくとよいでしょう。
納期まで一括で待つのではなく、作業の進捗に合わせてデータを受け取りたい場合は、事前に対応可否を確認しておくことが重要です。
複数のワーカーがアノテーションを担当する場合、ワーカー同士で判断基準を共有できているかどうかが品質に影響します。
そのため、ベンダーがアノテーターをどのように管理しているのか、ワーカー同士でどのように情報共有を行っているのかを確認しましょう。
特に、同じデータに対して作業者ごとに異なる判断をしてしまうと、データのばらつきにつながります。
「アノテーター間の判断のばらつきをどのように抑えているか」は、発注前に確認しておきたいポイントです。
プロジェクト中の連絡方法や進捗報告の方法も確認しておきましょう。
例えば、
定期的な進捗報告があるか
定例ミーティングを実施するか
質問や確認事項はどのようにやり取りするか
時差や言語の問題に対応できるか
などを確認しておくと、作業開始後のコミュニケーションをスムーズに進めやすくなります。
特に、海外のワーカーや複数の拠点で作業する場合は、連絡方法や対応時間について事前に確認しておくことが重要です。
アノテーションの途中で発生する疑問や判断の違いを、どのように管理しているのかも確認しましょう。
確認したいのは、QAの実施方法や頻度だけではありません。
作業中に発生した質問や判断事例をどのように共有し、チーム全体の作業に反映しているのかも重要です。
一部のワーカーだけが判断方法を知っている状態では、作業者によって品質に差が出る可能性があります。
そのため、メンバー間でナレッジを共有し、QAを管理する仕組みがあるか確認しておきましょう。
見積金額を比較するときは、単純な「1枚あたりの単価」だけで判断しないことが重要です。
料金体系や追加費用についても確認し、最終的にどの程度の費用が発生するのかを把握しておきましょう。
ベンダーがどのような料金体系を採用しているのか確認しましょう。
アノテーションの料金には、時間単価、枚数単価、月額制など、さまざまな設定方法があります。
自社のデータ量や作業内容に対して、どの料金体系が適しているのかを確認し、見積もりの前提条件も確認しておくことが大切です。
プロジェクトの規模や予算に応じて、料金を調整できるかどうかも確認しておきましょう。
例えば、作業内容や品質チェックの方法を調整することで予算に合わせた提案が可能か、データ量に応じたボリュームディスカウントがあるかなどを確認します。
複数のベンダーから見積もりを取る場合は、単価だけでなく、こうした料金の柔軟性も比較するとよいでしょう。
作業料金以外に、初期費用やツール利用料などが発生するかも確認しておきましょう。
見積もり時点では作業単価だけを比較していても、発注後に初期設定費用やツール利用料などが追加されると、想定していた予算を超える可能性があります。
そのため発注前に「初期費用は発生するのか」「ツール利用料など別途費用があるのか」を確認しておきましょう。
最後に確認したいのが、ベンダーの実績や専門性です。
アノテーションは、案件によって対象物や判断基準が大きく異なります。そのため、単純な実績数だけでなく、自社のデータや業界に近い経験があるかを確認することが重要です。
これまでにどの程度のアノテーション実績があるのか確認しましょう。
実績数だけでベンダーの品質を判断することはできませんが、どのような案件をどの程度経験しているのかを確認する材料になります。
可能であれば、自社と近いデータや用途での実績があるか、具体的な事例を確認しておくとよいでしょう。
自社の業界やデータに関する知識・経験があるかも確認しておきたいポイントです。
例えば、自動車、製造、農業、衛星画像など、専門的な知識が必要となる分野では、一般的な画像アノテーションの経験だけでは対応が難しい場合があります。
自社と近い業界やデータを扱った経験があるか、専門的な用語や対象物についてどの程度理解しているかを確認しておきましょう。
最後に、高難度のアノテーションに対応できるかを確認しましょう。
例えば、エッジケースが多いデータや、衛星画像のように判断が難しいデータでは、単純な作業量だけではなく、判断基準を理解して適切に対応する能力が求められます。
「対応できます」という回答だけで判断するのではなく、過去にどのような難易度の高い案件を経験しているのか、具体的な実績を確認しておくとよいでしょう。
アノテーションの外注では、発注時点ですべての問題を予測できるとは限りません。
実際に作業を開始すると、判断に迷うケースやルールの解釈が分かれるケースが見つかることもあります。
そのため、発注前の段階で「誰が作業するのか」「どのように品質を確認するのか」だけでなく、「問題が発生したときにどのように対応するのか」まで確認しておくことが重要です。
また、複数のベンダーを比較する場合も、同じ項目を確認することで、それぞれの違いを整理しやすくなります。
特に、料金だけで比較すると、品質管理やプロジェクト管理、セキュリティなど、見積書だけでは分からない部分を見落としてしまう可能性があります。
発注前に確認項目を整理し、自社が重視する条件を満たしているかを確認しておきましょう。
最後に、発注前に確認したい14項目をまとめます。
ワーカーのスキル・経験
作業環境の整備
チェック体制・回数
セキュリティ水準
プロジェクトマネジメント
チーム内連携
コミュニケーション体制
QA管理
料金体系
料金の柔軟性
初期費用
実績数
ドメイン知識の有無
高難易度案件への対応能力
候補となるアノテーションベンダーに問い合わせる際は、この14項目をもとに確認することで、各社の違いを比較しやすくなります。
アノテーションベンダーを選定する際は、実績や品質管理体制を確認するだけでなく、実際の成果物を通じて品質を確かめることも重要です。
AIモデルの性能を十分に引き出すためには、学習に使用するデータの品質も重要な要素となります。
アノテーションの精度や判断基準の統一が不十分な場合、AIモデルの開発だけでなく、運用にも影響を及ぼす可能性があります。
とはいえ、品質管理の方法や対応実績について説明を受けても、実際にどの程度の品質で成果物が納品されるかは、事前の説明だけでは判断しきれない場合があります。
そのため、発注先を決定する前にトライアルを実施し、自社のデータや要件に沿った成果物を確認することをおすすめします。
ラベルの付け方や判断基準の解釈、求める精度を満たしているかなどを実際の成果物で確認することで、発注後の認識のずれや手戻りを防ぎやすくなります。
ベンダーの説明や見積もりだけで判断せず、可能であればトライアルを通じて成果物の品質を確認したうえで、発注先を選定しましょう。
矢崎では、画像・動画領域を中心としたアノテーションサービスを提供しています。
画像分類、物体検出、領域抽出、骨格推定、3D点群など、さまざまなアノテーションに対応しています。
アノテーションを担当するのは、訓練された社員です。要件のヒアリングからトライアル、アノテーション、品質検査、納品まで対応しています。
品質管理では、プロジェクトマネージャー、スーパーバイザー、ワーカーという役割分担を設け、複数の工程で品質を確認する体制を構築しています。
また、建設、自動車、不動産、防災、製造、農業、医療、飲食など、さまざまな業界・用途のアノテーションに対応しています。
高難易度のアノテーションや、品質を重視したデータ作成を検討している場合は、無償トライアルからご相談いただけます。
→ 資料ダウンロード「矢崎の画像アノテーションサービス」はこちら
アノテーションを発注する際は、料金や納期だけでなく、作業者、作業環境、品質管理、セキュリティ、プロジェクト管理、コミュニケーション、実績、専門性など、さまざまな項目を確認する必要があります。
特に、発注後に認識のずれや追加作業が発生すると品質だけでなくコストや納期にも影響する可能性があります。
そのため、発注前の段階で確認項目を整理し、自社の要件に合った体制を構築できるベンダーかどうかを確認しておくことが重要です。
アノテーションベンダーを比較する際は、今回紹介した14項目をチェックリストとしてご活用いただき、料金だけでは分からない作業体制や品質管理、専門性まで含めて検討しましょう。
あわせて、14項目のチェックリストで体制や実績を確認するとともに、トライアルで実際の成果物を確認することも重要です。
矢崎では、訓練された社員によるアノテーションと品質管理体制を整え、画像・動画領域のアノテーションに対応しています。
高品質なアノテーションを検討している方は、無償トライアルからご相談ください。