20分で分かる Human-in-the-Loop 機械学習におけるアノテーションとヒューマンコンピューターインタラクションの真髄

20 分で分かる Human- in-the-Loop 機械学習におけるアノテーションとヒューマンコンピューターインタラクションの真髄第
8 回 Data-Centric AI 勉強会上田隼也 @hurutoriya 2024-05-10 1

自己紹介上田隼也 @hurutoriya 書籍「Human in the Loop 機械学習」の翻訳の発起人 2018 年に株式会社メルカリに機械学習エンジニアとして入社後、機械学習による商品監
視サービスの改善を推進。その結果を論文としてまとめた「Auto Content Moderation in C2C e-Commerce」が、 MLOps の査読付き国際会議 OpML'20 に採択された。 2021 年から検索チームに異動し、検索エンジニアとしてメルカリの検索サービスの改善に取り組んでいる。趣味で検索エンジン OSS 勉強会というオンライン勉強会を主催している。 2

翻訳のモチベーション機械学習エンジニアとして働く中で感じた、「機械学習にとってデータは非常に大事なはずだが、実践的な知識や経験に基づいた書籍がなぜ存在しないのか?」例えば自分自身でアノテーションを行う際にもっと効率的な手法がないのか?と悩んだり... アノテーションを依頼する際に、抑えておくべきポイントはなにか? 3

最初に僕が大好きな「How Google does Machine Learning」の講師陣の名言を紹介 4

ML がやりたい、でもデータをまだ集めていない 5

今すぐそのプロジェクトをやめてくださいあなたにはデータが必要だ。 6

Human-in-the-Loop 機械学習とは原著: Human-in-the-Loop Machine Learning Active learning and annotation
for human-centered AI 2021 年 6 月に出版、2023 年 12 月に日本語翻訳書籍(400 頁弱!)を出版 Human-in-the-Loop 機械学習の定義機械学習モデルと人間が相互補完しながら動作するシステム。本書ではデータの作成を Human-in-the-Loop 機械学習によって行う方法について取り上げる 1. Human-in-the-Loop 機械学習の概要(1,2 章) 2. 能動学習(3,4,5,6 章) 3. アノテーション(7,8,9,10 章) 4. 機械学習のためのヒューマンコンピュータインタラクション(11,12 章) 7

Human-in-the-Loop 機械学習の概要 8

アカデミックな研究領域と実践的な機械学習応用の対象的な取り組みアカデミック領域における機械学習の研究同一のデータセットに対して異なる手法を適用して評価する実世界での機械学習適用より多くのデータにアノテーションを行い、モデルのパフォーマンスを改善しようとするデータの性質が時間とともに変化する場合、既存のモデルを新しいデータに適応させる(ドメインアダプテーションなど)よりも、小規模でも新規にアノテーションしたデータを学習データに追加して再学習させるほうが効果的
9

本書であつかうトピック能動学習ランダムサンプリング、不確実性サンプリング、多様性サンプリングアノテーションのベストプラクティスアノテーターとの協働、アノテーションの品質管理、具体的な実用例とデータ拡張、様々な機械学習タスクにおけるアノテーション品質管理ヒューマンコンピュータインタラクションユーザーインターフェースの基本原則プライミング効果 10

アノテーターとの協働本書で面白いのが、アノテーション組織をどうやって作り上げるかについて多くの頁を割いている点であり、これだけでも買う価値があるのではと自負している. ３つの異なる種類のワーカーの特性を理解して、マネジメントする。クラウドワーカー:人員の拡大と縮小が可能であり、難易度が低い単純なアノテーションに向いているアウトソーシングワーカー:訓練によって専門知識を学んでおり、ある程度難易度が高いアノテーションが可能。社内ワーカー: 難易度が高いケースへのラベル付けやアノテーターの指示を行う
11

必要なアノテーション量の変動とワーカーごとの生産能力 12

アノテーター組織編成パターン 13

高品質なアノテーションを実現するための三原則報酬雇用保障自己効力感 14

アノテーションアワーデータのアノテーションを行いながら、エッジケースに遭遇したらそのデータについて議論してデータへの理解を深めていく企業でのアノテーション文化の醸造 15

アノテーションに大学院生の経済事情を適用するべからず... 16

データの堀(data moat) 私が見てきたどの業界でも、長期間トップレベルを維持した最先端のモデルは、新しいアルゴリズムではなく、よりよい学習データに支えられていました。高品質なデータは「データの堀」と呼ばれます。高品質なデータは、競合他社の機械学習サービスに打ち負かされないサービスを提供するための障壁となるのです。 17

アノテーションの品質管理アノテーション結果と真値データセットを比較する代表的な３つのベースラインランダム最も頻度が高いラベルデータ頻度 18

アノテーター間の一致度の計算とそのメリットデータセットの信頼性最も信頼できないアノテーターの特定最も信頼できるアノテーターの特定共同作業の特定一貫性の評価ガイドラインの改善続きは本書で... (本書では詳しく説明されています) 19

ヒューマンコンピューターインタラクションの基本原理アフォーダンス(シグニファイア) フィードバック自己効力感 20

とあるアノテーションインターフェース 21

アンチパターン 22

ベストプラクティス 23

Human-in-the-Loop 機械学習を組み込んだアプリケーション 12 章では様々な現実世界での実例をもとにこれまでの章で紹介してきたトピックの活用方法を具体的に紹介すぐさま実践的に活用したい方は、まずはこの章を見るとトップダウンで活用方法がわかります! 24

まとめ Garbage in Garbage out 機械学習をやる前にまずはデータを集めよう機械学習はデータを持ってるところが勝つ競合優位性は所有しているデータから生まれる Human-in-the-Loop 機械学習はデータ作成に主眼を当てた珍しい書籍
だが、10 年後でも色褪せない意義のある内容大規模言語モデル(LLM)の時代である今でも色褪せない...と信じてます! 今回の発表で少しでも気になったら買ってくれると嬉しいです! 25

データはいつだって勝つ! by How Google does Machine Learning 26

20分で分かる Human-in-the-Loop 機械学習におけるアノテーションとヒューマンコンピューターインタラクションの真髄

20分で分かる Human-in-the-Loop 機械学習におけるアノテーションとヒューマンコンピューターインタラクションの真髄

Shunya Ueta

More Decks by Shunya Ueta

Other Decks in Science

Featured

Transcript