Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Unity CatalogでAIガバナンスを担保する
Search
Databricks Japan
April 13, 2024
Technology
0
19
Unity CatalogでAIガバナンスを担保する
Unity CatalogによってどうやってAIガバナンスを担保するのか説明します。
Databricks Japan
April 13, 2024
Tweet
Share
More Decks by Databricks Japan
See All by Databricks Japan
パフォーマンス最適化のベストプラクティス
databricksjapan
0
190
Databricks アシスタントとは?
databricksjapan
0
54
DatabricksによるRAGアーキテクチャー
databricksjapan
0
21
Databricksの課金体系
databricksjapan
0
19
オープンLLM DBRXについて
databricksjapan
0
20
これが知りたいDatabricks!よくある質問に答えます!?
databricksjapan
1
97
45億!増え続けるデータセットと基盤と私
databricksjapan
2
280
Databricks における 『MLOps』
databricksjapan
3
220
[2023年11月版] Databricksを用いた『生成AIアプローチ』
databricksjapan
0
74
Other Decks in Technology
See All in Technology
20240509 CloudWatch でいろいろなものを監視してみよう
masaruogura
1
110
類似ロジック実装をiOS/Android間で合わせる道標No.1
fumiyasac0921
1
220
LLM評価の落とし穴~開発者目線で気をつけるポイント~
rishigami
10
3.1k
TanStack Routerで型安全かつ効率的なルーティングを実現
ytaisei
4
760
IaCからAWSに入門した初心者が CloudFormationを通して考えた「AWS操作」の使い分け
maimyyym
3
670
iThome2024 Wailing Wall of Enterprise Security
notsurprised
0
280
グイグイ系QAエンジニアでやっていくよ!
____rina____
0
730
AWS アーキテクチャ作図入門/aws-architecture-diagram-101
ma2shita
16
6.7k
Taking Flight with Tailwind CSS
opdavies
0
4.3k
The depthes of profiling Ruby - RubyKaigi 2024
osyoyu
0
110
Prisma ORMを2年運用して培ったノウハウを共有する
tockn
19
5k
Kaggleで学ぶ系列データのための深層学習モデリング
yu4u
7
1.7k
Featured
See All Featured
Fantastic passwords and where to find them - at NoRuKo
philnash
39
2.5k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
104
6.7k
Why You Should Never Use an ORM
jnunemaker
PRO
51
8.7k
Side Projects
sachag
451
41k
Web development in the modern age
philhawksworth
203
10k
Building an army of robots
kneath
300
41k
What's new in Ruby 2.0
geeforr
338
31k
A Tale of Four Properties
chriscoyier
153
22k
Reflections from 52 weeks, 52 projects
jeffersonlam
345
19k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
352
28k
Making the Leap to Tech Lead
cromwellryan
125
8.6k
The Art of Programming - Codeland 2020
erikaheidi
43
12k
Transcript
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary AIガバナンス 1
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary Unity Catalog ❤ AI
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary データレイク データウェアハウス MLモデル BIダッシュボード MLエンジニア データエンジニア データアナリスト データとAIのガバナンスは複雑です • 断片化したアセットのビュー • セキュリティ、品質、 観察可能性ごとに分断 されたツール • 環境横断でアクセス できるように複製されるデー タ • 堅苦しいコラボレーション ビジネス ステークホルダー
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary AIのサーブ AIのデータ準備 MLOps + LLMOps AIの開発 & 評価 AIの監視 • 構造化データの発見 & 特徴量への 変換 • 非構造化データのチャンク & エンべディングの作成 • アルゴリズムの訓練、テスト • モデルのファインチューン & プロンプトエンジニアリング • GenAIエージェント & ツールの 作成 • アセットのチェーン • エクスペリメントの評価 • 低レーテンシーモデルサービング • モデルのリクエスト/レスポンスの 記録 • モデルの精度、品質の評価 • モデル品質を維持するための監視 と再トレーニング • モデルのビジネスKPIインパクトの理 解 データのサーブ • 低レーテンシーの特徴量 サービング & 特徴量変換 • Vector DBのエンべディング検索 AIガバナンス & リネージ • セキュリティ & 権限の管理 • モデルリネージの追跡 • 開発環境、本番環境間のコード、データ、モデルの移動 • モデル、特徴量、エクスペリメントの管理 これらの問題に取り組むには、データとAIの能力を 連携する必要があります Data データプラットフォーム データモニタリング データオーケストレーション データストリーミング データガバナンス & リネージ データ データストレージ データ データ データ データ データ
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary Unity CatalogのAIガバナンス Lakehouse AIであなたのチームの生産性を解放し、プロセスのボトルネックを排除 しましょう • すべてのデータとAI資産に対する集中管理のガバナンス (“ワンストップショッ プ”) • チームメートを見つけ出し知見を得、マーケットプレースでクイックに モデル/データを使い始める • リネージとレイクハウスモニタリングを通じた影響分析、品質追跡、 根本原因分析によってデバッグの効率性を改善 • PII検知やUCの高信頼インデックスでどの資産が目的に合致しているのかを知 ることで、ガードレールのあるセルフサービス体験 • データをさらに理解するためにLakehouse IQ知識エンジンを活用
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary データとAIのガバナンスを統合 簡素化されたガバナンス & MLOpsのためにデータとAIのワークスペース横断アクセスを提供 Feature Store 特徴量 特徴量 特徴量 モデル レジストリ モデル モデル モデル Unity Catalog 特徴量 特徴量 特徴量 モデル モデル モデル データ データ データ
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary 資産の集中管理によってコラボレーションを加速 チームメイトがどのようにモデルをトレーニングし、どのようなデータでトレーニングしたのかを理解 監査、再現性のためにリネージを活用 使用するデータやAI資産を検索
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary リネージと品質でも効率的に問題をデバッグ UCによるインパクト分析、品質追跡、根本原因分析の実施 レイクハウスモニタリング & リネージによる根本原因分析 人気度によるインパクト分析
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary プロセスのボトルネックを排除するためのセルフサービス体験 品質と機微データに対するガードレールを強制することでデータ取り込みを民主化 テーブル利用の安全性を知るための信頼性インデックス 自動マスキングポリシーによるカタログでの PII検知
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary あなたのビジネスを理解するAI強化の知識エンジン Lakehouse IQはあなたのビジネス上の質問に回答するために、最も適切なデータを特定するため に、Unity Catalogの豊富なメタデータを活用
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary キーコンポーネントのまとめ • Models in UC: ワークスペース横断のモデルアクセス、エンドツーエンドのリネージの提供 ◦ Public Preview (FY24-Q2) • Feature engineering in UC: ワークスペース横断の特徴量アクセス、エンドツーエンドの リネージの提供 ◦ Public Preview (FY24-Q3) ◦ Databricksアカウントでのオンライン特徴量検索 - Private Preview (FY24-Q3) • Marketplaceおよびmodel zoo: プロジェクトをジャンプスタートするためにサードパーティのモデルと データにアクセス ◦ Public Preview (FY24-Q3) • Lakehouse Monitoring/classification: 任意のデータ、モデル資産の品質の経年変化の追跡 ◦ Public Preview (August 2023) • Lakehouse IQ: ビジネスデータ理解の助けとなる AI強化知識エンジン ◦ Private Preview Big Book of MLOps V2 (October 2023に公開)を通じてUnity Catalogにおける MLOpsアーキテクチャのベストプラクティスを学びましょう
©2023 Databricks Inc. — All rights reserved Confidential and Proprietary