Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Databricksでのコスト管理
Search
Databricks Japan
April 12, 2024
Technology
0
47
Databricksでのコスト管理
Databricksでのコスト管理について説明します。
Databricks Japan
April 12, 2024
Tweet
Share
More Decks by Databricks Japan
See All by Databricks Japan
パフォーマンス最適化のベストプラクティス
databricksjapan
0
190
Databricks アシスタントとは?
databricksjapan
0
54
DatabricksによるRAGアーキテクチャー
databricksjapan
0
21
Databricksの課金体系
databricksjapan
0
19
オープンLLM DBRXについて
databricksjapan
0
20
これが知りたいDatabricks!よくある質問に答えます!?
databricksjapan
1
97
45億!増え続けるデータセットと基盤と私
databricksjapan
2
280
Databricks における 『MLOps』
databricksjapan
3
220
[2023年11月版] Databricksを用いた『生成AIアプローチ』
databricksjapan
0
74
Other Decks in Technology
See All in Technology
OPENLOGI Company Profile for engineer
hr01
1
2.1k
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
5
38k
AI JIMY - 登壇(インストール編)
hanacchi
0
150
「知的単純作業」を自動化する、地に足の着いた大規模言語モデル (LLM) の活用
nrryuya
8
8.1k
Prisma ORMを2年運用して培ったノウハウを共有する
tockn
19
5k
Real World Type Puzzle and Code Generation
yukukotani
4
620
AWS アーキテクチャ作図入門/aws-architecture-diagram-101
ma2shita
16
6.7k
Secrets of a PowerShell "Guru"
guyrleech
1
120
データ基盤を支える技術
chanyou0311
5
2.9k
QA経験のないエンジニアリング マネージャーがQAのカジュアル面談に出て 苦労していること・気づいたこと / scrum fest niigata 2024
yoshikiiida
2
640
拓展QA日常工作的邊界
line_developers_tw
PRO
0
510
パスワードを保存しますか?
hanacchi
0
240
Featured
See All Featured
Music & Morning Musume
bryan
41
5.6k
Typedesign – Prime Four
hannesfritz
36
2.1k
Infographics Made Easy
chrislema
238
18k
The Straight Up "How To Draw Better" Workshop
denniskardys
228
130k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
221
21k
Six Lessons from altMBA
skipperchong
22
3k
The Illustrated Children's Guide to Kubernetes
chrisshort
32
47k
Into the Great Unknown - MozCon
thekraken
15
1.1k
Pencils Down: Stop Designing & Start Developing
hursman
117
11k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
358
22k
What’s in a name? Adding method to the madness
productmarketing
PRO
17
2.7k
StorybookのUI Testing Handbookを読んだ
zakiyama
13
4.7k
Transcript
©2021 Databricks Inc. — All rights reserved Databricks のコスト管理 1
©2021 Databricks Inc. — All rights reserved クラスタータグによる部門配賦 ▪ 特定のチーム/部門にコストを割り当てるために
Databricksクラスターにクラスタータグを付与するこ とができます ▪ レポートで部門ごとにこれらのコストを容易に可視化 できるように、クラスタータグはBilling Account Consoleに伝播し、ダウンロードしたり、API経由で アクセスできます。 ▪ また、部門で使用されたEC2費用と部門のDBUを関 連づけられるように、クラスタータグはAWS EC2に も伝播します。
©2021 Databricks Inc. — All rights reserved クラスターACLによるクラスター権限管理 ▪ クラスターアクセスコントロールによって、
誰がDatabricksクラスターを作成できるのかを コントロールすることができます。 ▪ きめ細かいクラスターレベルの権限 によって、 クラスターに対してユーザー、グループが 管理、アクセス、再起動できるのかを管理する ことができます。 ▪ これらを組み合わせることで、クラスターの作成権限を クラスターの管理、アクセスの制御できる管理者グルー プに制限することができます。
©2021 Databricks Inc. — All rights reserved クラスターポリシーによる予測可能なコスト ▪ クラスターポリシーによって、クラスターを設定する際に事前定
義済みのルールをユーザーやグループに強制する ことができます。 ▪ ポリシーではクラスターのサイズや、クラスターにおける時間あ たりの最大DBUを制限することができます。 ▪ クラスター作成時に部門配賦のためにタグを自動で強制するこ とができます。 ▪ 部門に対して一貫性のあるコスト管理のために、共有クラス ター、クラスターポリシー、タグを活用することで、それぞれの部 門ごとに最大DBU/時、部門配布が設定されたインタラクティブ クラスターを作成できます。
©2021 Databricks Inc. — All rights reserved その他のコスト管理のテ クニック 5
©2021 Databricks Inc. — All rights reserved クラスターのオートスケーリング ▪ クラスターのオートスケーリングはワークロードに応じてクラスターのサイズを
動的に変更します ▪ 静的サイズが設定され、サイズの小さいクラスターよりも高速に動作できます ▪ 静的にサイズが設定されたクラスターよりも全体的なコストを削減できます
©2021 Databricks Inc. — All rights reserved クラスターの自動停止 ▪ クラスターの自動停止では、コスト削減のために指定された未使用期間を経過した後にクラ
スターを停止します。 ▪ 夜中や週末にアイドル状態のクラスターが動き続けることを避けるために、 アドホック用途のクラスターでは自動停止を有効化しましょう。
©2021 Databricks Inc. — All rights reserved スポットVM ▪ スペア用VMインスタンスには市場価格よりも安いスポットインスタンスを活用しましょう
▪ アドホック/共有クラスターに適しています ▪ 様々なユースケースに合わせたクラスターを容易するために、オンデマンドインスタンスと (カスタムスポット価格の)スポットインスタンスを組み合わせましょう SLA スポットかオンデマンドか ミッションクリティカル ではないジョブ ドライバーはオンデマンド ワーカーはスポット 厳密なSLAを持つワークフロー オンデマンドにフォールバックする スポットインスタンスを活用
©2021 Databricks Inc. — All rights reserved Overwatchによる コストの可視化 9
©2021 Databricks Inc. — All rights reserved Overwatchとは? 10 数百の次元に対する
数千のメトリクスを 利用可能 すべての ワークスペース すべてのDBUを最大化 するために客観的に ROIを計算 ご自身のパターンの 特定、監視、改善 成功の評価 & インパクトの最大化 グローバル 使用量追跡 価値の追跡 ガバナンス お客様の観測可能性を実現するツール
©2021 Databricks Inc. — All rights reserved Overwatchとは? 計算資源 /
DBUコスト (推定値) 次元化メトリクス: • ジョブ • クラスター • ノートブック • Spark • etc 11 お客様の観測可能性を実現するツール
©2021 Databricks Inc. — All rights reserved Overwatchによるコストの可視化 • 推定スポット価格を持つ計算資源を含む(Spot
Price History API) EC2 + DBU Costs By Day 一つの場所ですべてのワークスペースにおける推定時系列コストを監視 12
©2023 Databricks Inc. — All rights reserved 予算内に治るようにコストを監視し、コスト のスパイクを特定 すべてのDatabricks
SKUに対する価格 sku_nameを用いて容易に使用量テーブルと join リスト価格とすべての契約上のディスカウントを含む ドル観点での費用をレポート コスト管理—価格システムテーブル 13
©2022 Databricks Inc. — All rights reserved 監査ログ (パブリックプレビュー) 監査ログリファレンスにある監査ログイベント
14
©2022 Databricks Inc. — All rights reserved 課金パイプラインを通じて処理されるたびに課金ログを捕 捉します 課金される使用量
(パブリックプレビュー) DBU消費の分析と最適化 15
©2022 Databricks Inc. — All rights reserved 2つのリネージシステムテーブルが存在 : •
system.access.table_lineage • system.access.column_lineage 常にリネージを捕捉できるわけではないので、両方のリ ネージテーブルすべての読み書きイベントのサブセットを表 現。リネージを推定できる場合にのみ レコードは削除されます。 テーブル、列リネージ (パブリックプレビュー) Unity Catalogのデータリネージ機能をベースとすることで、意思決定やレポートを強化 するためにリネージデータをプログラムからクエリー可能 16
©2022 Databricks Inc. — All rights reserved これは高頻度イベントのみのテーブルです。これらのイベン トはアセットの仕様を変更するものではありません。 Create
/ edit / deleteのイベントはQ3 FY24に提供され るウェアハウステーブルの一部となる予定です。 ウェアハウスイベント(プライベートプレビュー) DBSQL管理者によるリソース監視、コスト割り当て、問題のトラブルシュート 17