Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ログ集約基盤をCloudWatchからOpenSearchに変えてみた

Sponsored · Ship Features Fearlessly Turn features on and off without deploys. Used by thousands of Ruby developers. →
Avatar for YouYou YouYou
August 02, 2022
Technology
0
470

 ログ集約基盤をCloudWatchからOpenSearchに変えてみた

詳細ブログ↓
https://cuebic.hatenablog.com/entry/2022/07/11/154446

Avatar for YouYou

YouYou

August 02, 2022
Tweet

More Decks by YouYou

See All by YouYou
AWSマネコンに複数のアカウントで入れるようになりました
Avatar for YouYou yuhta28
2
270
今インフラ技術をイチから学び直すなら
Avatar for YouYou yuhta28
1
270
AWSに詳しくない人でも始められるコスト最適化ガイド
Avatar for YouYou yuhta28
3
650
Datadog外形監視基盤をEC2から ECSへ移行してみた
Avatar for YouYou yuhta28
0
1.7k
アウトプット頑張ったら企業からLT登壇の依頼がきた話
Avatar for YouYou yuhta28
1
1.8k
小さなことから始めるAWSコスト最適入門
Avatar for YouYou yuhta28
1
1.3k
Datadogのコストも監視しよう
Avatar for YouYou yuhta28
1
1k
Rcloneを使った定期的なストレージ同期
Avatar for YouYou yuhta28
0
800
Pulumiを触ってみよう
Avatar for YouYou yuhta28
1
2.6k

Other Decks in Technology

See All in Technology
usermode linux without MMU - fosdem2026 kernel devroom
Avatar for Hajime Tazaki thehajime
0
240
ClickHouseはどのように大規模データを活用したAIエージェントを全社展開しているのか
Avatar for Miki Matsumoto mikimatsumoto
0
270
GitHub Copilot CLI を使いやすくしよう
Avatar for Yuta Matsumura tsubakimoto_s
0
110
今こそ学びたいKubernetesネットワーク ～CNIが繋ぐNWとプラットフォームの「フラッと」な対話
Avatar for Takuto Nagami logica0419
5
550
ECS障害を例に学ぶ、インシデント対応に備えた AIエージェントの育て方 / How to develop AI agents for incident response with ECS outage
Avatar for iselegant iselegant
4
460
SREチームをどう作り、どう育てるか ― Findy横断SREのマネジメント
Avatar for adachi.ryo rvirus0817
0
360
今日から始める Amazon Bedrock AgentCore
Avatar for Har1101 har1101
4
420
Cosmos World Foundation Model Platform for Physical AI
Avatar for Takuya MINAGAWA takmin
0
980
Greatest Disaster Hits in Web Performance
Avatar for Estela Franco guaca
0
300
Cloud Runでコロプラが挑む 生成AI×ゲーム『神魔狩りのツクヨミ』の裏側
Avatar for COLOPL Inc. colopl
0
150
コンテナセキュリティの最新事情 ~ 2026年版 ~
Avatar for Kyohei Mizumoto kyohmizu
7
2.5k
ブロックテーマ、WordPress でウェブサイトをつくるということ / 2026.02.07 Gifu WordPress Meetup
Avatar for Toro_Unit (Hiroshi Urabe) torounit
0
210

Featured

See All Featured
30 Presentation Tips
Avatar for Ian Lurie portentint
PRO
1
230
Code Review Best Practice
Avatar for Trisha Gee trishagee
74
20k
How to Build an AI Search Optimization Roadmap - Criteria and Steps to Take #SEOIRL
Avatar for Aleyda Solis aleyda
1
1.9k
Getting science done with accelerated Python computing platforms
Avatar for Jacob Tomlinson jacobtomlinson
2
120
Odyssey Design
Avatar for Ryan Kendrick rkendrick25
PRO
1
500
Heart Work Chapter 1 - Part 1
Avatar for Lake Fama lfama
PRO
5
35k
Bootstrapping a Software Product
Avatar for Garrett Dimon garrettdimon
PRO
307
120k
Chasing Engaging Ingredients in Design
Avatar for Sebastian Deterding codingconduct
0
120
The Cult of Friendly URLs
Avatar for Andy Hume andyhume
79
6.8k
First, design no harm
Avatar for Per Axbom axbom
PRO
2
1.1k
From π to Pie charts
Avatar for Rasagy Sharma rasagy
0
130
How to Get Subject Matter Experts Bought In and Actively Contributing to SEO & PR Initiatives.
Avatar for Liv Day livdayseo
0
67

Transcript

  1. ログ集約基盤をCloudWatchから OpenSearchに変えてみた 1

  2. Name：ユータ Occupation：SRE Twitter：@Y0u281 （オーでなくゼロです） ブログ：https://zenn.dev/yuta28 自己紹介 Twitter 2

  3. 目次 • 背景 • 実装 • 課題 • 改善 •

    よかったこと • まとめ 3

  4. 背景 4

  5. 背景 5 課題
 • ログ収集が遅い
 • 検索しにくい
 • グラフがほしい


  6. 実装 6 AWS側でCloudWatchのログを OpenSearchに転送してくれる

  7. 課題 7 すべてのレコードが文字列型で登 録される!!

  8. 改善 8

  9. 改善 9 すべてのレコードが文字列型で登 録される!!

  10. 改善 10 数値型に変換! Fluentdの設定はブログを 御覧ください

  11. よかったこと 11 専用のIAMユーザーを 発行する必要がなくなった

  12. よかったこと 12 ステータスコード割合

  13. よかったこと 13 解決 • ほぼリアルタイムで検索 • 全文検索で検索性向上 • ダッシュボード作成 •

    Google認証で簡単ログイン 課題
 • ログ収集が遅い
 • 検索しにくい
 • グラフがほしい


  14. まとめ 14

  15. より詳しい内容は弊社ブログに 15 CloudWatch LogsからOpenSearchへログ集 約を移行した - CUEBiC TEC BLOG (hatenablog.com)

  16. ありがとうございました 16