Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Rcloneを使った定期的なストレージ同期
Search
YouYou
September 23, 2023
Programming
0
380
Rcloneを使った定期的なストレージ同期
詳細ブログ↓
https://cuebic.hatenablog.com/entry/rclone-gdrive-to-s3
YouYou
September 23, 2023
Tweet
Share
More Decks by YouYou
See All by YouYou
AWSに詳しくない人でも始められるコスト最適化ガイド
yuhta28
2
430
Datadog外形監視基盤をEC2から ECSへ移行してみた
yuhta28
0
1.3k
アウトプット頑張ったら企業からLT登壇の依頼がきた話
yuhta28
1
750
小さなことから始めるAWSコスト最適入門
yuhta28
1
660
Datadogのコストも監視しよう
yuhta28
1
610
Pulumiを触ってみよう
yuhta28
1
1.6k
ログストレージコスパ最強!?OpenObserveを試してみた
yuhta28
0
2.4k
Pulumiで始めるIaC
yuhta28
1
80
RUMを始めよう
yuhta28
0
1.6k
Other Decks in Programming
See All in Programming
TCAとKMPを用いた新規動画配信アプリ 「ABEMA Live」の設計
tomu28
2
140
Powerfully Typed TypeScript
euxn23
3
1.4k
TypeScriptで使いやすいOpenAPIの書き方
yukimochi_dwango
1
580
How to improve maintainability and readability of your automated tests? ( #scrumniigata )
teyamagu
PRO
1
130
freeeのエンジニアが 就活で出そうな コーディングテストを 解説してみる
freee
0
150
GitLab CI/CD で C#/WPFアプリケーションのテストとインストーラーのビルド・デプロイを自動化する
hacarus
0
610
GNU Makeの使い方 / How to use GNU Make
kaityo256
PRO
13
4.3k
RustでAWS Lambda functionをいい感じに書く
taiki45
2
150
哲学史とモデリング
tanakahisateru
2
390
Next.js App Router
quramy
14
2.3k
CQRS meets modern Java
simas
PRO
2
470
欠陥を早期に発見するための Software Engineer in Test とその重要性 / What is Software Engineer in Test and How they works
orgachem
PRO
17
2.3k
Featured
See All Featured
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
23
1.7k
How To Stay Up To Date on Web Technology
chriscoyier
782
250k
How to name files
jennybc
65
94k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
15
1.6k
In The Pink: A Labor of Love
frogandcode
138
21k
Designing for humans not robots
tammielis
247
25k
Bash Introduction
62gerente
605
210k
The Cult of Friendly URLs
andyhume
74
5.7k
Optimizing for Happiness
mojombo
370
69k
GitHub's CSS Performance
jonrohan
1025
450k
Building Flexible Design Systems
yeseniaperezcruz
320
37k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
21
2k
Transcript
Rcloneを使った定期的な ストレージ同期 1 以降のスライドにはAIを用いた箇所 があります
Name:ユータ Occupation:SRE X:@Y0u281 (オーでなくゼロです) ブログ:https://zenn.dev/yuta28 自己紹介 X QRコード 2
目次 • 対象聴講者 • 背景 • Rcloneについて • アーキテクチャ •
Rcloneコンテナ • 結果 • まとめ 3
対象聴講者 • ストレージ間の同期を楽にし たい • 定期実行できるように自動 化したい 4
背景 5 Gドライブにある画像ファイルをS3に複 製したいからバケット用意して Gドライブにある画像ファイルをS3に同 期したいからバケット用意して
背景 6 Gドライブにある画像ファイルをS3に同 期したいからバケット用意して S3は用意するけどどうやって送る つもり?
背景 7 Gドライブにある画像ファイルをS3に同 期したいからバケット用意して S3は用意するけどどうやって送る つもり? GASで何とかする👍
背景 8 S3は用意するけどどうやって送る つもり? ありがとう🥲 GASだと運用面倒なので私が代 わりに構築しますね
背景 • 同期はリアルタイムじゃなくてもいい ◦ 1日1回程度でOK • Googleドライブの階層構造のままコピー • コストはなるべくお安く💰 9
Rcloneについて 10 https://rclone.org/ • ローカル/クラウド間のファイルコピー • クラウド/クラウド間のファイルコピー • 対応クラウドは70以上 •
Linuxライクな操作コマンド
アーキテクチャ 11
Rcloneコンテナ [google-drive] type = drive scope = drive token =
{アクセストークン情報} team_drive = root_folder_id = 12 [s3] type = s3 provider = AWS env_auth = true region = ap-northeast-1 location_constraint = ap-northeast-1 acl = private storage_class = STANDARD ~/.config/rclone/rclone.conf
アーキテクチャ 13 細かいDockerfileの中身については ブログを読んでね🐳
結果 • Googleドライブと同じ階層構造でS3に画像 配置 • 毎朝Fargateが起動してコピーしてくれるので 楽々自動コピー 14
15
まとめ • Rcloneは便利 • Fargateタスクは楽 16
ありがとうございま した より詳しい内容は以下のブ ログで↓ RcloneをECS Fargateで Googleドライブ-S3間のファイ ル同期を楽々定期実行 - CUEBiC
TEC BLOG 17