（せーのっ）「いますぐはじめるえむえるおぷす」

https://churadata.connpass.com/event/222561/

「機械学習を「いい感じ」にする技術’で発表したスライドです。

Transcript

1. ػցֶशΛʮ͍͍ײ͡ʯ ʹ͢Δٕज़ ΞΠύʔୂ௕ 2021/09/17@JX௨৴ࣾ x ͪΎΒσʔλ߹ಉษڧձ
2. ʢͤʔͷͬʣ ͍·͙͢͸͡ΊΔ ͑Ή͑Δ͓΀͢
3. ݁࿦͔Β࿩͠·͕͢ ͸͡·Γ·ͤΜͰͨ͠
4. ຊ౰ʹ͋Γ͕ͱ͏ ͍͟͝·ͨ͠
5. ϥΠτχϯάτʔΫʂʂʂʂʂ
6. ·͊Ͱ΋୭΋ظ଴͍ͯ͠ͳ͍λΠτϧʢྦʣ ͩͬͨͱࢥ͏ͷͰɺ͜Ε͔Β͸๻ͷۤ࿑࿩Ͱ ΋ฉ͍͓ͯ͘Ε ໘നͦ͏ ໘നͦ͏ ໘നͦ͏ ໘നͦ͏ ʁʁʁʁ
7. ࣗݾ঺հ
8. ࣗݾ঺հ • ΞΠύʔʢAipaʣୂ௕ʢຬ31ࡀʣ • ೋࣇͷ෕ • ͪΎΒσʔλגࣜձࣾ • ৭ʑ΍Γ·͢ • ΰδϥ͕޷͖Ͱ͢
9. ࠓ೔࿩͢͜ͱ ʢ΍Γ͔ͨͬͨ͜ͱʣ
10. ࿩͢͜ͱʢ΍Γ͔ͨͬͨ͜ͱʣ • G.I.I.C.Systemͷ։ൃ
11. ࿩͢͜ͱʢ΍Γ͔ͨͬͨ͜ͱʣ • G.I.I.C.Systemͷ։ൃ • Godzillaʢΰδϥͷʣ • Imageʢը૾Λʣ • Iikanjiʢ͍͍ײ͡ʹʣ • Collectʢͱͬͯ͘Δʣ • Systemʢͯ͢͠Ήʣ
12. ΰδϥʹғ·Εͯ ই֐ੜ֔Λऴ͍͑ͨ
13. ΞʔΩςΫνϟਤ ʢશྗͰະ׬੒͑Ή͑Δ͓΀͢ʣ "NB[PO
    4BHF.BLFS .PEFM ϥϕϦϯάɾ
    Ξϊςʔγϣϯπʔϧ 4 4 ϚΠ(16Ϛγϯ 5SBJO 4 લॲཧScript 4BHF.BLFS
    &OEQPJOU ͓·͍Β 4
    4UBUJD
    )PTUJOH &$3 ,FESP
14. ΞʔΩςΫνϟਤ ʢશྗͰະ׬੒͑Ή͑Δ͓΀͢ʣ "NB[PO
    4BHF.BLFS .PEFM ϥϕϦϯάɾ
    Ξϊςʔγϣϯπʔϧ 4 4 ϚΠ(16Ϛγϯ 5SBJO 4 લॲཧScript 4BHF.BLFS
    &OEQPJOU ͓·͍Β 4
    4UBUJD
    )PTUJOH &$3 σʔλ෼ׂͷύϥϝʔλͱ͔
    ར༻ͨ͠σʔλͷύεͱ͔ ֶशύϥϝʔλ౳ ֶशதͷϩάͱ͔ ,FESP 1SF
    BOOPUBUJPOతͳ΍ͭ ͤͬͤͱूΊΔͷ͸ͩΔ͍ͷ Ͱɺ"1*Λ࢖͏
15. ະ׬੒ͳΒ͠ΐ͏͕ͳ͍ ؾ࣋ͪΛ੾Γସ͑·͢ • Pipelineͱ͔mlflowͱ͔sagemaker͸ਖ਼௚օ༷͍ͬͺ͍૊Μͩ͜ͱ͋Δͩͱ ࢥ͍·͢ɻࠓߋ͍͍ΑͶʢʣ • ႈ౳ੑͱ͔ฒྻԽͱ͔ߴ଎Խͱ͔ߟ͑Δ͜ͱ͍ͬͺ͍͋Γͦ͏Ͱ͕͢ɺج ຊϐλΰϥεΠονͳΜͰ͠ΐʁʢҟ࿦͸ೝΊΔʣ • ࠓճΞϊςʔγϣϯ͔Βελʔτ͠Α͏ͱࢥ͚ͬͨͲɺԿ࢖͓͏͔ͳͬͯ ࢥͬͯͨʢ࢖ͬͨ͜ͱͳ͍ʣ • Կ͔ྑ͍πʔϧͳ͍͔ͳʔʁ • ͦ΋ͦ΋Ξϊςʔγϣϯͱ͔ϥϕϦϯάͷϑΣʔζͬͯMLOpsͳͷʁʁʁ
16. ͦ͏Έ͍ͨͰ͢ https://aws.amazon.com/jp/sagemaker/
17. ͔͍ͨ͋͋͋͋͋͋͋͋ https://aws.amazon.com/jp/sagemaker/
18. Կ͔ྑ͍πʔϧͳ͍͔ͳʔ ʢ2ճ໨ʣ https://qiita.com/shu-yusa/items/d19ea57e3cf9c4dbdce2
19. ͓ʁʢ^ω^ = ^ω^ʣ https://twitter.com/1027kg/status/1392852597166379009
20. ͳʹ͜ΕΑͦ͞͏ https://labelstud.io/
21. ͋Βૉఢ https://labelstud.io/
22. ͋Βʙʙʙ https://labelstud.io/api#tag/Annotations
23. ͖Όʔʔʔʔʔʔ https://labelstud.io/guide/storage.html
24. ͍͢͝ʙʢͳʹ͜Εʣ
25. αΫαΫʂʂʢମײʣ
26. Export Data…
27. !!!!???
28. !!!!???
29. !!!!??? _(:3 ʯ㲃) ŴŗŖ
30. ͏ͻΐʙʙʙʙ
31. ௒ྑ͍ (Αͦ͞͏)
32. ແࣄπʔϧબఆ͕͢Μͩͱ͜ΖͰɺ ͜Ε͔Β͸ۤ࿑࿩ • Label Studio • Kedro • YOLOv5 • MLFlow • SageMaker
33. εοɾɾɾ • Label Studio • Kedro • YOLOv5 • MLFlow • SageMaker
34. MLOpsɾɾɾʁ ͓લɾɾɾʂʁ • Label Studio • Kedro • YOLOv5 • MLFlow • SageMaker
35. • Label Studio • Kedro • YOLOv5 • MLFlow • SageMaker ΏΔ͠(ry
36. ۤ࿑࿩
37. ۤ࿑࿩ʢ͓ʔΔ͋ͷͯʔ͠ΐΜʣ • ը૾͕දࣔ͞Εͳ͍ʢ403໰୊ʣ • ΞΫηεΩʔඞਢʢͦ͏Ͱ͸ͳ͍͚Ͳɺ͚ͭͨํ͕શػೳ Λར༻Ͱ͖Δʣ • APIυΩϡϝϯτ͕଍Γͳ͍ • [Export] Downloadํ๏͕ࡌ͍ͬͯͳ͍ • Request Parameter͕লུ͞ΕͯͯࠔΔ
38. ը૾͕දࣔ͞Εͳ͍ʢ403໰୊ʣ • ઃఆͰS3ॺ໊෇͖ͩͱ͏·͘දࣔ͞Εͳ͍ • ࢼ͍ͯ͠ͳ͍͚ͲΞΫηεΩʔͷઃఆ͕ଟ෼ ඞਢ • ӳޠ͸ͪΌΜͱಡΉΜͩʢռΊʣ
39. ͜ͷล • ઃఆͰS3ॺ໊෇͖ͩͱ͏·͘දࣔ͞Εͳ͍ • ࢼ͍ͯ͠ͳ͍͚ͲೝূΩʔͷઃఆ͕ଟ෼ඞਢ • ӳޠ͸ͪΌΜͱಡΉΜͩʢռΊʣ
40. ը૾͕දࣔ͞Εͳ͍ʢbase64໰୊ʣ • Project࡞੒͔ΒɺS3σʔλSyncޙɺϦετΛදࣔ͠Α͏ ͱ͢Δͱಈ͔ͳ͘ͳΔ • Base64ͷจࣈྻ͕େྔʹը໘ߋ৽͢Δͱ͜͏ͳΔͬΆ͍ • ๷͗ํ͕Θ͔Βͳ͍ • 1ճ໨͸਺ຕΞοϓϩʔυ → Sync → දࣔͰ͖Δ͜ͱ ֬ೝͰ͖ͨΒɺશ෦Ξοϓϩʔυ → Sync Ͱ҆ఆ͢Δ
41. ΞΫηεΩʔඞਢ • EC2Ͱىಈͯ͠ɺIAMϩʔϧ(S3FullAccessͱ͔)෇༩͠ ͨΒΞΫηεΩʔ͸͍Βͳ͍ • ͕ɺExport͢Δͱ͖ʹը૾σʔλ1ຕͣͭμ΢ϯϩʔυ ͍ͯ͠ΔΑ͏ͳͷͰɺඞਢͱͳΔɹ • Ξϊςʔγϣϯ͕׬ྃͨ͠ޙʹʮ࡞ۀ͕ऴΘͬ ͨʂʂʂʯͱ͍͏ؾ͔࣋ͪΒग़ͯ͘ΔΤϥʔʹ (´ɾωɾʆ)͢ΔͷͰ΍͓ͬͯ͘Μͩʂʂʂ
42. ΞΫηεΩʔඞਢ • EC2Ͱىಈͯ͠ɺIAMϩʔϧ(S3FullAccessͱ͔)෇༩͠ ͨΒΞΫηεΩʔ͸͍Βͳ͍ • ͕ɺExport͢Δͱ͖ʹը૾σʔλ1ຕͣͭμ΢ϯϩʔυ ͍ͯ͠ΔΑ͏ͳͷͰɺඞਢͱͳΔɹ • Ξϊςʔγϣϯ͕׬ྃͨ͠ޙʹʮ࡞ۀ͕ऴΘͬ ͨʂʂʂʯͱ͍͏ؾ͔࣋ͪΒग़ͯ͘ΔΤϥʔʹ (´ɾωɾʆ)͢ΔͷͰ΍͓ͬͯ͘Μͩʂʂʂ ͜Ε࣮͸ҧ͔ͬͨͷͰޙ೔ϒϩά͔Ͳ͔͜Ͱ
43. APIυΩϡϝϯτ͕଍Γͳ͍ • Download API͕͋ΔͬΆ͍͚ͲυΩϡϝϯτʹ ͸ͳ͍ɻΈ͍ͨͳ͜ͱ͕͋Δ • ඞཁ࠷௿ݶ͸ࡌ͍ͬͯΔ͚Ͳɺࡉ͔͍ύϥϝʔλ ͕ͳ͔ͬͨΓͯ͠ɺ୳͢޻਺͕ਏ͍ • σʔλϕʔε΍ɺGithubʢίʔυಡΉʣͱୟ͍ͯ ڍಈΛ֬ೝ͍͚ͯ͠͹͍ͣΕ͸ղܾ͢Δʢେมʣ
44. ΈΜͳͷ৺ͷ੠ ʢ͓લ͕هࣄॻ͚͹͍͍ͷͰ͸ɾɾɾʁʣ • Download API͕͋ΔͬΆ͍͚ͲυΩϡϝϯτʹ ͸ͳ͍ɻΈ͍ͨͳ͜ͱ͕͋Δ • ඞཁ࠷௿ݶ͸ࡌ͍ͬͯΔ͚Ͳɺࡉ͔͍ύϥϝʔλ ͕ͳ͔ͬͨΓͯ͠ɺ୳͢޻਺͕ਏ͍ • σʔλϕʔε΍ɺGithubʢίʔυಡΉʣͱୟ͍ͯ ڍಈΛ֬ೝ͍͚ͯ͠͹͍ͣΕ͸ղܾ͢Δʢେมʣ
45. • Download API͕͋ΔͬΆ͍͚ͲυΩϡϝϯτʹ ͸ͳ͍ɻΈ͍ͨͳ͜ͱ͕͋Δ • ඞཁ࠷௿ݶ͸ࡌ͍ͬͯΔ͚Ͳɺࡉ͔͍ύϥϝʔλ ͕ͳ͔ͬͨΓͯ͠ɺ୳͢޻਺͕ਏ͍ • σʔλϕʔε΍ɺGithubʢίʔυಡΉʣͱୟ͍ͯ ڍಈΛ֬ೝ͍͚ͯ͠͹͍ͣΕ͸ղܾ͢Δʢେมʣ ͔ͨ͠ ʢ͔ͨ͠ʹʣ
46. • Download API͕͋ΔͬΆ͍͚ͲυΩϡϝϯτʹ ͸ͳ͍ɻΈ͍ͨͳ͜ͱ͕͋Δ • ඞཁ࠷௿ݶ͸ࡌ͍ͬͯΔ͚Ͳɺࡉ͔͍ύϥϝʔλ ͕ͳ͔ͬͨΓͯ͠ɺ୳͢޻਺͕ਏ͍ • σʔλϕʔε΍ɺGithubʢίʔυಡΉʣͱୟ͍ͯ ڍಈΛ֬ೝ͍͚ͯ͠͹͍ͣΕ͸ղܾ͢Δʢେมʣ ͔ͨ͠ ʢ͔ͨ͠ʹʣ དྷिʹ͸ॻ͜͏ͱࢥ͍·͢
    ʢϑϥάʣ
47. σϞ
48. σϞ಺༰ • Label Studioͷىಈ • S3ͱͷ࿈ܞ • Ξϊςʔγϣϯ࡞ۀ • APIͷར༻ • Export
49. ·ͱΊ
50. ·ͱΊ • ʮ͍·͙͢ʯMLOpsΛ࢝Ί͍ͨͳΒΫϥ΢υ ࢖ͬͨ΄͏͕͍͍Ͱ͢ΑʁʢռΊʣ • Label Studio࢖͏৔߹͸๻ͷࢡΛ౿ΜͰ͕Μ ͹͍ͬͯͩ͘͞
51. ͓·͚
52. YOLOv5ͷ݁Ռ