Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LLM開発・活用の舞台裏@2024.04.25
Search
Nakao Yushin
April 25, 2024
Technology
3
1.3k
LLM開発・活用の舞台裏@2024.04.25
「【緊急開催】生成AI革命期に挑んだ一年間の軌跡」のLT資料です。
https://generative-ai-conf.connpass.com/event/315163/
Nakao Yushin
April 25, 2024
Tweet
Share
Other Decks in Technology
See All in Technology
.NET Profiler in 2024.
kkamegawa
2
1.9k
生成AIの変革の時代に、直近1年で直面した課題とその解決策
ktc_wada
0
730
LayerXにおけるLLMプロダクト開発の今までとこれから
layerx
PRO
4
780
MLOpsの「壁」を乗り越える、LINEヤフーの Data Quality as Code
lycorptech_jp
PRO
8
630
社内アプリで Cloudflare D1を プロダクト運用してみた体験談(Tokyo)
haochenx
0
120
今日からできる!簡単 .NET 高速化 Tips -2024 edition-
xin9le
7
4.3k
【SORACOM UG 東海】あらゆるモノがつながる社会へ、IoT と SORACOM
soracom
PRO
1
160
ゼロから始めるVue.jsコミュニティ貢献 / first-vuejs-community-contribution-link-and-motivation
lmi
1
150
KubeConにproposalを送りたい人へのアドバイス
sat
PRO
3
270
Next.js に疲れた私は Vue3 に癒やされた
akagire
0
140
MapLibreとAmazon Location Service
dayjournal
1
190
IaCジェネレーターとBedrockで詳細設計書を生成してみた
tsukasa_ishimaru
4
910
Featured
See All Featured
Documentation Writing (for coders)
carmenintech
60
4k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
15
1.6k
How To Stay Up To Date on Web Technology
chriscoyier
782
250k
The World Runs on Bad Software
bkeepers
PRO
61
6.7k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
14
8.3k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
22
1.4k
Done Done
chrislema
178
15k
Automating Front-end Workflow
addyosmani
1357
200k
A better future with KSS
kneath
231
16k
We Have a Design System, Now What?
morganepeng
43
6.8k
Happy Clients
brianwarren
92
6.4k
Code Review Best Practice
trishagee
56
15k
Transcript
LLM開発・活用の舞台裏 ストックマーク株式会社 プロダクトマネージャー 中尾 有伸 2024/4/25 生成AIカンファレンス直前スペシャル! 生成AI革命期に挑んだ一年間の軌跡
© 2024 Stockmark Inc. 中尾有伸(Nakao Yushin) - 2020年9月より、ストックマークにて複数のBtoB SaaSのプロダクトマネジメントを担当 -
直近1年間は、大規模言語モデル(LLM)の活用と検索・ 推薦領域の機能開発に従事 @yushin_n 自己紹介
Anews AIを活用した網羅的な情報収集と組織内への浸透を実現 ストックマークが提供するBtoB SaaS「A Series」 製品化・事業化を加速させる情報収集・共有サービス Astrategy 膨大な時間がかかる市場調査をAIが瞬時に実現
2023年11月に生成AIを活用した要約生成機能をリリース https://stockmark.co.jp/news/20231107
© 2024 Stockmark Inc. 本日の内容 ・A Seriesで見る直近1年間の生成AIの進展 ・ストックマークのLLM関連の取り組み ・LLMのプロダクト活用で直面した課題と解決策
© 2024 Stockmark Inc. 本日の内容 ・A Seriesで見る直近1年間の生成AIの進展 ・ストックマークのLLM関連の取り組み ・LLMのプロダクト活用で直面した課題と解決策
Q. 「生成AI」でヒットする月間の日本語の記事数は 2023年3月から、2024年3月の1年間で 何倍になったでしょうか?
© 2024 Stockmark Inc. 「生成AI」の月間の記事数の推移(2022年8月-2024年3月) *A Seriesのデータベースの「生成 AI」「ChatGPT」を含む日本語の記事数を集計 6141 記事
2024年3月
© 2024 Stockmark Inc. 「生成AI」の月間の記事数は1年で12倍、1年半で220倍に増加 6141 記事 2024年3月 546 記事
2023年3月 *A Seriesのデータベースの「生成 AI」「ChatGPT」を含む日本語の記事数を集計 28 記事 2022年8月
© 2024 Stockmark Inc. 画像生成AIから始まった生成AIの波が、ChatGPTで急加速 2022年8月 Stable Diffusion公開 2022年11月末 ChatGPTリリース
*A Seriesのデータベースの記事を引用
© 2024 Stockmark Inc. 生成AIの技術革新と社会実装、政策立案が並列で進展している 2023年3月 GPT-4発表 2023年12月 生成AI10原則検討開始 2023年11月
GPTs発表
© 2024 Stockmark Inc. 本日の内容 ・A Seriesで見る直近1年間の生成AIの進展 ・ストックマークのLLM関連の取り組み ・LLMのプロダクト活用で直面した課題と解決策
© 2024 Stockmark Inc. ストックマークのLLM関連の取り組み Research コード・ レッドで LLM開発 LLM活用を
試行錯誤 Product
© 2024 Stockmark Inc. ストックマークのLLM関連の取り組み:コードレッドでLLM開発 1年前のストックマーク全社MTGでのトップメッセージ
© 2024 Stockmark Inc. ストックマークのLLM関連の取り組み:コードレッドでLLM開発 5-7月 Research のLLMユニッ ト設立 産総研と生
成AIの共同 研究開始 GPTを活用 した検索ワー ド拡張機能リ リース 8-9月 14億LLM公開 10月 AWS「LLM開 発支援プログ ラム」採択 130億LLM公開 11-1月 GPTを活用し た検索結果の 要約生成機能 リリース 2-3月 NEDO「ポスト 5G情報通信 システム基盤 強化研究開発 事業」採択 検索ワード拡 張と要約生成 の継続改善 4月 理研「LLMの ための日本語 インストラク ションデータ作 成プロジェク ト」参画 2023年 2024年 独自LLMとナ レッジグラフ を活用した PoC開始 Stockmark Labsを開始 ⚫Researchの取り組み ⚫Productの取り組み 1,000億LLM 開発中 独自LLMを活 用した社内情報 検索・要約生成 機能開発中
© 2024 Stockmark Inc. 5-7月 Research のLLMユニッ ト設立 産総研と生 成AIの共同
研究開始 GPTを活用 した検索ワー ド拡張機能リ リース 8-9月 14億LLM公開 10月 AWS「LLM開 発支援プログ ラム」採択 130億LLM公開 11-1月 GPTを活用し た検索結果の 要約生成機能 リリース 2-3月 NEDO「ポスト 5G情報通信 システム基盤 強化研究開発 事業」採択 検索ワード拡 張と要約生成 の継続改善 4月 理研「LLMの ための日本語 インストラク ションデータ作 成プロジェク ト」参画 2023年 2024年 独自LLMとナ レッジグラフ を活用した PoC開始 Stockmark Labsを開始 ⚫Researchの取り組み ⚫Productの取り組み ストックマークのLLM関連の取り組み:LLM活用を試行錯誤 1,000億LLM 開発中 独自LLMを活用 した社内情報検 索・要約生成機 能開発中
© 2024 Stockmark Inc. ストックマークのLLM関連の取り組み 5-7月 Research のLLMユニッ ト設立 産総研と生
成AIの共同 研究開始 GPTを活用 した検索ワー ド拡張機能リ リース 8-9月 14億LLM公 開 10月 AWS「LLM開 発支援プログ ラム」採択 130億LLM公 開 11-1月 GPTを活用し た検索結果の 要約生成機能 リリース 2-3月 NEDO「ポスト 5G情報通信 システム基盤 強化研究開発 事業」採択 検索ワード拡 張と要約生成 の継続改善 4月 1,000億LLM 開発中 理研「LLMの ための日本語 インストラク ションデータ作 成プロジェク ト」参画 2023年 2024年 独自LLMとナ レッジグラフ を活用した PoC開始 Stockmark Labsを開始 ⚫Researchの取り組み ⚫Productの取り組み 独自LLMを活 用した社内情報 検索・要約生成 機能開発中
© 2024 Stockmark Inc. 本日の内容 ・A Seriesで見る直近1年間の生成AIの進展 ・ストックマークのLLM関連の取り組み ・LLMのプロダクト活用で直面した課題と解決策
© 2024 Stockmark Inc. LLMのプロダクト活用で直面した課題 生成AI技術の 不確実性 ユーザー価値 の不確実性 モデルの想定外のふるまい
にどう対応するか ユーザーにとって価値のあ る体験をつくれるか
© 2024 Stockmark Inc.
© 2024 Stockmark Inc. 探索 解決策 モデルの ベンチマーク 評価・改善 ユーザー価値
の不確実性 ユーザーにとって価値のあ る体験をつくれるか
© 2024 Stockmark Inc. 解決策:モデルのベンチマーク評価・改善 No 質問文 (Question) 要約結果 (Answer)
要約元テキスト (Context) 回答あり 引用の正確性 (GPT-4評価) 理由 (GPT-4評価) 出力形式の忠実性 (人手評価) 回答の最低品 質の担保(人手 評価) 0 日本の総合化学メー カーを3社答えてく ださい。 三井化学[index:0] 三菱ケミカルホール ディングス [index:0] 住友化学[index:0] ... 1. 『えきPET吸音材』の概 要 ・ 駅で回収したペットボト ルをリサイクルした吸音材 を開発し... 1 0 要約はソーステキストを誤っ て表現しています。ソーステ キストには、日本の総合化学 メーカー3社についての言 及はありません... 1 1 1 日本の人工知能のス タートアップ企業を1 社答えてください。 日本の人工知能のス タートアップ企業を1 社答えることができま す。 Fotographer AI株 式会社がStability AI... [0] 生成AIによる商品写 真自動生成サービス 「Fotographer.ai」を提 供するFotographer AI 株式会社... 1 1 要約はソーステキストを歪め たり、誤解を招くような表現 をしていません。 Fotographer AI株式会社 がStability AI Japan株 式会社の... 1 1 ※各評価指標は Ragas 等を参考に設定 ビジネス情報に関する質問50問(Stockmark Business Questions)に加えて、キーワードや英語、回答 できない質問など50問、計100問のベンチマークを設定して、回答品質をGPT-4、及び人手で評価している GPT-4の評価も間違えることがあり、評価の仕組みは今後も改善が必要
© 2024 Stockmark Inc. 機能の コンセプト 検証 高速化 解決策 モデルの
ベンチマーク 評価・改善
© 2024 Stockmark Inc. 解決策:機能のコンセプト検証を高速化 生成AIを活用した実験的な機 能を提供するStockmark Labsを既存ユーザーに公開 事業開発・デザイナー ・Researchを軸とした探索
チームを組成してPoCを推進 機能コンセプトをつくり顧客ヒ アリングして具体化 段階的にリリース
© 2024 Stockmark Inc. まとめ • 生成AIの技術革新と社会実装、政策立案が進展する中、LLM開発とプロダ クト活用の両輪で取り組んだ1年間だった • LLMのプロダクト活用においては、生成AI技術とユーザー価値の不確実性
に対処するプロダクトマネジメントに取り組んだ • プロダクトチームでの機能検証・開発だけではなく、事業開発・デザイナー ・Researchを軸とした探索チームやStockmark Labsという実験場を整 備したことで、既存ユースケースの強化と新規ユースケースの探索を両立す ることができた
© 2024 Stockmark Inc. 今後の展望 https://youtu.be/bc6uFV9CJGg?t=3936&si=S70SzzdGfO6n2WCq アプリケーション固有の機能が差別化されている限り、モデルをオープンソースにしてもプ ロダクトはコモディティ化せず、コミュニティから恩恵を得られる。 モデルそのものがプロダクトになる場合は、それをオープンにするかの経済的判断はより難 しくなるが、現時点ではその状況にはない。ーMark
Zuckerberg プロダクトを中心として、LLM開発と プロダクト活用の両輪の取り組みを継 続して、差別化を追求したい
© 2024 Stockmark Inc. ストックマークはAI/LLMをキーワードに全方位で採用強化中! • 正社員に応募したい・カジュアル面談してみたいなど、興味を持っていただいたらお 気軽にご連絡ください! ◦ 採用サイト:https://stockmark.wraptas.site/
• 募集ポジション ◦ 顧客体験価値を創出するプロダクトマネージャー ◦ AI / LLM領域の開発を担うプロダクトマネージャー ◦ LLM / RAGを用いた検索基盤の設計、開発をリードするシニアバックエンド ◦ マルチモーダルのコンテンツ抽出のアルゴリズム開発を行う機械学習エンジニア ◦ LLMを構築する自然言語処理リサーチャー
5/8 生成AIカンファレンスでお会いしましょう! 11:20〜のセッションにて、1,000億LLM開発をリードした近江が登壇します
© 2024 Stockmark Inc. https://stockmark.co.jp/