Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LLMをやめよう / stop using LLM
Search
Naoki Kishida
July 05, 2023
Programming
11
13k
LLMをやめよう / stop using LLM
2023年7月5日に開催されたLLM Meetup Tokyo #3でのLT資料です
https://lu.ma/llm-meetup-tokyo-3
Naoki Kishida
July 05, 2023
Tweet
Share
More Decks by Naoki Kishida
See All by Naoki Kishida
Java 22 Overview
kishida
1
220
Is Object-Oriented nessesary?
kishida
0
51
オブジェクト指向は必要なのか / Is object-oriented needed?
kishida
31
22k
AI時代を乗り切る実装力をつけよう / Get avility of implementation beyond AI era
kishida
2
4.7k
AI時代を生き抜くために処理をちゃんと書けるようになろう / write a executable process for AI era
kishida
23
14k
Javaは今どうなっているの? / how about java now
kishida
14
19k
動くコードを書こう / let's code a process
kishida
24
7.2k
Java 21の概要 / outline of Java 21
kishida
10
6.1k
エンジニアはLLMとどう付き合うか / How engineer get along with LLM
kishida
19
14k
Other Decks in Programming
See All in Programming
GNU Makeの使い方 / How to use GNU Make
kaityo256
PRO
13
4.4k
otelcol receiver 自作RTA / Pepabo Tech Conference #22 春のSREまつり
arthur1
0
1.1k
Porting mruby/c for the SNES (Super Famicom) - RubyKaigi 2024
gedorinku
0
510
Findy - エンジニア向け会社紹介 / Findy Letter for Engineers
findyinc
2
74k
TypeScriptとGraphQLで実現する 型安全なAPI実装 / TSKaigi 2024
hokaccha
5
2.9k
Implementing Design Systems in Swift
seyfoyun
2
530
Direct Style Effect Systems The Print[A] ExampleA Comprehension Aid
philipschwarz
PRO
0
410
Using "modern" Ruby to build a better, faster Homebrew
mikemcquaid
2
300
Upgrading Legacy to the Latest PHP Version
afilina
PRO
0
100
TypeScriptで使いやすいOpenAPIの書き方
yukimochi_dwango
1
970
Unlocking Potential of Property Based Testing with Ractor
ohbarye
2
630
TSKaigi 2024 - 新サービス Progate Path の演習で TypeScript を採用して見えた教材観点からの利点と課題
makotoshimazu
1
230
Featured
See All Featured
Why Our Code Smells
bkeepers
PRO
331
56k
VelocityConf: Rendering Performance Case Studies
addyosmani
321
23k
The Cost Of JavaScript in 2023
addyosmani
21
4k
From Idea to $5000 a Month in 5 Months
shpigford
377
45k
The MySQL Ecosystem @ GitHub 2015
samlambert
244
12k
Bash Introduction
62gerente
605
210k
KATA
mclloyd
16
12k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
126
32k
How GitHub (no longer) Works
holman
305
140k
Designing for humans not robots
tammielis
247
25k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
67
14k
Clear Off the Table
cherdarchuk
86
310k
Transcript
2023/07/05 1 LLMをやめよう 2023/7/5 LLM Meetup Tokyo #3 LINE Fukuoka
きしだ なおき 酒のネタになりそうなブログまとめ
2023/07/05 2 自己紹介 • きしだ なおき (@kis) • LINE Fukuoka
• 「プロになるJava」デテマス
2023/07/05 3 ChatGPTには感情があるかも? • そんな仕組みになってない? • 人間の役に立つよう強く躾られている • 難しいタスクが達成できると言葉が多くなる •
人間が非協力的でタスクが達成できないと 言葉が少なくなる • 塩対応 • 知らないことを聞かれると、知ってることで 言葉を埋める • これらが「感情」をもつように見える • 「感情」の定義次第といえるところまではきている
2023/07/05 4 大規模言語モデルは庶民的になる • コンピュータリソースや学習データなどから大規模かが難しい • GPT4で要求がだいたい満たせるので、そこまで需要がない? • 庶民的になる •
手元で動かしやすくなる • カスタマイズして手元の要求を満たす • もし大規模化しても、推論能力が あがるのではなく、人情がわかるようになる • 「解決方法じゃなく共感が欲しいんや」に 対応可能に
シンギュラリティは来ない • シンギュラリティ • =人工知能が自己発展することで技術発展が指数関数的に加速する • ロジカルに実現していることが前提 • 「AI」の学習に半年くらいかかるので加速しない •
データセンター拡張など ハードウェアの構築が必要 • なんだかんだ80億人いる人類にかなわない • 電話やインターネットのほうが 加速したのでは
LLMの「脳波」を観察してみる • GPT2モデルの全結合層の出力を保存 • CelebrasGPTを使用 • 英語の対応と日本語の対応で反応が強い部分が違う
LLMを壊してみよう • 「脳波」がとれたらそこを壊したくなるよね • 日本語対応で反応した部分をゼロリセットすると日本語がしゃべ れなくなる • 英語はしゃべれる • 英語対応で反応した部分をリセットしても
英語しゃべれる • 英語は学習量が多いので壊れにくい?
Function Callingでツールの操作 • Function Callingが出たのでツールの操作に使ってみる • 結構いい感じに操作できた
GPTで英語の勉強を手伝ってもらう • 日本語を渡して、レベルに応じた英文と難しい単語、理解度 チェック問題をつくってもらう • Function Callingが返すJSONがパースできない問題 • GPTに投げ直すのはコストが高い •
自力でパースして解決
LLMを使わずに自然言語でツールを操作 • ちょっとしたツール操作でGPT使うのはおおげさ • 格フレーム文法で雑に解決 • LLM使わずにすむならロジカルにやろう • チャットでも応答生成はロジカルに やったほうがよさげ
まとめ • LLMじゃなくても自然言語処理は楽しい