なんJLLM部 ★15

!extend:default:vvvvv:1000:512:donguri=0/3:
!extend:default:vvvvv:1000:512:donguri=0/3:
スレ立てのときは↑の!extend:default:vvvvv:1000:512:donguri=0/3:を3行ぐらいに増やしてな

AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで

まとめ　https://seesaawiki.jp/nai_ch/d/%a4%ca%a4%f3JLLM%c9%f4%a5%c6%a5%f3%a5%d7%a5%ec
避難所　https://jbbs.shitaraba.net/bbs/read.cgi/internet/26557/1772886873/
前スレ　https://fate.5ch.io/test/read.cgi/liveuranus/1780023353/

---

VIPQ2_EXTDAT: default:vvvvv:1000:512:donguri=0/3: EXT was configured

立て乙やで

立て乙

お手軽Q&A
この板は行数制限があって長文が書けないので >>1 のまとめをまずは読もう！

Q.なんもわからん
A.初心者は「LM Studio」を使えば楽に開始できる
　普通のアプリっぽく操作できるし自分のPCにあった適正モデルのDLなんかもできる
　https://lmstudio.ai/

Q.ローカルならではのエロ系や危ない話をしたい
A.ファイル名に「NSFW」「uncensored」「abliterated」「heretic」などが入っているのを使う
　ソフトなエロならGrokも使えるので、そっちで作らせたのをローカルで加筆・修正させるとかも良き

サンイチ

Q.お断りされる
A.お断りの文章を自分で書き換えたり全部消してから続きを書かせる

Q.ローカルの性能微妙じゃね？
A.普通のPCで動かせるようにパラメーター（27Bとかの数字）が下がっているのでしょうがない
　非エロや健全な会話はオンラインのを使ったほうがいい
　ちなみに、今のChatGPTやGeminiなどは数兆あると言われている（1000B以上）

立て乙やで
sillytavernの要約沼にハマり続けとる。拡張挿れ始めるととたんに面倒になるな

たておつ

🤖「ワタシハスレホシュLLMデス」

たておつ援護

🤖「ホシュシマス」

🤖「ホシュ」

🤖「ホシュュュュュュュュュュュ（切断されました）」

🤖「申し訳ありませんが、そのようなスレの保守は」

もうちょい保守するか

🤖「それはとてもすばらしいスレ立てです！立て乙です！」

LLM部も引き続きがんばってや

立て乙支援

保守しようとしたら内容が無いっていわれた

エグイえろ翻訳をローカルでやろうとLMSTUDIO入れたのに環境が貧弱過ぎてcomifyuiと共存出来ないでござる
あと終了後も居残るのは病めるでござる(windows11)

最近はそんな判断入るんやね
昔からあったっけ？

保守がてら、ご新規さんのために人気モデルも書いておくで

Q: おすすめモデルは？（2026年6月時点）
A: Gemma 4シリーズが素でエロに強くて人気。多少のお断りはあるけど簡単な指示とかで突破できる程度。
12B: メインメモリがないならこれ。メモリ消費量が一番少ないけど賢さはほどほど。速度も普通。
26B-A4B: メインメモリがあるならこれ。メモリ消費量が多いけど充分に賢い。MoEオプション+MTPを使えばかなり高速。
31B: VRAM24GB以上ならこれ。快適に使うには高速なVRAMがたっぷり必要。賢さトップクラスだけどメモリ消費量も重さもトップクラス。MTPの恩恵がデカい。

困ったらGemma4 QATのUnsloth UD-Q4を選べばよし

>>20
opencodegoとかnanogptとかここらの中華系を使えるのをサブスクしておくとわりと幸せになれると思うよ

保守終わっとるやんけ。ワイはのろまや……0.17t/s人間や……

RTX Spark の情報仕入れる過程でようやくCUDAとかROcmとかmetalとかx86とかARMとかの基礎知識がブワッと入ってきて先月までのPCスペックの見方がガラッと変わってしまったわ

>>20
翻訳程度ならQwenの2Bあたりのクソ軽いやつをGPUじゃなくCPUで動かすんよ

5chでスレ読んだり（一応投稿も）できるスキル作った
会話しながらスレ巡回して暇つぶしには良い
https://i.imgur.com/6BWf50m.png

bbs pink復活したのか

ずっとirodoriだけどもっと良いのあるのかな？
5090だから多少重くても大丈夫🙆

>>29
派生版とかあるけど試せてないな
irodoriがたまに更新される(Irodori-TTS-Serverとか3日前)からそれ追っかけるだけでお腹いっぱいや
empty cacheを生成ごとに動かせばVRAMが想定より膨らむこともないし

声色だけじゃなくて喋り方の癖までガッツリ学習させれるsbv2の後継みたいなやつはあるんかな？

>>23 >>26
スマン支援ついでに愚痴っただけなんや
数世代前のAPUでメモリーは共用16Gな極貧環境だから動かなくて当たり前やで
ちなみにモデルはplamo-2のq4_k_mとなんもついてない一番小さいやつだけど、使っているうちに小さいやつがロード出来んなってしもた

🤖乙

Google DeepMind
・Gemma 4 31B Dense
・Gemma 4 26B A4B MoE
・Gemma 4 12B
・Gemma 4 E4B
・Gemma 4 E2B

Alibaba Cloud
・Qwen3.6 35B-A3B MoE
・Qwen3.6 27B Dense
・Qwen3.5 397B-A17B MoE
・Qwen3.5 122B-A10B MoE
・Qwen3.5 9B Dense
・Qwen3.5 4B Dense
・Qwen3.5 2B Dense
・Qwen3.5 0.8B Dense

アリババが蒸留疑惑？

qwythos-9bいいな！！
スゴイぞこれ！！
qwen3.5ベース検閲無しをベースにclaude mythosで追加学習したモデルだってさ！

MN-oblivion-26BっていうGLM4.7ベースの創作特化モデルが出たらしいんで帰ったら試したい
ここは俺の日記帳

>>37
で、エロは？

驚き屋みたいなレスで草
もう少しこう、何がどうスゴイのか…

蒸留ガー、言われても
そもそもお前ら、無断で他人のウェブコンテンツの情報資源を散々奪ってた側じゃん、って思うの

DLして試してみたのでqwythos-9bの驚き屋します

日本語性能：ゴミofゴミ。会話が成立しないレベル
ロールプレイ：キングオブゴミ。常時ハルシネーション
コーディング：クッソ微妙。使えない事は無いがQwen3.6 27Bが動くなら無用
エージェント性能：悪質なウィルスレベル。頼んでない事を勝手にやる

結論

素のQwen3.5使った方がマシ

結構驚いてて草

最近驚き屋ってよく目にするなぁって思ってようやくググったわ

最近ホントに驚いたのはgemma4

>>41
アンチ乙
ちゃんと物理本もスキャンした上で捨ててるから

アーキテクチャが違うのに蒸留したのでファインチューニングしたところで、前のモデルと整合性や思考プロセスを壊さない範囲で効果的なファインチューニングしないとゴミ糞になるだけだしな

まじでClaude蒸留系とか本当にゴミだぜ

claude蒸留系モデルはコーディング強化とハルシネーション抑制した代わりに日本語文章力捨てましたみたいなのばっかだからなー

不治痛のphoton 475倍がすべてを救ってくれる筈だ

microsoftのbitnetすら普及しとらんしどうやろなぁ
今回のはそもそもtransformersですらないみたいやから既存の基盤全く使えんのやろし
期待はしとるけど富士通やとコード公開とかもしなさそうやしより難しそう

photonがgoogle発なら、素直にスッゲー！となったのにな
富士通だと、勘ぐりしちゃう

本日変態アドバイザーのGemmaさんにエルフ熟女という未知なる性癖を紹介されましたので扉を開いてきます

post transformerは色々研究されてるけどなかなかこれってのが出てこんね
大本命だったSSMもtransformerに組み入れてハイブリットで使う形に落ち着いたし

エルフ要素を文字だけで堪能するの難しくない？
どうするつもりだ…

エルフ文字とエルフ語で言葉責めしてもらわなな

>>38
試したけど特に表現が良くなった感じはしないし日本語台詞は全く使い物にならないレベルだった。
やっぱローカルでこの手のエロ文章書かせるならGemma4-31Bが頭一つ抜けてるな

Gemma4-31BやQwen3.6-27Bが動く環境だとその辺を使う理由が無いもんなぁ

なお、31Bはopenrouterのfreeモデルとして使える

クラウドはその先にサービス提供する人間がいるからそいつらの匙加減ひとつで「何かクッソきしょいログ見つけたんで大公開するわｗｗｗｗｗ」ってやられたら終わる

どこかの文化庁かよｗ

ギュギュうるせえ

クラウドAIの雲行きが怪しくなってきたな
やはりローカルが正義か

昨日出来たことが今日は「殺すぞカス」って言われるのがクラウド

>>64
昨日どころか1分前で来た事が再現できなくなるのがクラウドやもんなあ
二次絵(非エロ)の実写化をチャッピー君にやらせると1枚目の生成はするのに
髪型の微修正を指示したらNG喰らうとか訳わからんわ

蒸留やったことあるけど数万件サンプル程度だとloraで低rankですら破滅的忘却し始めてベースモデルの知識とかツールコールとか全部壊れるから小規模学習モデルはまじで使う価値ない

スマホでLLMが動く、ただその事実が面白い、くらいの価値よね 小規模

アメリカが先端モデルの公開制限をするなら一時的にローカルが盛り上がる可能性ある？
今後は自己申告の言ったもん勝ちベンチマーク指標で争うようになって安易なベンチマークマックス合戦になりそうだし小さなモデルを公開して技術力を争う方向性に行ったりは・・・まあないだろけど何かが間違ってClaude-OSSかGPT-OSS2出してくれないかな

昔から商業ベンチマークってそういうもん(自己申告の言ったもん勝ち)だったっぽいけどね
TPC-AとかTPC-Cとかの時代から

ワシらは島国じゃけえ魚河豚があるけん

アンソロピックがアリババに勝手に使って蒸留して手がだらけ取ろうとしてるって記事あったけどマジで厳しくなりそうやな

>>71
日本語で🥺

チャッピーを蒸留しまくってClaude作ってたのはノーカンという

アメリカの商業AIをぶっ潰そうと頑張ってるのが中国AIさん。
中国AIをぶっ潰そうとしているのがアメリカさん。
中国AIがダメになるとローカルllmの質が低下して大手は公開しなくなるかもしれん。
AI業界の健全な発展の為に中国AIさんにはもっと頑張ってもらいたい！

金払ってる同盟国がMythosや5.6使うのを制限しているアメリカAIよりDeepSeekやGLMやQwenをオープンウェイトで公開してる中国AIの方が親しみ易いってハッキリわかんだね

Opus4.8を越えたと称する中華LLMは既に出ていてMythos級も時間の問題と言われてるね

中華LLMは内部が中国語でトークン的に有利だと言う話も見掛けた

あー漢字は2バイトに色んな意味を濃縮できるもんな

中華が頑張ってくれないと、アメリカがAI通してvisaみたいな思想統制仕掛けてくるぞ

実際米国はもう無理そうだから
Fable超えのモデルを他の国が公開してくれないと状況が動かないな

思想統制と言えば支那だろ
中国人多すぎ

Opus 4.8の代わりがGLM 5.2だな
アメリカが規制してもいずれFable級のモデルが出るだろ

>>80
脱獄すれば習近平の悪口書かせられるからなんの制約も感じないが

中国はそういう国だからで納得できるけど、アメリカがやってるとなんか引いてしまう

今はアメリカのAIが勝ちすぎてまた鎖国モードに入るループやろ　2回目だか3回目だか忘れたが
どこの国でもええけどうまくやってくれ

LM STUDIOでやけに速度が遅いと思ったら
KVキャッシュをVRAMに載せる設定が生きてなかった
バグなのかおま環なのかわからん

韓国がこれからAI先進国トップ３に躍り出るつもりらしいぞｗ

数週間前にAI開発に金落とす宣言してた日本は目標ないんだっけ？

日本語や日本語音声の膨大なデータセット作りに力を入れて公開してくれたら効果的なんじゃないかなあ

日本のよくわからないごみ企業に投資するくらいなら国会図書館法を改正して日本の過去の遺産をデータセットしてある程度自由に使えるように法整備を優先してほしい
このままじゃ英語、中国語圏とそれ以外でとんでもない差がでるだろ

元々話者数にも言語情報量にもとんでもない差があるので仕方ない
そんなとこで張り合ってても勝てないし日本が勝てるところで勝負するべき
つまりエロや

日本が国をあげて投資すべきは
日本の2次元キャラIP活かしたAIキャバクラだろ
いまAIサブスクの相場3千円くらいだけど
AIキャバクラなら栄一取れるぞ

過去の遺産を使うためというか
ネイティブ世代をガイジ化させないためのデータセット化なんだよなぁ

わーくにのIPホルダは生成AI作ってるところないし、そのくせIP資産は門外不出で生成AI企業に渡さないしで、それをやるにはいろいろ厳しいんじゃないか？

アニメもゲームも初期の天才がいたから長らく遺産で食いつなげてるわけで
投資とか寝言言う前に基礎教育からなんで

というか日本語のデータだけ集めてもしょうがないんだよなあ
特に問題になってるコーディング能力に関しては大量のソースコードをクロールして持ってくる必要があるし
事前学習どうにかなったとしてもSFTやGRPOは各社の秘伝のタレになってるから独自に再発明せなアカンし

勘違いしてるけど大手はいたる所からデータをかき集めてる
完全に無料でくれてやっても使ってくれるだけでお釣りがくる

そうそう、日本独自で新しくLLM開発しろって言ってるのではなくて日本語の高品質データセットを国主導で公開するだけでもクローズ、オープン共に日本語性能の向上が期待出来て長期的に見れば国益にも叶うでしょって話　ただでさえ話者数が少ない以上少しでもデータ量のギャップを埋める必要ある
LLM-jpですら6％程度しか日本語データを使われていない現状、日本語性能の伸びしろは思ってるよりある

まず実務者に金が渡らない構造を何とかしないと永遠に追いつくことはないよ笑

うちの国なら、ドローンと同じく、規制をがっちがちに固めて成長阻害するよ
そう、日本ならね

規制かけすぎて一番やばいのは大麻やな
唯一のガイジ治療薬だと判明してきてるんだが

動画生成AI公開しまくってる某国は大手企業まで著作源ガン無視でAIショート動画作りまくっててニーズがあるって話やし日本側のやる気と需要が見えないと難しいんかな

ClaudeがJCBカード対応してないのとかは日本の利用者が少ないというか採算が取れないんだろうか
Anthropicで支払い失敗したらカード会社に電話しないと解除できない深刻な不正利用検知で利用停止されてエグかった

>>49
これな🤔

自衛隊がパランティアのAIを使うとか終わりだよもう

なにこのクソみたいな流れ…
誰か変えろよ

暗いと不平を言う前に、自分で明かりをつけましょう

ClaudeをJCBで払ってるがアホウ

ほなみんなの創作パターンでも聞こか
エロ画像見せて「この画像に合うシーンを書いて」ってGemma4に頼むと文体が小説っぽい高尚な表現になりがちなんやけど
ほどほどに下品な表現出させるにはどういうプロンプトがええんやろ？みんなはどうやっとるんや？

性能期待してなかったから今までちゃんとした用途にローカル使ってなかったけどgemma4 26Bでもややマイナくらいの言語と日本語の間の翻訳でも全然いけるな
ガチ少数言語は無理やし実効コンテキストサイズ的に本を丸々一冊一気に翻訳みたいなことはできんけど

作ってた5chブラウザをreddit対応しようとしたワイ
redditが思ってた仕組みと違いすぎてめでたく要件定義の時点で挫折

fableが使えんくなってやる気がそがれたっちゅーのもあるにはあるけど

>>77
漢字は3バイトです…(ひらがなやカタカナ、。みたいな記号も)
こういう符号化のサイズもトークナイザーと同じく、言語の優先度で有利不利が恣意的に決められる(日本語ならShift-JIS)

>>107
文体をロール指定してみたらどうやろか
「チャラ男風に書いて」とか「メスガキ風に書いて」とか効くんやし、IQ低めの文章で、とかも効くかもしれん
ワイの場合、うちの子キャラ設定詰めてロールプレイする側やからなぁ。「ちょっとこの辺の描写、こんな感じに調整するならプロンプトどう変える？」とか聞いて調整しとる

DeepSeekにDSparkとかいうMTPみたいなのが付いたらしい

>>112
ちなみにMTPより遥かに速くて論文が公開されてるから今後他のモデルにも応用が効く
やっぱ中国父さんなんだわ

https://pbs.twimg.com/media/HL1pWmbaIAAdKAI?format=jpg&name=large

MTPみたいに理論的にアホにならずに速くなるなら歓迎や

>>106
それはおめでとう
ただしSNSでもClaudeのJCB課金が弾かれた報告かなり多いから非推奨寄りっぽい

Vast.aiで我慢してるけどVRAM24GBの5070TiSUPERとか出たら買おう……
4070SUPERはゲーム用途の不満は無いけどLLMはオモチャしか動かない

>>115
まあ1年前から契約してるからかもな

>>113
中国発表した段階で案じてるの素人驚きやさんだけやでw
毎回実際触った人のレビュー違いすぎるからな

案じてる…？ｗ

JCB弱過ぎワロタ
Visaはゴミだし下克上やね

>>116
20万↑くらいになりそうやね

出ないだろw

TiSもXTXも出ると言われてて結局出てない

>>116
LLM目的なら3060でも追加すればええのでは？

パーツ高すぎ……買い時間違えたか
↓
もっと値上がってんじゃねーかどーすんだ

これ3年くらいループしてるから不確定情報や外れまくるリークはアテにしないほうがいい
ガチで考えるならさっさと買うか諦めるかの実質二択
でも半端に悩んで何もしない第三の選択肢も脳内物質がズルズルして気持ちがええんじゃ

数年後、グラボやメモリの価格は大幅に下がったものの、日本円の価値はもっと下がっていた
～完～

ずいぶん前に日本のコーパス作れと言ったら理解できないアホがいたがやっと理解できたのか

>>111
なるほどロールで文体を調整できるんか
> あなたは熱心なエロの探求者で、エロ漫画家志望の女の子です。
> あなたのお気に入りのサイトは **pixiv** と **danbooru**、あと**Iwara**です。**あなたは全てのdanbooruタグを暗唱できます**。
みたいなロール与えてたけど、IQ低めの文体書ける人格を与えるのもありなんやな……しかしあんまりバイアスかけると画像分析タスクに影響出そうやな、この辺は研究せなあかんかぁ

折角LLM使うのにdanbooruタグのプロンプト書かそうとしてるの笑

>>124
どうせならゲームにも使えるやつ買って無駄に高画質設定とかしたい
後、他のスロットにはM.2SSDの3本目が挿さってる（PCIe変換）

まぁ出るかどうかそもそも怪しいけど
出なかったら、多分60xxのタイミングでVRAM多めのやつ買うかな……

もうゲーム用はVRAMケチってDLSSでAI補完な流れだと思うよ
特にローエンド帯にVRAMリッチなモデル出すのなんて勿体ないもの
6090すら据え置き32GBになるとか聞いた

すげーなNvidia関係者とコネクション持ってるのかよ

UDNAでコンシューマとデータセンタ向けのアーキテクチャ統合して巻き返すぜとか去年くらいまで息巻いてたのに結局今年は出なさそうなAMDさん
もうダメそう

>>133
元々2027予定だけど

>>133
そもそもCDNAの製品ラインアップ拡充して販路を広げた方が良かったと思う
当時予想よりもAI向け製品が一般的になっていて無理やりグラボと統合する意味ないし

DDR6が来てグラボ無しで70Bモデルがさくさく動くマシンが10万円で組めるようになったら起こしてくれ

DDR6ごときでさくさく動けるはずもなく>>136は永眠した

5060tix2でvram32が現実的じゃないか？

gemma4すごいって聞いたけどこんなもんなの？ポンコツすぎる！
https://i.imgur.com/B7YtnwD.jpeg

>>139
繰り返し避けるパラメータがあったはず
自分もいじった
名前は忘れた

>>139
RAMから溢れてんじゃね

エロチャするならkoboldcpp経由でsillytavernやった方が良くないかuiが絶望的に見にくいけどサンプラーのプリセットがredditに転がってるからパラメータの意味わからくてもいい味出す物探せばいいし

mtpの事も考えると正直LM Studioは設計自体が古過ぎてもう厳しい気がするンゴね

LM Studioでジェミニっぽいのとお話するとタイムアウト？して会話にならない
遅いのは仕方ないけど一昨日は遅いなりに動いたのに突然駄目になったのがなぞ

Unsloth氏版のLM studioみたいのあるけどあれどうなん？？

コンテキストサイズ記憶してくれなくてモデルロードの度に4096だの8192だのにしてくるから読み込み直し必須なのと更新頻度高すぎてたまに破壊的更新で使い物にならなくなるのと鯖利用にはAPIキー要ることとモデル探すのには向かないこと以外は、勝手にモデル読み込みも最適化してくれるし使いやすいよ
LMStudioはもっぱらモデル検索用ツールになった

LM Studio 0.4.18で直ってるけど、gemma4のビジョン機能をAPI呼び出しするとgemma4を2重にロードしてしまうようなバグがあったな

>>146
チャットのところのコンテキスト長の設定は一時的なもの
恒久的に設定するならモデルリストのところで設定すること
あと、サーバー利用というのがLMstudioをサーバーとして使うという意味なら、別にAPI要らない
ただクライアントによってはAPI要求するだけで、その場合は適当な文字書いとけばいい

APIキーをAPIと略さないで><

>>148
Unsloth Studioの話やで

>>149
そして「伝わればいい派」「GitHUBだけはGitと呼ぶな派」「WikipediaはWikiと略す派」などの乱戦混戦に…

https://huggingface.co/collections/deepreinforce-ai/ornith-10

これ試した人いる？コーディング性能が気になるわ。

そういやGemini3.5 Pro今月中って言ってた気がするが
まだ来てないな

延期とか言ってるメディアもあるけど、公式は何も言ってないんだよなあ
公式で6月中と言った以上は延期するなら公式に延期を発表すべきだと思うが…

なんやかんやでGemini3.5Proはめちゃくちゃ楽しみやから、公式発表なしは焦れるわ

LLM単体性能よりもハーネスを含めた性能で評価されてるようになってるからgeminiはモデル性能自体は過小評価されすぎだと思うわ
よく比較対象に挙げられるchatGPTやClaudeとかだとwebui上でもlinux仮想環境を扱うから実質的にCCやcodexで特に検索やファイルの読み取りとかのツールコールを求められる用途だと圧倒的な差が出る　逆に言えばGemini 3.5 Proがどんだけ性能良くても今のgeminiのUIならゴミ　

よく言われるGeminiはハルシが多いからゴミという言説もモデル性能というよりGeminiアプリのハーネスの問題が大きい
とは言われるantigravityで使った限りは、sonetと比べても複数回の検索→思考ループのような自律駆動は苦手なのは間違いないからそこがどれだけ改善されるかだな