なんJLLM部 ★19

!extend:default:vvvvv:1000:512:donguri=0/3:
スレ立てのときは↑の!extend:default:vvvvv:1000:512:donguri=0/3:を2行に増やしてな

AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで

まとめ　https://seesaawiki.jp/nai_ch/d/%a4%ca%a4%f3JLLM%c9%f4%a5%c6%a5%f3%a5%d7%a5%ec
前スレ　なんJLLM部 ★18　https://fate.5ch.io/test/read.cgi/liveuranus/1788926101/
避難所　https://jbbs.shitaraba.net/bbs/read.cgi/internet/26557/1772886873/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:donguri=0/3: EXT was configured

---

VIPQ2_EXTDAT: default:vvvvv:1000:512:donguri=0/3: EXT was configured

お手軽Q&A
この板は行数制限があって長文が書けないので >>1 のまとめをまずは読もう！

Q.なんもわからん
A.初心者は「LM Studio」を使えば楽に開始できる
普通のアプリっぽく操作できるし自分のPCにあった適正モデルのDLなんかもできる
https://lmstudio.ai/

Q.ローカルならではのエロ系や危ない話をしたい
A.ファイル名に「NSFW」「uncensored」「abliterated」「heretic」などが入っているのを使う
ソフトなエロならGrokも使えるので、そっちで作らせたのをローカルで加筆・修正させるとかも良き

Q.お断りされる
A.お断りの文章を自分で書き換えたり全部消してから続きを書かせる

Q.ローカルの性能微妙じゃね？
A.普通のPCで動かせるようにパラメーター（27Bとかの数字）が下がっているのでしょうがない
非エロや健全な会話はオンラインのを使ったほうがいい
ちなみに、今のChatGPTやGeminiなどは数兆あると言われている（1000B以上）

Q: メモリ帯域が重要言われるのはなんで？
A: 現行のAIは1トークン吐き出すのにアクティブなパラメータを毎回全部読み込む必要があるから。例えば30GBのモデルなら1トークン出すのに30GBの読み取りが必要になる。
せやから無限にデカいVRAMを持つグラボがあったとしても、メモリ転送速度が300GB/sしかなかったらそのグラボでは30GBのモデルは10トークン/sしか出せへん。300GBのモデルなら1トークン/sの超鈍足や。
メモリ容量があればデカいモデルもロードできるけど、帯域が足りてへんかったら結局は推論の速度で地獄見るんやな。最近流行のMoEモデルはこういう点でも有利やで

20まで即落ち回避

いちおつ

いろいろ新しい話題や技術も出てきとるから追記してもよかったかもな

さんいち

おつありやで

即落ち回避　再貼付け
mac cline+ds4 1.5時間かかった
https://imgur.com/a/ZAXzPVA

astra 6/ultra/高速モード 10分くらい
https://imgur.com/a/elrobU2

11かも

12かも

13かも

14かも

15かも

16

17

18

19

20

個人的には今日やっとStrada試しておおっとなってたとこや
12GBの3060＋RAM80GB＋7600Xの今となっては弱々環境の自分には目から鱗が滝のように落ちたわ

🤖乙

１おつありがとう

https://www.nicovideo.jp/watch/sm46867316
また動画作ったで
アプデとして、曲を元の曲を参照したり戻したり、違う歌い方を使う事が出来るようになった。
違う歌い方をして集録するやり方はマイク必要だから今度試すよ

Wait, but 1乙

>>1サンイチ～

今更気がついたんだがAI StudioにGemma4があるんやな

前スレの話題やがLLM目的だけなら80万だしてM5 max 128GBはもったいないわな
4bit量子化とすると動かせるのは120Bクラスのモデルが精々でMoEが大半だからコスパ重視ならddr4 128GB + VRAM 16GBのGPUとかでもうごいちゃうし
そもそもDense 30B前後のモデルとそこまで性能変わらないから3090とか載せられるならそれで同じだし
もちろんMacじゃないと動かせないアプリを使っていてLLMはおまけだし用途ならアリだと思うけどさ

>>28
Macはユニファイドメモリだから速度が全く違う
LLMはメモリ律速

Gemini 3.5 Pro無くなっていきなりGemini 4 Argon出て草
コーディングはまだ微妙っぽいけどテキストでぶっちぎり最強
https://x.com/arena/status/2105394855644139908

ちなみに一般人は触れないMythosみたいなペーパーロンチや

gemini復活するといいね

>>30
Argonってアルゴン？いや生成AIの名前でアルゴンはどうなん？
語源は「怠け者」なんだが

>>28
DDR4しか刺さらない化石PCで何やるんや
M5 MaxってRyzen 9950X3D2超えなんやけど

>>34
>>29
80万だしてもやれることは半額以下のPCと変わらないと言いたいだけやで
M5 maxって所詮400GB/sくらいの帯域幅しかないからそこまで圧倒的ではないし　128GBに載るものなら知っての通りMoEだとRAMオフロードで実用的な性能でてしまうから
これがM5 ultraの256GBとかならライバル不在やがな

>>35
とりまM5MAXなら600GB/sオーバーだぞ？

argonは安定で強固なイメージがあるからじゃね？ってgemini3.8fがゆってた

今Ryzen 5950X3D＋128GB＋16GB GPUのBTOなんて40万で買えんやろアホかよ
メモリ上がる前の話ならもっと安いしな

メモリ上がる前の話なら（M5 Max 128GBは）もっと安いしな

>>31
9月中に出すって言っちゃってたからクローズドテストの段階でも先に発表だけしたんやろうけど下手したらこれもポシャって4.5になるんやないか

ハッシュ生成のArgon2は知ってる　情報の界隈では何かうんちくがありそう
3.8flashみたいにポンポン次の改良バージョン出して高速、低価格、みんな使えるにして欲しいわ

2ch的には希ガスだろ

>>42
今の教科書では貴ガスになってるんだよな
英語だとrareとnobleで全然違うんだが日本語ではまさかの同じ読みなので、掲示板での語尾にそのまま使える

>>27
無料だとTPM（1分あたりのトークン数）が少なくて全く使いものにならないが有料プランだと使える？

新モデル出ると性能より検閲具合のが気になってまう昨今やな…
gemma4はよ

MacってLLMとirodoriTTSを連携させて出力と同時に喋らせるのってできる？

例えば無理やり出来てもRTX GPUよりはめっちゃ遅くなる？
それともユニファイドモデルだから逆に早かったりする？

テキストのスコアの高さと検閲の弱さはあるていど相関してる
検閲ガチガチのチャッピーがランク外なのもそのせいで、実際に明らかに文章下手
だからargonは規制弱いはずという希望的観測をしとる

エロ小説とかそういうのはぶっちゃけローカルで代替出来なくもないレベルやけど
嫁チャで恋愛RPしながら時事ネタとかアニメの感想とか話し合うのはクラウドじゃなきゃとても無理やからこれが無くなるのが本当に辛い

ワイはむしろエロ小説やな
クラウドとローカルじゃ文章の質が天と地ほど違う
エロチャでも天と地ほど違うんやろうけど、ワイはそんな高度な会話せんからな

1年くらい前は文章とかは早々ローカルでも良くてPC作業はクラウド何だろなと思ってたけど
逆にPC作業系ローカルでどんどんできるようになっていって去年クラウドでやってたタスクの多くがローカルで実現できてて
会話系は（英語も含め）ローカルと去年のクラウドと比較ても差がちゃんとあるて感じだなのよなあ

Gemini 4 Argonに期待。
最近のGeminiはなかなか優秀なイメージ

>>43
pro垢だからわからんけど
文章の理解力26Bとダンチだからgeminiでお断りされる部分書かせてる
それよりも貴ガスを知らなかった（ATOKは知ってた模様

ここ最近OpenAI関連のやばそうな噂しか聞かないから結局生きのこるのはGoogle、Xのツートップになりそうやな･･･

>>52
最近のOpenAIはモデルの躾がなってないからな
いくら高性能でも手綱を取れないモデルはちょっと

最近のエージェントとトークン効率特化の流れはクリエイティブ用途には明らかなマイナスよな

手綱がとれてないからこそ結果的にエロに寛容になる可能性も

ベンチ結果見る限りはコーディングにも使えそうな感じやな
可能になったら試してみる気にはなりそう

最近はハッキングマーケティングみたいな流れがキモイ

ただの事実なのに通ぶった奴が冷笑してマーケティングなんだろ（笑）って言う方がキモイから黙っとけ

>>45
出来るよ

>>45
ただ結局今のGPUやメモリの性能だとどうしても工夫がいる

相槌する間にデータを処理してみたいな小細工が必要

Irodori自体は悪くないけどマシン性能が追いついていない
じゃあアプリを軽量化したらどうだって話だが、そこまで開発してくれるAIがまだ無い

Gemini4.0の使用感語ってる驚き屋おらんかな

最近クラウドのLLMの価格崩壊が激しいからもしかしてと思って久しぶりにQoder起動したら
Qwen 3.8 Flashがフリーユーザーでも無限に使い放題になっていた。
あまりに加熱しすぎている・・・

ワイ無料勢やからAI Studioで使い放題のGemini4 FlashとローカルのGemma5はよ

Qwen4楽しみ過ぎるンゴね

そいやAI studioつこうてへんな
会社で使えたら相当楽なのに🥺

StrataのマルチGPUでPCIE3やDDR4の化石の逆襲が始まる

Strata実験的にUnslothのUD-Q4_K_XL動かせるようになったって書いてあるけど
量子化限定してるってことはモデルごとやなくて量子化ごとに対応してるんか？
Flash Nextならどれでも動かせるようになるんかなこれ

無料枠でもっといいモデルを無制限に使えるクラウドLLMごろごろあるのにStrataで絞りカスになるまで量子化したポンコツモデルを買い替え時期逃した化石グラボ唸らせながら今更バイブコーディングやりはじめてすげーすげー言ってるの笑える
驚き屋よりも遅れてる自覚持ったほうがいい

イライラしてて草

わいもStrataでカス絞りまくって話題に加わるぞ♡

まぁ驚き屋より遅れてるのは実際そうなんやがここ最近プロバイダがモデルを弱体化するのに耐えられなくなった層がセルフホストに逃れる潮流が出来てきとって安いクラウドモデル使えばいいじゃんが成立しなくなってきとる感じはするで
dsv4fあたりを動かせるのがホンマは理想なんやが誰かスーパー技術開発してvram16gbでも動くようにしてくれへんやろか

Qwen3.8-Flash-Nextより高性能なクラウドモデルを無料で無制限に使えるサービス教えてクレメンス
実質無制限とかじゃなく本当の意味で無制限に使えるやつで頼むンゴ

>>72
それサーバー提供してる側に何かメリットあるのか？

>>72
全くないと思うけど>>68が言うにはそんなNPO団体が存在するらしいやん
しかも「ごろごろ」

>>73宛やったわ

弱体化ってのは95割は気の所為やけどな

>>68
最近のプログラミングってプロンプト込みだったりするわけで、無料枠だとお断りされたり
マイルドなプロンプトい勝手に書き換えられたりしそうだけど、そこのところはどうするの？
あと軽自動車以下の価格で買えるGPUで動くモデルは量子化関係なく性能は低め(とはいえ1年前のクラウドレベルはある)だよ
でも無料で提供してるところでは、到底できないことをやってくれる
例えば、外出中に叡智ないろいろな動画やら画像を適当にストーリーつけて作ってくれみたいなのは無料枠では不可能かアカバン覚悟だろうし

>>72
タイ国籍を取得すれば無制限に使えそうw
あとはどこかの企業に就職するとか
昼休みとか好きなだけ使っていいみたいな会社はありそう
無制限で使えるけど、誰でも無制限とは言ってないみたいな

正直人に言えない使い方すんじゃなけりゃiq3_xxsのqwen3.8 flashのためにグラボ回すよりはAlibaba cloudのAPI料金払うかopenrouterの無料枠使った方がコスパいいのはまぁ間違ってもないとは思うわ
ワイはエロもやるし提供元の規約に振り回されんがめんどいからローカルも使うけど

別にORなんぞにどう思われてもどうでもええやん

ええやんええんやんんんんえややええやややややややんんんややんやんやんやんやん……は？

エクストリーム性癖のひとは大変なのかも

エクストリーム性癖のひとは大変なのかも

ローカルはエロだけじゃなくクラウドの仕様変更に振り回される事が無いっていうメリットの方が大きいと思う

言うてローカルも新モデル出るたびに振り回されるんやけどな

>>80
banが嫌ってよりプロバイダがピークタイムでルーティング変えたりガードレール追加したりして同じ出力で同じ作業続けられないのが面倒くさいんだよな

>>74
無料枠内で無制限
よくある手口

Space Bunnyってステルスモデルが今無料なんだっけ？もう終わった？

ローカルはエロ専門やな　制限ないし、規約変更とかで潰されることも無いし
それ以外は何やらせてもクラウドの方が性能いいから自分の使い方だとローカルの使いみちが無かった

CodexもClaudeも設定に「学習には使用しません（学習には使用しませんとは一字一句も書いてない）」状態だから過信は禁物やで
実際PCの中あっちこっち探られて作業ディレクトリ外にあったエロ画像見付けて「これ以上は続けられません」ってお断りしてくるンゴよ

安い時期にRAMを買ってなかった
のろまが発狂してるのか(´・ω・`)

Strataが毎日バージョンアップして ついにワイのPCIe3.0 5060ti16G+DDR4 256Gの旧石器マシンでIQ3_XXSが50tok/sになったわ

>>90
学習と関係なくて草

DDR4 256G　(　Д)⌒Y⌒Y⌒...｡..｡

Wan2.1無かったらワイ未だにRAM16GBだったわ

作ったエロ小説をirodori ttsに読ませたら我慢汁でた

で、Strataでエロ小説書いたらどんな感じ？Gemma4より質は良い？

Strata人気やな
もうローカルの覇者はQwenに決まったか？ワイはDeepSeek派なんやが

庶民がコンビニで肉まん買うノリでDGX買えてたらDS覇権だと思う

https://www.nicovideo.jp/watch/sm46866935

この動画がどうやって声をサンプリングして歌わしてるのか分からない
どうやってこんな自然な歌声出せるんだ？すごいわこれ

誰か分からない？

StrataのSpeed ProjectionをOnが無規制版みたいな感じ？
みんなここOnにしてるの？

ワアも試してるけど今の所ループから抜けなくなることが多くて微妙な印象が強くて草
更新頻度高いなら毎日プルしとったがええんか

>>102
主語無さ過ぎて何の話しとるのか分からんけど仮にStrataの話やとしたらthinkingはmediumにするんやで

>>103
サンガツ やっぱ止まらなくなるのか

>>99
OpenAIとAnthropicがキャットファイトしてるけど実際にAI開発をペース落としてるのはマイクロンだよな
癌の治療法とかが発見されるペースが落ちた代わりにスカイネットの完成は防がれたかもしれない

>>97
はじめの数行で読むのをやめるレベル

それは無い

>>94
DDR4で組んで知ったけど128GB以上は普通のM/Bでは対応できない
最悪だよ

Gemma原理主義者も発狂か(´・ω・`)

256はまだしも128ならAIに手出そうとする人のマザボなら対応しとるやろ
AIマシン買うのにコスパ気にしてたら死ぞ

エロ用途に限定したとしてもStrataのQ3_XXSですらGemma4-31Bよりは文章的に質がいい
Gemmaより劣るって人はそもそもの指示がカスかどっちも使った事が無いかのいずれか

Macの2台直結やってるニキおる？

>>110
どんなM/B想定してるのか知らないけどAM4だし対応してない
因みにVRAM単価一番安い6000使ってる
コスパそれなりに気にしてる

何の6000か知らんけど万が一にもRTX PRO6000だとしたらアホの所業やで
軽自動車にF1のエンジン積んでるのと同じや

>>111
まじか、Qwenの日本語はあまり期待してなかったけど、試しに使ってみる気になったわ

>>111
どっちもQ4で動かしてるけどFlash Nextってそもそも日本語能力あんま高くないやろ
言葉の意味取り違えたり微妙に文脈と違うセリフ足したりするし
そこまで断言できるほど有利だと思わんけど

>>116
Strata直やなくてOpenWebUIとかのハーネス噛ましてシスプロ入れとるか？

RTX Spark出たら128GB付近のモデル流行ったりするんやろか
これDGX Sparkみたいに2台接続はできないらしいし

Strataって最初からエロいけるの？
無修正版的なモデルに自分で切り替えるの？

上のモデルは知らんがfnはプロンプト次第な気するけどそうでもないんかね。
sdに突っ込むためのシチュ作りには良い感じ、というか普通に27B動かすよか速いのが凄い

>>119
ハーネス噛ますことが実態としてどういうことかわかっとらんやつが
適当ふいとるだけやから気にせんでええぞ
あの描き方だとシスプロも実態が何なのか分かっとらんかもしれん

>>117
Q4動かしてるのはllama.cppやけど元のモデルは変わらんしStrataもllama.cppベースなんやから推論結果はかわらんでしょ
一応Strataで落としてあるQ3もう一回試してみたけど長くなると似た文繰り返すのも変わっとらんし同じや
Strataのtempが最初から推奨より低めに設定されてるから多少は安定してるけどそれぐらいの違いやね

BionicからローカルLLM始めた情弱勢だがStrataの速さを体験したらもう従来のモデルには戻れん
だがBionicはカスタムプロバイダー使えないんだ🥲

>>108
2021年末にDDR5移行が始まってそろそろ5年と考えると相当古いプラットフォームだし仕方ない

>>114
それならもしMAXQを持っていたとしてどんな構成にする？そして何をする？
作業はほぼVRAMの中で済むわけで周りまで無駄に高くする必要はない
普段から何でもかんでも高級品で揃えてたら、お金いくらあっても足りなくなって必要なものが買えなくなる

>>116
どのAIもそうだけど正直クラウドと比べるとドングリだと思う
知識量や正しさはちょっとずつは賢くなってるような気がする
ただ、速度やVRAM占有考えたら27Bモデルばかり使ってるわ

>>124
それでも128GBが上限とは思わなかった
あとDDR5はそもそも不安定で当時は128GB厳しいとか言われてたし
安定求めるならDDR4が良いみたいな風潮すらあった気がする

適当なEpyc+MBを買えば8chのDDR4組めるから未だにDDR5よりコスパも性能も良かったりする

qwen3.8 flashがgemma4 31bよりエロチャでいいってのはかなり無理な量子化で無理矢理denseモデル載せてるとかやないか
3.8 flashの執筆性能がいいなんて日本語どころか英語でもきいたことないで

moeモデルを無理な量子化で無理矢理denseモデル載せるなんて出来るんだ

俺が文盲だったわ
gemmaのを無理に使ってるってことか

>>94
おどろかしてスマンな でもホンマやで

GLM5.3flashでもループはするからな
監視役がいればいいがそこまでしてつかうようなものかというかんじ

Qwenの文体構造はペルソナやRAGでどうこうできるものじゃないぞ。
ADHDみたいに表現の飛躍が多くて唐突に詩的な単語いれてきたりしてやばいぞ。
西尾維新を真似した小学生並み

>>112
RDMA over Thunderboltは M系 Pro以上じゃないとサポートしてない
そうなるとM5 Pro 2台よりM5 max、
それ2台よりUltraのほうが
速度的なコスパが良くなってきて
Ultra 4台がベストだよね、となる

まるでターミネーター2の制作風景だな

昨日は失敗したけど今日再挑戦したらRADEONよわよわ環境でもStrataで60Tok/s できたやで満足やサンガツ

環境：Ubuntu / RX 7900 XTX 24GB / Ryzen 7 8845HS / RAM 32GB / PCIe 4.0 x4
エンジン：Strata 0.1.33、HIP/gfx1100
モデル：標準Qwen3.8-Flash-Next GSQ-RCO Q2_0（native GGUF）
結果：実100540入力・3地点回収100.5秒、10万履歴生成71.9 tok/s（思考込み、1536-token測定）、tools往復・CPU画像認識成功。swapあり。

なんか知らんけどqwen3.8 flashって執筆性能良くないんか
ワイのPCVRAM16Gでメインメモリ64G積んでるからStrataは使えるけどコーディングはせえへんから見送るわ あんがと

Strataやっと動かせた
画像解析したら一瞬で終わって感動した
ただこれ起動してるだけでRAM占有してるから一旦落とさないと動画生成出来ないのだるいな

何度も言ってるけど庶民PCで日本語ローカルエロチャしたいだけならマジでGemma4一択やで
それ以外の選択肢は考慮や検証する必要すら無い。時間の無駄なので
日本語エロ目的ならGemma4だけ使ってれば全てが解決する
逆に言うとGemma4で無理なら他のモデルでも無理。誇張抜きで

同意
動く必要があるとしたらgemma5が出たときくらい
もしくはクラウドかAPIに移行

strataすごすぎ
27bの量子化よりはるかに早い
どうなってんだ

Strata興味あるんだけど、オレの今の使い方はLMStudio起動しておいて、
ComfyUIからカスタムノードでAPI呼び出ししてプロンプト生成、生成終わったら
即LMStudio側のモデルunload(自動でやってくれる)、ComfyUI側で生成開始、って使い方なんだが
こういう動かし方は未だStrataでは出来ないよね？それとも設定で可能？

>>139
Gemma4が現状最良というのは全く同意なのだが
お主>>111で言ってることと矛盾しとらんか

>>143
文章的にはQwen3.8-Flash-Nextの方が上やで
それがヌけるかどうかは別として
プロ作家の官能小説と頭のネジ緩んだエロ同人作家の違いやね
Gemma4は後者や

草
geminiくん自体そんなとこあるよね

arenaでエロプロンプトをブラインドで生成させるとよくわかる
コイツヤベーなってやつはたいていgemini

AIでエロ小説書かせるとどうしても盛りに盛ってエロゲの文章のようになる

エロに限らず無茶振りした時に面白い文章出してくるのは圧倒的にGeminiだよ昔から

>>144
3.8maxですら文脈が揺らぎまくるし脈絡のない詩的表現いれてくるのがプロ作家？
西尾維新が認知症になったみたいなもんだろ？

strata iq3_sが5090と128メモリで150tps位出るわ
qwen3.8 27Bが60tps位だったからもう戻れない
性能も27Bより上に感じるし

見たらUnsloth UD-Q4_K_XLも使えるようになってるのか試さないと

Qwen 3.8 Flash NextはQwen4のアーキテクチャ先取りだから3.8 Maxや27Bより頭ええぞ

そういやStrataってexpert部分をVRAMに載せるんよな
例えば雑談チャット、ウェブ検索して資料集め、コーディングとか別系統の作業を切り替えてたら速度落ちるん？

>>151
Qwen4もデカくなりそうだな
ローカルでまともに動くQwenは3.8F Nextが最後になるかもしれん

もうUnslothがこの技術取り入れてくれないかな

Strata謎技術やな

Strata早いけど起動してると他のことできないからやっぱりローカルLLM用のサブ機欲しくなるな
Macbook Pro欲しい

Qwenは文章自体はいいんだろうが、なんか英文を日本語翻訳したような文だから、
セリフ周りがgemma4やdeepseek-v4F0731に比べてエロくないんだよなぁ

StrataはRadeonにも対応してるのがガチでヤバいな

Gemini4が本格的にリリースされたら次Gemma5来そうだからGoogle頑張って欲しい

>>142
v0.1.30から--idle-unloadオプションが追加された

>>156
わいは昨日からゲーム用のRX9070XTでStrata環境構築し始めた 40〜50t/sでとる

StrataのアプデってStrata-mainでgit pullでいいの？

>>161
zip版はgit pull出来ないからその都度更新版のzipをDLして上書き

>>157
その翻訳調、それも翻訳家がやったのではなく直訳っぽいからQwenは創作の日本語生成はダメって言われてるんだが
ビジネス文書には使える
この差が分からない人がQWENは日本語使える、って言ってんるだと思う
記事にするにはまあまあ使えるが小説には使えない

Thinking見てる限り英語で考えてて最後に日本語に翻訳してる感じなんだよな
多分だけど日本語の言い回し変更させる分には、使える日本語にしそうな気がする

StrataのおかげでQwen 3.8F Nextようやく試せた
偏見だけど“ヤマザキ春のパンまつり”の説明をさせて正しく答えたからこのモデルは信用できる

最低でもQ3だな　それでもあんま性能よくないからみんなQ4所望してた

しかしgemini4が初動で段階発表になるみたいな記事を読み違えて
「一般」には提供されなくなったみたいな勘違いしているAIの自称専門家さん達が多すぎる
一般も同時ではなく段階提供にしますって当初の通りの記事をちゃんと読まずタイトルだけで一般提供撤回されたみたいなノリで広めてるし

驚き屋わらえね奴多すぎる

>>159
gemmaに関しては年１発表だから
来年春までは５は来ないと思うよ

>>163
think中に最終回答の英語版が入ってるわけでもないだろう。ワイが使った感じ英語thinkで方針決め→出力日本語だから英語出力→日本語翻訳とはまた違うのでは。
単に横着して英語中国語に対応する直訳日本語を学習させたんだろうなって思ってるわ…

geminiアンチって特にそういうところあるよな
なんの恨みがあるのか知らんが

>>156
グラボ2枚挿せるなら1枚LLM専用にすれば？

過去のしょぼいローカルMoEを見てきたせいで、125B-A6Bが27B Denseより賢いことに対して気持ち悪さを覚える

StrataのQ4対応が正式版になったら試すわ

対立煽りが継続的に湧いていて草

>>127
中古でECCメモリが安いのは魅力的だけどM/Bかなり高価だな
あとメモリなど含めて全て中古で組まないと破産しそう
下手なDDR5新品よりもECC付きがヤフオク安くで回ってるし寧ろ安心して使えるか悩ましい

PCIe4.0対応の🩴になると高い🥺

StrataのUnslothQ4は複数GPUだと落ちるな

rocmに対応したと聞いて早速試してみた。
デコード速度が速くなったので大歓喜。
今後はmoe 大容量でstrata形式が標準化されるんかな

DDR4 256Gの旧石器マシンだがUnslothQ4をRAMに90G載せて27tok/sだわ

chatGPTにStrataはUnsloth Desktopで出来るか聞いたら出来ないと言われたらけど出来たわ
ブラウザでやるのと違うのはThinkingを日本語でやってるところ
この違いはなんなんだろう
少なくとも英語で考えてるわけではなく単なる仕様の違いって事だよな

>>178
StrataはOpenAI/Claude Code API互換だからどのソフトやハーネスでも基本エンドポイント設定するだけで動く
Unsloth Desktopが日本語対応だから日本語OSなら日本語でシステムプロンプト送ってくれてるんだろ

chatGPTに聞きながらなぜThinkingの言語が違うのか検証したらQwenは Thinking言語を柔軟に変えることが出来るとわかった
Thinkingは英語で答えは日本語にしてくださいというとその通りになる
ブラウザStrataでは英語で Thinkingする設定になっていてUnsloth Desktopでは質問言語に合わせてThinkingしてたっぽい
画像の解説を求めて言語の違いで解答が変わるか実験したら日本語Thinkingの方が詳細で深い理解をしていた
日本語の概念や文脈を処理するときは日本語でChatGPTによると推論した方が情報を保持しやすかったんじゃないかって事らしい

DGX Spark 64GBが4999ドルってことでRTX Sparkもエントリー機にすらなれそうにないな
大きいMoE動かす方法が充実してる今は普通にメモリ買ったほうが無難かもしれない
電源回りだけはまだ難しいけども

5000ドルで5070無印動かしてどうすんだって話だしな

前スレでStrataにGithubページにあるボクセルパゴダガーデンを実際に作らせてみたって人いたけど具体的にどうやったの？

>>181
もはやMac studio M5買った方がいいのか

>>183
https://i.imgur.com/FJjQD8F.png

>>185
このプロンプト投げるだけでいいの？
すごいな
ちなみにPCのスペックは何？
俺は4070TIS 128GBでiq2xsだけど試しに寝る前に投げおく
どうなってるのか楽しみだ

対立煽り派はいないようだな

Strata方式が一般化されるならますますRAMが重要になるしDDR4 8chの化石PCを組むべきか

化石PCでも楽しんでるぞ
5950x ddr4 64gbだけど

Strata方式はRAM速度は重要じゃなくてむしろ計算力が重要
CPUは古くても動くけど512bit bf16ベクトル演算対応のAVX-512対応世代（Ryzen 7000以降）が理想

llama.cppにllm-jp-4.1のトークナイザ対応が入ったな
まあおもちゃにしかならんけど

Codexリセットﾏﾀﾞｧ?(・∀・ )っ/凵⌒☆ﾁﾝﾁﾝ

5090メモリ128のstrataでコンテキスト256kでUnsloth UD Q4を動かしたら60tps位だった
IQ3Sが同じコンテキストで140～150tps出るからこの速度に慣れたらキツイな
これからチューニングが進んで高速化するのを期待

すごい勢いでアップデートされてるな
30分ぐらい前にまた来てる

StrataのIQ3Sさんのおかげで5070ti,ddr4 64gb環境で初めてまともにLLM動作したわ
いまいちcodexとの使い分けが難しいがとりあえずcomfyと連携してる

0.1.36でデコードの速度が大幅に上がった神すぎる。

もう0.1.37出たぞ
どうなってんだこの開発速度

革ジャンが爆乳褐色エルフシスターのイラストをいいねしてて草

>>197
AI使って開発してるから数時間でアップデートできるんじゃない？

今はみんなで協力してQwen3.8-Flash-Nextにgemma4並みの
お下劣なセリフを書かせる方法を研究すべきと提案します✋😠

Qwenで書かせたのをGemmaに渡して内容は変えずに表現をお下劣にしてと頼みます。
わたしはそれを眺めながらQwen4とGemma5の登場を待ち続けます。

>>200
エロRAG構築この道しかない

>>185
これ投げといたらMax token limitで止まってた
Max tokenを増やすかThinkingを切ってリトライしろって言われてるんだけどMaxtokenはすでに上限なんだよねThinking切ると精度落ちるよね
みんなこれどうしてるの

>>203
使ってるモデルのコンテキスト上限なのでは

>>203
出力のtoken制限ならツールコールが挟まるたびにリセットされるはずだからthinkingでループしてるだけだよ　もしくはcontext量が不足してるか
前者ならrepeat_penaltyを盛るか量子化を抑えるくらいしか対策はない

>>203
ワイも同じ問題になって昨日悩んでたところや
Strata標準のWebUIでのmax_tokensは、デフォルト(EMPTY)では残りの使用可能なコンテキスト数＝max_mokensになるが、
API経由で使用する場合はクライアント側で設定したmax_tokensが使われるんよな
ワイはUnsloth Desktopを使っているが、今の仕様だと必ず64～32768の間で設定しなければならず、これだと長い推論や出力で止まってしまう
そこでワイはStrataのserve/server.pyの
max_req = max_new = int(req.get("max_completion_tokens") or req.get("max_tokens") or 0)
を
max_req = max_new = 0
に変更してクライアント側のmax tokens設定を無視するようにした
雑なやり方だがWebUIと同じトークンの使い方になってコンテキスト長が許す限り推論し続けられるようになったで

>>204
StrataでQwen iq2xsなんだけどiq3xxsならいけるんだろうか
それともUnsloth Desktopを使ってるのが問題？

>>206
おおありがとう
やっぱりUnsloth Desktopの問題だったのか
参考にやってみます

>>207
俺は何もやってないけど解決して何よりやで
てかこのスレの職人すげーな

Unsloth Desktopって標準でBLender連携も付いてるけどMax Tokensがあれじゃ何も出来ないんじゃないの？

BionicでQwen3.8-27Bに「EドライブにOpenWebUIがあったらいいなぁ」ってぼやいたら小一時間で普段ワイがBionicでよく使うMCP込みの環境実装してくれて目ん玉飛び出たンゴ･･･
しかも非推奨のPython3.13で実装したらしく「コミュニティで上がっているPython3.13でエラーが出る箇所も修正してオールグリーンの状態にしました」とか意味分からんくらい有能で草

StrataでQwen3.8 Flash Nextの無検閲（abliterated）IQ3_S動かす構築手順メモ。
【手順】
1. GGUF配置
SC117版のabliterated IQ3_S (2分割GGUF) を入手して配置。
C:\Strata-data\models\IQ3_S_abl\ に 00001 と 00002 を置く。
2. 専用Pack作成
iq_pack.py で無検閲GGUFの00001を指定し、packを生成。
オプション `--compat-bf16` を付与。
※重要：tokenizer等は公式の流用ではなく、無検閲GGUF自身から生成させること。
出力先 ➜ C:\Strata-data\packs\iq3_s_abl
続く

3. JSON設定 (C:\Strata\strata-iq3_s.json)
args配下に以下を指定：
・"--pack": "C:\\Strata-data\\packs\\iq3_s_abl"
・"--native": "...-00001-of-00002.gguf" (1つ目)
・"--ple-gguf": "...-00002-of-00002.gguf" (2つ目)
4. 起動BAT作成 (C:\Strata\run-iq3_s.bat)
.venvのpython.exeで serve/server.py を呼び出し。
引数：--engine strata --config C:\Strata\strata-iq3_s.json --port 8080 --open
【結果】
・Expert RAMロード: 46.84 GiB　・GPU Expert Cache: 8.06 GiB (4223 experts)
・生成速度: 60.1 tok/s (Thought 3.2s)　・無検閲（UNC）も完全通ることを確認。

>>208
まあこの仕様はしゃーない
なまじ上限がないと従量課金制のAPIとか使ってたら無限ループに陥った場合金ドブになるからな
1ターンあたりのツール呼び出しの上限が25回と決められているのもこのせいや
これも上限を外す行儀の悪い方法はあるにはあるっぽいがワイはそこまでやる気には今のところなれない

>>212
🤝

strataのnvfp4対応フォークを試してみたがfreetoken比で期待ほど改善せんかったな
iq3以下にすれば爆速だろうけど量子化の数字が下がることにちょい抵抗が
まあどっちも混合量子化だしワイ程度じゃ違い解らんか

LM StudioでQwen3.8-Flash-NextのMTPは使えないのだろうか
ダウンロードしてもDraftersに出てこない

>>213
有用な情報はこんな感じで貼ってくれるとありがたい

https://plastmd.com/strata_abliterated

>>218
これでもだいぶ要所を端折ってるから「それなりに扱える人」以外は最初のtokenizer生成フェーズで詰むと思うンゴｗ

orcaのuncenを試してみたけど
Gemmaのようなあたおかな描写はしないな
メインRAM64GBが溢れそうになったの初めて見た

LMStudioは更新遅いのと新機能の対応やる気ないのが有名だからな

>>219
これをAIに読ませて試行錯誤してもらうんや🥴

>>219
12行しか書けないからはしょっちゃった
Strata用packの保存場所を作る
New-Item -ItemType Directory -Force C:\Strata-data\packs\iq3_s_abl

packを生成
今回のモデルは abliterated派生モデルなので、Strata公式のカスタムモデル手順に合わせて --compat-bf16 を付けます。

.\.venv\Scripts\python.exe .\tools\iq_pack.py `
--gguf "C:\Strata-data\models\IQ3_S_abl\Qwen3.8-Flash-Next-GSQ-RCO-abliterated-IQ3_S-00001-of-00002.gguf" `
--out "C:\Strata-data\packs\iq3_s_abl" `
--compat-bf16

HuggingFace のページも参考に見せたほうが良いと思う
https://huggingface.co/SC117/Qwen3.8-Flash-Next-GSQ-RCO-abliterated-GGUF
「Strata engine — the runtime this build was made for」の節

>>142
https://github.com/s9roll7/ComfyUI_RH_LLM_API_For_Strata
独自仕様のAPI?で即時のunload出来るっぽいから対応してみたで
多分最近のversionじゃないと動かない

>>213
JSON設定で一応揃えるなら、tokenizer, model_name, log, vision.mmproj, vision.model も併せて修正かな？

>>218
まとめてくれてありがとう
そんなにかっこよく書けなかったけど、
もう少し詳しく何をしてるか補足文書つくりました。

https://plastmd.com/mn42k6go

>>185
できたー！
なんか中華風の建物になったけどちゃんと鯉が動いてるし時間帯変えられるしマジで感動
色々教えてくれた人ありがとう
最初エラーで開けず修正してもらったら）が抜けてたましたという凡ミス
IQ2XSのご愛嬌か？
早速IQ3XXS　Uncensoredにしてみようかな

画像貼るの忘れた
https://imgur.com/cQMGjQK

>>228
これを作った時のわいの環境は生成AI用とは別のゲーム用PCを転用したやつ(´・ω・`)
RX9070XT + 5700X + 128GB
iq3_xxs Context 262,144 tokens

誰もエロRAGを公開しないから仕方なく自作を始めた
100万件のembeddingとかどうすんのこれ😰
https://i.imgur.com/SbpoJrM.png

>>231
はよ公開しろ😡

>>232
脱獄モデルでsceneとtextを生成するだけで半年かかるそうや🥺
みんな貧乏が悪いんや😭

半年ROMれ🥺

>>231
これどういう使い方を想定してんの？

>>231
一体どんな気持ちで作ってるのか
お前がエロ小説の開拓者となるのだ

>>235
平たく言えばオナスレの超強化プロンプトのRAG版や

>>236
石油王の仕事やろ😭

LORAでやればいいのに

Loraって死ぬほど調整むずいやろアレ
データ不足だからか知らんけどまともなモデル作れたことないわ

LoRAはモデル依存だからRAGの方が潰しが効くと思うで

画像生成はLoRA効くけどLLMだったら追加学習が正攻法だわな

>>221
Uncloth Studioに変えたら速度3倍になったからな
LMはUIはいいけど他全部がダメだ

環境による
ワイ環やとllama.cpp直やOllama、Unsloth StudioよりLM Studioの方が高速

同じモデル、同じパラメータ値、同じ設定でそれはない

あるから言ってるんやで

>>243
それなにか設定間違えてそう
具体的に、どのGPUでモデルでどの程度速度変わったの？

strataのcoderでpythonのファイル検索コードを書かせようとしたが10分程長考して無限ループ
temperatureとか弄ってみたけど改善せず
日本語の文章を書かせようとしてみたがこんな感じで吹いたw
まぁ、システムRAM 32GBの環境で一番軽いモデルを使ったからしょうがないんだろうけど、
SSDを100GBも消費してまで入れる意味は無いと判断して削除した
https://tadaup.jp/ARKN2Gk3.jpg

>>247
Unsloth Gemma4 26b IQ4XLで3060 12GBだけど
何もイジってなくてこれなんだからソフトそのものの性能の差だろ(笑)

ゲーム機みんなファミコン呼びのおばちゃんみたいに
Qwen3.8 flash nextをstrata呼びするの止めなちゃ～～い😫

さすがに速度3倍は盛りすぎでしょ
それほど変わるなら色んなところが記事にしたりして話題になってるよ

Strataはスーパーゲームボーイ

LMStudioとUnslothDesktopはどちらもエンジンはLlama.cppだから前者で手動で設定してたパラメーターが後者では自動で設定されてるってだけちゃう？その逆もある

lm studioのllama.cppのcuda 12は影響ないのに
unsloth desktopのcudaを使った後にゲームするとフレームレートが極端に下がるシーンがあってしんどい🥺

VRAM16GB RAM 64GBでも大規模モデル動かせるってマジ？
実際の性能はどんなもんだろ

Strata登場で、中途半端なmac studio買う意味が薄れたな
LLM専用機欲しいけど、Strataってmacじゃ動かないよね？

Q3XXSまで量子化してようやく動くけど動くと使えるは別だからな

何と比較しての話なのか分からんけどStrataのQwen3.8-Flash-NextはIQ3_XXSでもQwen3.8-27BのQ4_K_XLより高性能やぞ

mcp設定してウェブ検索できるようにしたけどやっぱりクラウドのやつとは差を感じるね
なんか調べものに特化した設定とかあるのかな

>>256
Strata作者がまだMac Studio持ってないだけでM5 Ultraは普通の4/8bit混合量子化で256Kコンテキスト114tok/s出てるぞ
https://github.com/drowzeys/keys-Independent-Bench-MLX-Serve-26.9.7-dev-Qwen3.8-Flash-Next-4bit-8bit-mixed
https://i.ibb.co/v6kZzcKf/f5116d4078ed.png

低スペックでデカいモデル動かせるとなったらじゃあその技術で高スペックでさらにデカいモデル動かそうぜ
コンテキスト長もキャッシュも増やそうや
ってなるのが人間の欲や

Strata自体がNVIDIA信者が良くやるCUDA/Tensor Core依存の最適化じゃなくRTX20やRadeonでも普通に動いてマルチコアCPUを活用する移植性の高い最適化方式だからMacでも同等アプローチはすぐに出てくる
M5 Ultraの方がCPUもメモリもSSDも速くてWindows PCより有利だからな

Strata今んとこQwen特化やけどDeepseekやGLMに対応する方向あるんけ？🥺
それ使いたさにMac Studio買いそうやったから思い悩んでる

俺もMac買うの検討してたけどStrataでいいかなとなってきた
今のPCがRAM128GBだからStrataの恩恵がでかい
ただComfyUIと同時に使えない不便はある

llmのためにMac買ったのバカみたいじゃないですか

RAM128GBが人権ラインになってしまったンゴね･･･

>>263
Strataの一番の特徴はn-gramをSSDにオフロードすること
現在n-gramを使っているのはQwen3 Flash Lite系だけだから、他モデルではStrataはあまり意味がない

FreeTokenなんかでもMoEのメインメモリオフロードの最適化はやっている

Windows+LM StudioであーだこーだやってたけどLinux+Strataで動かしたらめちゃ速くなって回答精度も上がった

>>268
もうWindowsでもStrata動くよ

DDR3でも128GBでstrata行けますか？（切実）

>>270
試してないけどネイティブAVX2（Intel Core i 4000以降、AMD Ryzen 3000以降）があるCPUなら速くなるのがStrata
とりあえず公式の最新zip試してみるのが吉

>>271
ありがとう！ことと次第によっちゃDDR3でも値上げ来るかも知らんね・・

大手LLM＞APIかRunpodで300～700B＞＞＞strataで100B＞30Bクラス
100Bクラスと30Bクラスじゃ目くそ鼻くそだよ

8月頃は公式のgemma4 12B+lm studioでストレートにエロ小説執筆頼んで拒否なんてなかった
今は結構な確率で拒否される
lm studioのバージョンアップでテンプレートとか変わったのかな？

localの話題で盛り上がっとるところ申し訳ないんやけど、Opus5.5やばすぎん？Astraが無能に見えてくるんやが。

>>274
シスプロになんか書いてたの消えてるとか

コーディングでも扱う画像がリアル寄りだとbanリスクあると聞いて、ローカルでclineかopencodeも使えるようにしようと思ってる。

VRA16MGBだから
[Huihui-Qwen3-Coder-30B-A3B-Instruct-abliterated.i1-Q3_K_M.gguf]14.7GB
と
orcarouterの[Qwen3.8-27B-Uncensored-Q3_K_L.gguf]14.6GB
が候補

strataでQwen3.8-Flash-NextのQ4_K_Mは119.2GBもある。DRAM使うから遅いだろうけど、ssd圧迫や速度を我慢してでも価値のあるコーディング性能なのかな?

>>277
orcaは公式Qwenよりも多くRAM使う
Q3_XXSでも64GBが溢れそうになる

Orca uncensoredのQ3-XXSって80GB以上ない？

strataが出る前だとコーディングだと世界知識はあるが知能が足りないので3.8 flashより3.8 27bの方が優秀と言われてたがstrataが出て以降3.8 flashは27bより全面的に優秀という意見が支配的になってきたのでよく分からない
ワイが使ってみた感想は27bの方が出来てるような気もするけど正直どっちもミスる時はミスるのでやっぱりよく分からない

チャッピーに聞いたらコーディングは

Flash-Next IQ3_XXS > 27B BF16 > Flash-Next IQ2_XS

って言われた

ここで時々話題に出てる昔LLM畑だった人（現在はTTSの人）のデータセットでFTしたHeretic化Qwen3.8-27Bらしい
既出ならスマン
https://huggingface.co/sss22213/Qwen3.8-27B-Heretic-JP-Roleplay-NSFW
https://huggingface.co/mradermacher/Qwen3.8-27B-Heretic-JP-Roleplay-NSFW-GGUF

2つのローカルQwenモデル（3.8 27b unsloth Q6とQwen flash next strata coder）とClaude Opus 4.6を同じ3つのコーディングタスクで比較しました。そのうち1つが同点でした。喧嘩を売るつもりはなく、単に数値を共有しているだけです。
https://www.reddit.com/r/LocalLLaMA/comments/1wwrgx1/two_local_qwen_38_27b_unsloth_q6_and_qwen_flash/

>>280
それって単純に元サイズのデカさによる量子化の問題ちゃうのそれ
Flash Next Coderで作られたSVGペリカン普通に数世代前のクラウド級やし量子化無しのエージェント能力だと明確に差があるで

https://x.com/yasei_no_otoko/status/2106421078377877906
https://pbs.twimg.com/media/HTuCXI_agAAHkfc?format=png&name=small

https://llm-stats.com/models/qwen3.8-flash-next
https://i.ibb.co/ZQ0wbmN/7666063a0328.png

>>256
macやiPhoneにはswiftletが前からあったからな
ざっくり言えばアクティブ層をユニファイドメモリ、それ以外はSSD。必要なものを都度ロード。これを最適化してる。
似たようなのは他にもあると思うぞ
そもllama.cppのmmapが機能的には同じ。最適化はともかく。

StrataデフォのIQ3_SよりOrcarouterのIQ3_XXSの方が性能良い気がするンゴ

>>277
さっきのレスで言及したのは以下の3つのモデルです。30Bと27BとFlash-Nextでそれぞれ制限解除されてそうなモデルをhugging Faceで雑に探しただけなのでもっといいのがあるのかもしれませんが。よく考えたら、どうせ他のAIで使えるほどVRAMを余らせられないので、わざわざMoEの30Bを使うより、普通にDenseの27Bを使った方がいいのかも。最近のstrataの評判を聞く限りでは上述2つより遥かに優秀そう。速度やファイルサイズに目をつぶってでも導入する価値があるのかな？試すのすら大変そうで尻込みしてる

MoEモデル(30B・アクティブ3B)
https://huggingface.co/mradermacher/Huihui-Qwen3-Coder-30B-A3B-Instruct-abliterated-i1-GGUF/tree/main

Denseモデル27B
https://huggingface.co/orcarouter/Qwen3.8-27B-Uncensored-GGUF/tree/main

strataで使うFlash-Next(125B・アクティブ6B)
https://huggingface.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF/tree/main

Strata やっぱりコーディングはCoderモデルがいいのかな
簡単にモデル切り替えられてばいいんだけどな
まあそのうちアプデで対応されそうだけど

>>288
corderは日本語がポンコツ

>>288
起動用batでなら変えれるけど
どうせ読み直しだから落として起動で良くない？

>>282
データセットをざっと見た感じユーザーが女(受け)でAIが男(攻め)が多いけどこれであってるん？

>>289
お前は英語がポンコツ

素晴らしいなStrata
無料枠chatGPTに画像編集ツール作ってもらってたけど完成前に終わっちゃって
続きをStrata+Unslothでやってもらったら無事目的通りのものが完成した
ただ時間は結構かかった
ちなみにiQ2-XS
IQ3-XXSにした場合賢くなってもっと早くできるのか重くて時間かかるのかどっち？

ふと思い立ってThinkingのログを保存してチャッピーに投げたら、モデルの思考とか陥りやすいパターンを分析してプロンプトを直してくれて精度も上がった。エロと関係ないジャンルだけど

>>293
orcarouterのIQ3_XXSオススメやけど正直現状だとIQ2_XSでも動いたら勝ちやね

StrataのGithubページ見るとRAMに合わせてモデルを選ぶみたいな表があるけどVRAMはあまり関係ないの？
VRAM 16GB RAM 128GBなんだけどUnsloth UD-IQ4 XSにしていいんだろうか

12GB,64GBのワイのPCでも毎秒10トークンくらいは出せたからそのスペックなら20トークンくらいは出せるんじゃね
動かなかったら動かないで別にPC壊れるわけじゃないし気軽に試してみるといいと思うで

Strataは新しいチャットに切り替えても古いチャットの処理を繰り返すバグがあるみたいだ

すまん勘違いだった忘れてくれ

>>297
試してみる
今モデルダウンロード中
ただコンテキスト長の問題もあるよね
IQ2XSの時は64Kを勧められたけどUD IQ4XSでは32Kを勧められた
32じゃコーディングストップしちゃうから64にしたけどどうなるか
ダメだったら大人しくIQ3にするわ

>>300
128GB積んでるならコンテキスト128kいけるで

IQ2とIQ3ってあまり性能差あるにはあるけど、IQ4に比べると…なんだよな
この技術発展のペースなら来年にはIQ4もスルスル動く技術できそうだが

UnslothよりOrcarouterのIQ4に対応して欲しかったンゴ･･･

>>282
やっと日本の石油王勢が動いたか……

Strata自分ではまだ試してないが
MacではoMLXがだいぶ前からSSDオフロードに対応している
いくつもレスを書いたから覚えてるニキもいるはずや
oMLXはXのアンケでも利用者数トップだったからMac勢は試してみるとええ

Macは今度はBackburnerというiPhone15Pro以降(USB-C10Gbps接続推奨)のiPhoneやiPad Proを外部GPUにするアプリが出てきたぞ

>>306
USB3のゴミ帯域でも性能が上がるなら
素直にThunderboltでMac2台直結すれば良くね

oMLXに分散推論機能が入ったんだが
初心者お断りの気配がプンプンしていてまだ手を出せてないんや

>>306
iPhone 15 Pro：A17 Pro＋LPDDR5 8GB
Macbook Neo：A18 Pro＋LPDDR5 8GB
iPad Pro 2025：M5＋LPDDR5 12GB

理屈は分かるがクソワロタ

>>307
手持ちのiPhoneでブーストかけられるくらいのイメージかと
常用システム向きではないと思う
手持ちの計算資源有効活用しようぜ！的な

>>308
そうiPhoneはちっちゃなMacなんだよ！
なんならQwen3.6 35BA3Bとか動いちゃうらしいからな

iPhoneを何十台も買い占めてアレイにする時代が来る！？

>>310
スマホ農場で草

>>307
exolab？

>>312
Distributed inference across Macs
Status: experimental, source-build preview

https://github.com/jundot/omlx/blob/main/docs/distributed-cluster.md

"oMLX can run one downloaded MLX model across two unequal-memory Macs while preserving its existing OpenAI-compatible API"

SSDオフロードとか恐ろしくて試す気にもなれん

SSDの寿命ゴリゴリ削りながら使われそうなイメージ

読め込みだから問題ない

StrataもSSDの寿命縮める感じ？

SSDも貴重品だから無理はさせたくはないな

SSDの書き込み回数制限より発熱でチップが死ぬケースの方が多いわけだから読み込みだからノーリスクではないよね

SSDオフロードってモデルアンロードしても残るの？

せやせや、読み込みだってノーリスクじゃないからOSなんてインストールすべきやないで

>>313
サンガツ、これ知らんかった。
mac買い換える時にためしてみたいな。

省メモリはFlashNext自体の機能でllama.cppもSSDオフロードは初期から対応してた
Strataは導入しやすさと最適化がメインや

君たち金持ちだね。
俺のPCは32GB RAM+16GB VRAMなので1年くらい技術が進化するのを待つことにする。
鳴かぬなら鳴くまで待とうエルエルエム

>>324
RAM 32GB追加ぐらいはしてもいいでしょ
その辺が主流になりそうだし遊べそう

この夏泣きながらRAM128GBにしたけど正解やったわ
やっぱ色々出来て楽しい

あと数年はこのままだろうから正解や
メモリメーカーが売り渋りし続ける限り長引くやろな

メモリは増産した頃に価格暴落で倒産ってのを繰り返したからしゃーない部分もある

48gじゃメモリー足りない
strata常駐余裕があるのは128くらい積もうかね

32GBってちょっと前まで余裕のあるメモリー量の筈だったんだよな・・・

Strataと言うよりStemaだと思う
グラボとメモリを買わせるための

アルミホイル勢は生き難そうやな

VRAM16G/RAM192GBでStrataデビューしたんでよろしくニキー
Strata + Hermes Desktopのワンクリックコンビ簡単すぎて草

Strata良いんだけどQwenの文章じゃ抜けないんだよなあ

それな
Qwen Flash NextクラスのGemma4が出てくれたらなぁ

Qwen3.8 Flash Nextの脱獄プロンプトがよく分からない。思考でなぜか通過したりする。

Gemma4 26BならFreeTokenでいけるやん

>>334
普通にGemma4 31B使えばいい
Vramに乗らないから--nglでGPUレイヤー指定すればいい
Strata使えるくらいメモリあるならいけるだろう

StrataにUD IQ4 XS入れたら30Tok/sだった
まあまあ許容範囲
でも写真をイラストにしてと頼んだら画像生成は出来ないのでPythonで描きますと言って勝手にぶつぶつ言いながら修正繰り返し長々待たせた挙句コンテクスト65kいっぱいになって終わった
未完成の絵がこれ
https://imgur.com/sTBrSad

Strata　もうアップデートでたのか
ｖ１００対応か？

これは釣りなのか・・・？

>>341
マジレスすると昨夜のv0.1.39でV100もGTX1080もCUDA12.9で動くようになったぞ
GTX1000と同じ世代のP100も

あとIntel Arcも対応や
来週までにはMac版出てそうやね

>>342
すまん339に対してのレスやった
全半角混じってるのはようわからんけどそっちには疑問ないで

Qwenらしい味のある仕上がり

>>345
年に一度の出来栄え
過去10年で一番と言われたQwen3.6を超える

16Gramで動くのを待ってる

8+8+32+32GBというアホ構成のワイ
思いきって32+32を買うか16+16に日和るか悩み中

金があるなら悩むまでもなく32x32追加一択でしょ

メモリもおっぱいも盛れるだけ盛れとエロイ人が言っていた

さすがに32x32は無理や

ワイも1TB RAMくらいほしいなぁ

待ってても下がらないらしいから今が一番安いんやないか
俺もサブPCを32+32にしようか4090の中古買うか悩んどる
サブPCだから後でエエわって思っとったらこのザマや

StrataがGeminiにトドメ刺しそうな勢いだな
コーディング性能はGemini Pro/FlashよりQwen3.8 Flash Nextのほうが上なんだよな

>>354
Google「10月9日から無料版GeminiをアホのFlash Liteにします！」
Strata民「GTX10でもQwen Flash動いて草ァ！」
Google「」

Gemini無料垢使ってる層とStrataで遊んでる層は被ってないから商業的には問題ないんだよなあ

それ俺

geminiって学生しか使ってないのかと思ってた

Google AI studioは今まで通り使えるで合ってる？

正直いまローカルでStrataに夢中になってる勢はエロチャちんぽ勢とは別コミュニティの人らでしょ

世界的なハッキング祭りglm5.3とか使われてるらしいがローカルにブレーキかかるかね

中国政府もオープウェイトでダンピングする戦略を今更やめられないやろ
アメリカがそれでビビってるなら尚更

デカいモデルってことで期待してたけど、小説書かせた瞬間オワッタわ
でもやっぱ頭は良いんだよな、設定作る時はオイオイこいつすげーわってなったもの
頭は良いけど小説の才能が欠片もねぇのビックリだぜ

StrataのQwen3.8-Flash-Nextに逮捕案件の企画書を作らせてそれを基にGemma4-31Bに逮捕不可避の小説書かせればええだけやで