ollama run qwen3:235b-a22b-q4_K_M で起動できたのでswapが有効

動いているっぽい。速度はまぁまぁ実用になりそう

最近のUbuntuはswapはディスク上に適当にファイルをデフォルトだと作るんだなぁ。swap用のパーティション不要。Windowsだとollamaが普通に実行できてる話をちょこちょこ見るのはWindowsは大きめswapfileをデフォルトで作ってるからではないか。

これでollamaサーバーを常設することは十分可能になったな

amd-smiとかで見ているとVRAM92GB使ってたりするのでちゃんとiGPU使ってくれてそうだ

返答が大きくなる場合は返答がおそすぎる。数分掛かりそう。LM Studioだとここまで遅くないので何かオプションに違いがありそう

htop見てるとollamaは1つのCPUしか使ってないなぁ。これはもったいないのでは

ollama web uiとかの色々オプションいじれる環境がないと厳しい

qwen/qwen3-30b-a3b + clineで大分快適に開発できる。コンテキスト長は32768。モデルのサポートしている最大長(LM Studio曰く)。モデル定義いじってコンテキスト増やしたりしたいところ。

EVO X2が届いたので生成AI環境をUbuntuで構築したときの記録 light-of-moe.ddo.jp/~sakura/diary/…

うーん。なんかchromeとibus+mozcの挙動が変でblogの文書おかしいところがちらほらあったので修正した

ollamaがVRAMを確保しているにも関わらず実際の計算はCPUで行っているのかのような応答速度になる。clineから呼び出すとき限定かもしれない良くわからない。

1リクエストに32mもかかったからそう思っています。cline + LM Studioだと数分だったのに。

cline側の問題かもしれないし、ollama側かもしれない。ollama restartしたりするとWaylandが落ちたりするのでollamaを疑っていますが

この件を調査しようとしてbtopでも眺めるかと思ってbtop起動したらセグメンテーションフォルトで落ちるので何かと思ったら、rocm関連の仕様変更によるバグという(最新版だと対応されている)のを引いてさらに厳しい気持ちになりました

EVO X2のUSB4って10Gbpsなのか...。外付けのGPUとか無理だなぁ

うーん。NVMeをOcuLinkにすればeGPU追加できるだろうけど、そこまでしたくはないからゲームは別マシンでどうにかうまくやる方法を考えよう...。

いや、USB4はlsusb -tの速度は実際に繋がないと表示されないっぽいから、もう少し調べないと

同社のEVO-X1のUSB4が40Gbpsと謳っているからEVO-X2も同様だろうと期待する。lsusbだと動いてるものの速度しか見えないようなのでUSB4デバイスが手元にない我が家では確認できないのであった...。

ふらっと先々週あたりAmazon Qに課金したら大ハマリしてそろそろ150時間近く遊んでいる……。