金のニワトリ (@gosrum) 's Twitter Profile
金のニワトリ

@gosrum

メーカーで研究職をしています。
最近は生成AIと米国経済に興味があります。

Zennで主に生成AI関連のブログを書いてます。
zenn.dev/robustonian

ID: 1809464729800437760

calendar_today06-07-2024 05:50:06

1,1K Tweet

1,1K Followers

668 Following

さくらんぼ (@lambda_sakura) 's Twitter Profile Photo

ROCm 7.9.0 のドキュメントは互換性確認のページがとても分かりやすくなってる rocm.docs.amd.com/en/docs-7.9.0/…

金のニワトリ (@gosrum) 's Twitter Profile Photo

●DeepSeek-OCRの推論速度比較(概算) ・EVO-X2(ROCm 7.0.2):40秒 ・Mac(M2 Ultra:mps):1分20秒 ・Mac(M2 Ultra:cpu):2分20秒 Macはおそらく最適化できてないのもありそうだけど、EVO-X2はほぼソースコードいじらなくても速いことがわかった

金のニワトリ (@gosrum) 's Twitter Profile Photo

下記のPRを参考にしたら推論できるようになりました。(M2 Ultraです)GPUが全力を出しているときは50W超えるはずなので、全力を出せるようになればもっと速くなると思います。 モデル側のコードをいじる必要があるので、マージされるのを待つか、PRを読み込むと良さそうです huggingface.co/deepseek-ai/De…

ぬこぬこ (@schroneko) 's Twitter Profile Photo

新規の場合 GitHub リポジトリは毎回作る必要がありそうです 私は下記の URL をブックマークに入れておいて、すぐに空のリポジトリを作っています github.com/new CLI から新規作成してもいいですが、それなら Claude Code でええやんと思ってブクマにしていますw

金のニワトリ (@gosrum) 's Twitter Profile Photo

そろそろPlusプラン契約するかと思ったら、ちょうど無料オファー終わってた😭 昨日スクショを撮った時点ではまだあったのに。。。

そろそろPlusプラン契約するかと思ったら、ちょうど無料オファー終わってた😭
昨日スクショを撮った時点ではまだあったのに。。。
金のニワトリ (@gosrum) 's Twitter Profile Photo

期限がわかっていれば良かったのですが、後悔先に立たずですねw まあ損をしたわけではないので、「真に必要性を感じるまで契約しない」という己の信念を守りきった、と前向きに捉えることにします

ニケちゃん (@tegnike) 's Twitter Profile Photo

Google AI Studioのアプリ開発機能でAIニケちゃんメーカーを作成しました!! かなり簡単に画像生成できるようになっているのでぜひお試しください🙌 …n-maker-392284436710.us-west1.run.app ※ #AIニケちゃん で呟いていただくと100%見に行きます ※ お試し運用なので数日後にはクローズする予定です

Google AI Studioのアプリ開発機能でAIニケちゃんメーカーを作成しました!!
かなり簡単に画像生成できるようになっているのでぜひお試しください🙌

…n-maker-392284436710.us-west1.run.app

※ #AIニケちゃん で呟いていただくと100%見に行きます
※ お試し運用なので数日後にはクローズする予定です
NOGUCHI, Shoji (@noguchis) 's Twitter Profile Photo

DeepSeek-OCR、コード修正した点も含めてnoteにまとめておく。 VRAMは16GBでも24GBでも動く。「テキストを画像として圧縮保存すれば、LLMのコンテキスト長問題を解決できるのでは?」とのアプローチの賜物かしら。 WSL2でDeepSeek-OCRを試してみる|noguchi-shoji NOGUCHI, Shoji note.com/ngc_shj/n/nf1e…

金のニワトリ (@gosrum) 's Twitter Profile Photo

確かに、とりあえず2日間触った限りではあまりメリットを見つけられませんでした。 自分に馴染みのない言語で開発するときとかは、開発環境がなくてもすぐにある程度検証ができるのは嬉しいかもです。 こうやって言語化してみると、コーディングよりはインフラ的なところに魅力がある気がしてきました

びーぐる (@beagle_dog_inu) 's Twitter Profile Photo

金のニワトリ ありがとうございます。 > 自分に馴染みのない言語で開発するときとかは、開発環境がなくてもすぐにある程度検証ができるのは嬉しいかもです。 まさに先程これを試すことになったのですが、簡単で良かったです。CC on the webの使い方のベストプラクティスのひとつなのは間違いなさそうです。

金のニワトリ (@gosrum) 's Twitter Profile Photo

量子化してない方はこちら 速度あまり変わらないので、精度を求めるならこちらで良いかも。VRAMは4.3GB程度余分に必要 ・量子化なし:Prompt 1731tps、Generation 282tps ・4bit量子化:Prompt 1365tps、Generation 324tps