カラクリスタ・ソーシャル

あーでも今の PC に刺さってる RTX 2060 でも 170W だから、この範囲であれば十分に刺せるか

しかし問題はワイの PC 的に電源足りるか、とか、そもそも刺さるか、と言う問題もあるので、 GPU 選ぶの割と難しいな……。あと当然資金の問題もある

Code Llama はVRAM をどれくらい必要とするか、と言う事を調べていたらこの記事が引っ掛かった。一応の目安としては 16GB あればある程度は安心、と言う印象

• https://zenn.dev/kun432/scraps/d532830c0f2260

Coding 向け LLM を動かすには VRAM を多く積む GPU が必要、しかし RTX 3060 は 12GB しかないし、かと言って RTX 4060 Ti は 16GB の VRAM を積むが世間の評価的にあまりよろしくない、と言う感じで、さて予算いくらでどの GPU を買えば良いのやら……と言う心持ちになっています

今日試してた AI Code Completion 系ソフトウェアの中で、一番開発が活発そう + 実用できそう、と言う印象だったのは Tabby なんだけど、 VRAM が足りなくて一部のモデルしか動かせなかったので、やっぱり強い GPU が必要と言う結果になりました

• https://tabby.tabbyml.com/docs/models/

ちなみに現段階の Tabby に対する nixpkgs 定義はこれ。正直あまりお行儀の良い書き方をしていないので、どこかで一回清書すると良いかもしれない:

• https://github.com/nyarla/nixos-configurations/blob/9acd1602fc3c935dfff67fe4f622e5388018ea8e/pkgs/tabby/default.nix

そう言え AI Code Completion 系ソフトウェアの Tabby が時前コンパイルで動かなかった件、どうも Tabby 本体のバグだったみたいで、具体的には unsigned な値が -1 とかになって overflow してたのが原因だった

• https://github.com/TabbyML/tabby

今日色々と AI Code Completion 系のやつを試していたんだけど、self-hosted 系は neovim のプラグインを自前で書かないとダメっぽそう、と言う結果になったので、nvim-cmp 向けにプラグイン書くしか無いかーと言う気分になっています

NixOS の更新を掛けたところシステムのビルドに一時間掛かった時の顔をしています

しかし turbopilot で code completion をすると GPU から怪音がする……

ちょっと前に遅いと言っていた turbopilot 、今パラメーターとか調整し直して動かしたところそれなにの速度で動いたので、速度が遅かったのは単純に自分が悪かっただけっぽい。すみません……

TabbyML/tabby 、公式の docker イメージを動かしたところ何も問題なく動いたので、やっぱり自分でビルドしたやつが動いてないだけだった

• https://github.com/TabbyML/tabby

AI 周りのソフトウェア、cuda の version とか GPU の VRAM 容量とかが絡んでくるから、割と動かない原因の切り分けが大変

TaddyML/taddy を自分でビルドしてテストしてるnnだけど、どっかで overflow しているのか何故か動かない

• https://github.com/TabbyML/tabby

胃が痛くなってきた…‥

人間、感情の火力が上がってくると無自覚に踏み付けるものが増えてしまうので、やはり火力を過剰に上げないことが重要

先日 X(鳥)で火力の上がった方を見た結果メンタルに悪影響が出ているので、やっぱりX(鳥)は見てはならない、と言う結論になった。

ひたすらビルドエラーを潰すだけの根気の要るお仕事

これをビルドして試そうとしているんだけど、nixpkgs でのビルドがなかなか進まないでござる：

• https://github.com/TabbyML/tabby

うーん、turbopilot 、README にも書いあった通り、まだ実用的な速度で code completion は出来ないっぽいな。他のローカルで動く系は試してないんだけど