カラクリスタ・ソーシャル

作った:

• https://github.com/nyarla/tinylru

ちなみに弊個人インスタンスも以前 1k クラスのフォロワー持つ方から Boost されたら沈みかけました。

まぁこれはインスタンスのスペックをケチってるせいでもあるんだけど、基本分散 SNS ってちょっとしたアクションでも DDoS クラスのアクセスが発生しやすいので、中央集権 SNS の方がネットワーク効率やデータ保存効率が良いのは確か。

とは言え中央集権 SNS はネットワーク効果で抜けづらくなった時に鳥化するととどうしようも無くなるので、まぁメリデメ両方ある感じではある

io の村上さんが『分散 SNS は効率が悪い』と言う発言をインタビューでして一部から顰蹙を買っているようなんだけど、分散 SNS と言う仕組み自体、効率は悪いよ。

と言うか分散 SNS って結局はサーバサイド P2P だから、P2P であるが故の効率の悪さは当然あるし、あとプロトコル自体もデータが無限に増えていく仕組みなので、その点でも効率は悪い。

それとフォロワー規模の大きいアカウントから Boost とか renote されると弱小個人鯖が一発で沈むぐらいのアクセスが発生するし、日常的に DDoS クラスのアクセスが発生しやすい分散 SNS は効率が悪い、と言う事はある程度の技術をかじっていれば分かると思う

鳥、知人の近況を知るためのアカウントを残してあるんだけど、もはやちょっとした論難でも戦争が起き凍結が始まる印象なので、もう何も意見表明する事ができない印象がある

久しぶりにX(鳥)である界隈を見に行ったところ、戦乱が起きたのか論客が片っ端から凍結されており、訳が分からないよ、となって帰って来ました

あーでも今の PC に刺さってる RTX 2060 でも 170W だから、この範囲であれば十分に刺せるか

しかし問題はワイの PC 的に電源足りるか、とか、そもそも刺さるか、と言う問題もあるので、 GPU 選ぶの割と難しいな……。あと当然資金の問題もある

Code Llama はVRAM をどれくらい必要とするか、と言う事を調べていたらこの記事が引っ掛かった。一応の目安としては 16GB あればある程度は安心、と言う印象

• https://zenn.dev/kun432/scraps/d532830c0f2260

Coding 向け LLM を動かすには VRAM を多く積む GPU が必要、しかし RTX 3060 は 12GB しかないし、かと言って RTX 4060 Ti は 16GB の VRAM を積むが世間の評価的にあまりよろしくない、と言う感じで、さて予算いくらでどの GPU を買えば良いのやら……と言う心持ちになっています

今日試してた AI Code Completion 系ソフトウェアの中で、一番開発が活発そう + 実用できそう、と言う印象だったのは Tabby なんだけど、 VRAM が足りなくて一部のモデルしか動かせなかったので、やっぱり強い GPU が必要と言う結果になりました

• https://tabby.tabbyml.com/docs/models/

ちなみに現段階の Tabby に対する nixpkgs 定義はこれ。正直あまりお行儀の良い書き方をしていないので、どこかで一回清書すると良いかもしれない:

• https://github.com/nyarla/nixos-configurations/blob/9acd1602fc3c935dfff67fe4f622e5388018ea8e/pkgs/tabby/default.nix

そう言え AI Code Completion 系ソフトウェアの Tabby が時前コンパイルで動かなかった件、どうも Tabby 本体のバグだったみたいで、具体的には unsigned な値が -1 とかになって overflow してたのが原因だった

• https://github.com/TabbyML/tabby

今日色々と AI Code Completion 系のやつを試していたんだけど、self-hosted 系は neovim のプラグインを自前で書かないとダメっぽそう、と言う結果になったので、nvim-cmp 向けにプラグイン書くしか無いかーと言う気分になっています

NixOS の更新を掛けたところシステムのビルドに一時間掛かった時の顔をしています

しかし turbopilot で code completion をすると GPU から怪音がする……

ちょっと前に遅いと言っていた turbopilot 、今パラメーターとか調整し直して動かしたところそれなにの速度で動いたので、速度が遅かったのは単純に自分が悪かっただけっぽい。すみません……

TabbyML/tabby 、公式の docker イメージを動かしたところ何も問題なく動いたので、やっぱり自分でビルドしたやつが動いてないだけだった

• https://github.com/TabbyML/tabby

AI 周りのソフトウェア、cuda の version とか GPU の VRAM 容量とかが絡んでくるから、割と動かない原因の切り分けが大変

TaddyML/taddy を自分でビルドしてテストしてるnnだけど、どっかで overflow しているのか何故か動かない

• https://github.com/TabbyML/tabby

胃が痛くなってきた…‥