Profile for nyarla
- Display name
- にゃるら / カラクリスタ
- Username
- @nyarla@kalaclista.com
- Role
- admin
About nyarla
Fields
- Profile (ja)
- https://the.kalaclista.com/nyarla/
- Blog (ja)
- https://the.kalaclista.com/posts/
- Pronouns
- they/them
- Email (ja/en)
- nyarla@kalaclista.com
- OpenPGP
- 595E03433825AE5AD82894013993542AC175077E
Bio
「輝かしい青春」なんて失かった人。ネットでは「にゃるら」とか「カラクリスタ」と名乗っています
※ なお「NEEDY GIRL OVERDOSE」の企画・シナリオに携われた「にゃるら」さんとは別の人です
フォローにはロックを掛けていますが、相手を見て問題なさそうなら許可しています
ブログ・他のアカウントなど
- プロフィール: https://the.kalaclista.com/nyarla/
- ブログ: https://the.kalaclista.com/posts/
- GitHub: https://github.com/nyarla/
- Zenn: https://zenn.dev/nyarla/
- しずかなインターネット: https://sizu.me/nyarla/
- Misskey.io: @nyarla
運用サーバについて
この個人インスタンスでは GoToSocial の 個人的な fork を Fediverse Software として使っています
またインフラには fly.io を使っていますが、いかんせんスペックをケチっているので、Boost一発で沈むときも稀にあります。ただしその時は大抵インスタンスの再起動で直るので、別に Boost に気を使わなくとも大丈夫です
ただ ActivityPub の互換性の都合上、一部の実装・サービスとは相互通信が出来ない場合もありますので、その点はご了承ください
※ 今のところ、threads.net と相互通信が出来ないことを確認しています
Stats
- Joined
- Posts
- 2610
- Followed by
- hidden
- Following
- hidden
Code Llama はVRAM をどれくらい必要とするか、と言う事を調べていたらこの記事が引っ掛かった。一応の目安としては 16GB あればある程度は安心、と言う印象
Coding 向け LLM を動かすには VRAM を多く積む GPU が必要、しかし RTX 3060 は 12GB しかないし、かと言って RTX 4060 Ti は 16GB の VRAM を積むが世間の評価的にあまりよろしくない、と言う感じで、さて予算いくらでどの GPU を買えば良いのやら……と言う心持ちになっています
今日試してた AI Code Completion 系ソフトウェアの中で、一番開発が活発そう + 実用できそう、と言う印象だったのは Tabby なんだけど、 VRAM が足りなくて一部のモデルしか動かせなかったので、やっぱり強い GPU が必要と言う結果になりました
ちなみに現段階の Tabby に対する nixpkgs 定義はこれ。正直あまりお行儀の良い書き方をしていないので、どこかで一回清書すると良いかもしれない:
そう言え AI Code Completion 系ソフトウェアの Tabby が時前コンパイルで動かなかった件、どうも Tabby 本体のバグだったみたいで、具体的には unsigned な値が -1 とかになって overflow してたのが原因だった
今日色々と AI Code Completion 系のやつを試していたんだけど、self-hosted 系は neovim のプラグインを自前で書かないとダメっぽそう、と言う結果になったので、nvim-cmp 向けにプラグイン書くしか無いかーと言う気分になっています
NixOS の更新を掛けたところシステムのビルドに一時間掛かった時の顔をしています
しかし turbopilot で code completion をすると GPU から怪音がする……
ちょっと前に遅いと言っていた turbopilot 、今パラメーターとか調整し直して動かしたところそれなにの速度で動いたので、速度が遅かったのは単純に自分が悪かっただけっぽい。すみません……
TabbyML/tabby 、公式の docker イメージを動かしたところ何も問題なく動いたので、やっぱり自分でビルドしたやつが動いてないだけだった