KeruruDiary

おめざめ

0800 まずまずのおめざめ。

おしごと

30分だけ昨日かけっぱなしにしたScriptが完了していることの確認しておわり。

LocalLLMでもVibe Codingしたい

LocalLLMとしてはマイナーかもしれないがFoundry localを用いている。そのうち様々環境が増えてくると思うけれど、CPUがSnapdragon XシリーズのいわゆるARM版WindowsでGPUとかちゃんと使って推論してくれるのがあまり選択肢として無いのだ。

Windows NativeとしてFoundry localを動かし、開発は基本的にWSL2のUbuntuの中で行っているのでWSL2の中から呼び出す感じ。

AIder

VibeCodingするのにAIderと言うのが楽に導入できそうだ。pip installで導入が出来る。サクッと導入して設定を済ませて早速動作させてみる。

おぉ、ちゃんとFoundry localで考えてくれてaiderが直接コード修正とかしてくれてる。モッサリした開発速度になるけれど、トークン費用を気にせず開発できるのは良いなぁ。

Foundry local

一度インストールしたままにしていたのでリポジトリを見に行ったらアップデートファイルがあったので入れ直し。 CLI版を愛用しているのだが見た目が変わって見やすくなっていて良い感じ。

やはりLocalLLMではしんどい

時間が多少かかるのは仕方がないとしてやはりモデルが少し古い。ましてLM StudioやOllamaと比べてもFoundryは少し古いモデルが多いのでどうしても性能差を感じてしまう。 ARM CPUでLocal LLMを快適に利用するにはもう少し時間が必要そう？（そもそもとして市場が小さくて利用者も少なそう、というのもあるのだと思う）