メッセージ
2026年05月03日の記事
2026/05/03(日)2026-05-03
foundryでLocalLLMする
Snapdragonとか言う変態的なCPUを積んだNotePCをメインPCにしてしまったのでLocalLLMを愉しむのも一苦労したのでみんなちゃんとMacbook買おうね。さてSnapdragon搭載のWindowsでは現在一番まともに使えそうなのはfoundryだ。
PS C:\windows\system32> foundry model list
Alias Device Task File Size License Model ID
-----------------------------------------------------------------------------------------------
qwen2.5-coder-0.5b CPU chat, tools 0.80 GB apache-2.0 qwen2.5-coder-0.5b-instruct-generic-cpu:4
--------------------------------------------------------------------------------------------------------------------------------
phi-4-mini-reasoning CPU chat 4.52 GB MIT Phi-4-mini-reasoning-generic-cpu:3
-------------------------------------------------------------------------------------------------------------------------
qwen2.5-0.5b CPU chat, tools 0.80 GB apache-2.0 qwen2.5-0.5b-instruct-generic-cpu:4
--------------------------------------------------------------------------------------------------------------------------
qwen2.5-1.5b NPU chat, tools 2.78 GB MIT qwen2.5-1.5b-instruct-qnn-npu:2
CPU chat, tools 1.78 GB apache-2.0 qwen2.5-1.5b-instruct-generic-cpu:4
--------------------------------------------------------------------------------------------------------------------------
qwen2.5-coder-1.5b CPU chat, tools 1.78 GB apache-2.0 qwen2.5-coder-1.5b-instruct-generic-cpu:4
--------------------------------------------------------------------------------------------------------------------------------
phi-4-mini CPU chat, tools 4.80 GB MIT Phi-4-mini-instruct-generic-cpu:5
------------------------------------------------------------------------------------------------------------------------
qwen2.5-14b CPU chat, tools 11.06 GB apache-2.0 qwen2.5-14b-instruct-generic-cpu:4
-------------------------------------------------------------------------------------------------------------------------
qwen2.5-coder-14b CPU chat, tools 11.06 GB apache-2.0 qwen2.5-coder-14b-instruct-generic-cpu:4
-------------------------------------------------------------------------------------------------------------------------------
qwen2.5-coder-7b CPU chat, tools 6.16 GB apache-2.0 qwen2.5-coder-7b-instruct-generic-cpu:4
------------------------------------------------------------------------------------------------------------------------------
qwen2.5-7b NPU chat, tools 2.78 GB MIT qwen2.5-7b-instruct-qnn-npu:2
CPU chat, tools 6.16 GB apache-2.0 qwen2.5-7b-instruct-generic-cpu:4
------------------------------------------------------------------------------------------------------------------------
gpt-oss-20b CPU chat 12.26 GB MIT gpt-oss-20b-generic-cpu:1
----------------------------------------------------------------------------------------------------------------
phi-3-mini-128k NPU chat 2.78 GB MIT phi-3-mini-128k-instruct-qnn-npu:3
CPU chat 2.54 GB MIT Phi-3-mini-128k-instruct-generic-cpu:3
-----------------------------------------------------------------------------------------------------------------------------
phi-3.5-mini NPU chat 2.78 GB MIT phi-3.5-mini-instruct-qnn-npu:2
CPU chat 2.53 GB MIT Phi-3.5-mini-instruct-generic-cpu:2
--------------------------------------------------------------------------------------------------------------------------
phi-4 CPU chat 10.16 GB MIT Phi-4-generic-cpu:2
----------------------------------------------------------------------------------------------------------
deepseek-r1-7b NPU chat 3.71 GB MIT deepseek-r1-distill-qwen-7b-qnn-npu:2
CPU chat 6.43 GB MIT deepseek-r1-distill-qwen-7b-generic-cpu:4
--------------------------------------------------------------------------------------------------------------------------------
phi-3-mini-4k NPU chat 2.78 GB MIT phi-3-mini-4k-instruct-qnn-npu:3
CPU chat 2.53 GB MIT Phi-3-mini-4k-instruct-generic-cpu:3
---------------------------------------------------------------------------------------------------------------------------
mistral-7b-v0.2 CPU chat 4.07 GB apache-2.0 mistralai-Mistral-7B-Instruct-v0-2-generic-cpu:3
---------------------------------------------------------------------------------------------------------------------------------------
deepseek-r1-14b NPU chat 7.12 GB MIT deepseek-r1-distill-qwen-14b-qnn-npu:2
CPU chat 11.51 GB MIT deepseek-r1-distill-qwen-14b-generic-cpu:4
---------------------------------------------------------------------------------------------------------------------------------
qwen3-0.6b CPU chat, tools 0.58 GB apache-2.0 qwen3-0.6b-generic-cpu:4
PS C:\windows\system32>
現状これだけのモデルが使えてDeviceがNPUのものであればNPUを活用してLocalLLMが使えるようになる。 45TOPS程度なのでGPUゴリゴリのPCには当然負けるし、NPUが使えるモデルがまだまだ少ない現実なのでどこまで活用できる？と言われると微妙だなぁと言わざる得ない。
素直にCopilot+PCとして使う？
現状使ってみて便利かな？と思ったのは Recall で定期的に画面のスナップショットをローカルに保存して後から検索ができるなんとなくタイムマシンっぽいもの、Live Captionsがもう少し使えるようになるとうれしいかなぁ？と言う感じとClick to Do でテキストや画像の処理、程度のもの。
現状まだまだ微妙だよね。
MTerm
iOSで便利に使えるTerminalアプリケーション。Liquid Logicを愛用中だが、VLMを使う時に便利そうだったので購入した。が、数日前のupdateの際にアプリ内で管理する証明書が意図せずupdateされてしまった様で管理するサーバーに繋がらなく。
LiquidLogicでは繋げることが出来たので事なき得たがちょっと依存は危険そうだ。バックアップルートは用意しておかないといけないな。
おめざめ
0800 シャワってご飯食べてお散歩。
散髪
今日は床屋さんやってた。散髪に。