検索条件
全28件
(6/6ページ)
2026/05/03(日)2026-05-03
foundryでLocalLLMする
Snapdragonとか言う変態的なCPUを積んだNotePCをメインPCにしてしまったのでLocalLLMを愉しむのも一苦労したのでみんなちゃんとMacbook買おうね。さてSnapdragon搭載のWindowsでは現在一番まともに使えそうなのはfoundryだ。
PS C:\windows\system32> foundry model list
Alias Device Task File Size License Model ID
-----------------------------------------------------------------------------------------------
qwen2.5-coder-0.5b CPU chat, tools 0.80 GB apache-2.0 qwen2.5-coder-0.5b-instruct-generic-cpu:4
--------------------------------------------------------------------------------------------------------------------------------
phi-4-mini-reasoning CPU chat 4.52 GB MIT Phi-4-mini-reasoning-generic-cpu:3
-------------------------------------------------------------------------------------------------------------------------
qwen2.5-0.5b CPU chat, tools 0.80 GB apache-2.0 qwen2.5-0.5b-instruct-generic-cpu:4
--------------------------------------------------------------------------------------------------------------------------
qwen2.5-1.5b NPU chat, tools 2.78 GB MIT qwen2.5-1.5b-instruct-qnn-npu:2
CPU chat, tools 1.78 GB apache-2.0 qwen2.5-1.5b-instruct-generic-cpu:4
--------------------------------------------------------------------------------------------------------------------------
qwen2.5-coder-1.5b CPU chat, tools 1.78 GB apache-2.0 qwen2.5-coder-1.5b-instruct-generic-cpu:4
--------------------------------------------------------------------------------------------------------------------------------
phi-4-mini CPU chat, tools 4.80 GB MIT Phi-4-mini-instruct-generic-cpu:5
------------------------------------------------------------------------------------------------------------------------
qwen2.5-14b CPU chat, tools 11.06 GB apache-2.0 qwen2.5-14b-instruct-generic-cpu:4
-------------------------------------------------------------------------------------------------------------------------
qwen2.5-coder-14b CPU chat, tools 11.06 GB apache-2.0 qwen2.5-coder-14b-instruct-generic-cpu:4
-------------------------------------------------------------------------------------------------------------------------------
qwen2.5-coder-7b CPU chat, tools 6.16 GB apache-2.0 qwen2.5-coder-7b-instruct-generic-cpu:4
------------------------------------------------------------------------------------------------------------------------------
qwen2.5-7b NPU chat, tools 2.78 GB MIT qwen2.5-7b-instruct-qnn-npu:2
CPU chat, tools 6.16 GB apache-2.0 qwen2.5-7b-instruct-generic-cpu:4
------------------------------------------------------------------------------------------------------------------------
gpt-oss-20b CPU chat 12.26 GB MIT gpt-oss-20b-generic-cpu:1
----------------------------------------------------------------------------------------------------------------
phi-3-mini-128k NPU chat 2.78 GB MIT phi-3-mini-128k-instruct-qnn-npu:3
CPU chat 2.54 GB MIT Phi-3-mini-128k-instruct-generic-cpu:3
-----------------------------------------------------------------------------------------------------------------------------
phi-3.5-mini NPU chat 2.78 GB MIT phi-3.5-mini-instruct-qnn-npu:2
CPU chat 2.53 GB MIT Phi-3.5-mini-instruct-generic-cpu:2
--------------------------------------------------------------------------------------------------------------------------
phi-4 CPU chat 10.16 GB MIT Phi-4-generic-cpu:2
----------------------------------------------------------------------------------------------------------
deepseek-r1-7b NPU chat 3.71 GB MIT deepseek-r1-distill-qwen-7b-qnn-npu:2
CPU chat 6.43 GB MIT deepseek-r1-distill-qwen-7b-generic-cpu:4
--------------------------------------------------------------------------------------------------------------------------------
phi-3-mini-4k NPU chat 2.78 GB MIT phi-3-mini-4k-instruct-qnn-npu:3
CPU chat 2.53 GB MIT Phi-3-mini-4k-instruct-generic-cpu:3
---------------------------------------------------------------------------------------------------------------------------
mistral-7b-v0.2 CPU chat 4.07 GB apache-2.0 mistralai-Mistral-7B-Instruct-v0-2-generic-cpu:3
---------------------------------------------------------------------------------------------------------------------------------------
deepseek-r1-14b NPU chat 7.12 GB MIT deepseek-r1-distill-qwen-14b-qnn-npu:2
CPU chat 11.51 GB MIT deepseek-r1-distill-qwen-14b-generic-cpu:4
---------------------------------------------------------------------------------------------------------------------------------
qwen3-0.6b CPU chat, tools 0.58 GB apache-2.0 qwen3-0.6b-generic-cpu:4
PS C:\windows\system32>
現状これだけのモデルが使えてDeviceがNPUのものであればNPUを活用してLocalLLMが使えるようになる。 45TOPS程度なのでGPUゴリゴリのPCには当然負けるし、NPUが使えるモデルがまだまだ少ない現実なのでどこまで活用できる？と言われると微妙だなぁと言わざる得ない。
素直にCopilot+PCとして使う？
現状使ってみて便利かな？と思ったのは Recall で定期的に画面のスナップショットをローカルに保存して後から検索ができるなんとなくタイムマシンっぽいもの、Live Captionsがもう少し使えるようになるとうれしいかなぁ？と言う感じとClick to Do でテキストや画像の処理、程度のもの。
現状まだまだ微妙だよね。
MTerm
iOSで便利に使えるTerminalアプリケーション。Liquid Logicを愛用中だが、VLMを使う時に便利そうだったので購入した。が、数日前のupdateの際にアプリ内で管理する証明書が意図せずupdateされてしまった様で管理するサーバーに繋がらなく。
LiquidLogicでは繋げることが出来たので事なき得たがちょっと依存は危険そうだ。バックアップルートは用意しておかないといけないな。
おめざめ
0800 シャワってご飯食べてお散歩。
散髪
今日は床屋さんやってた。散髪に。
2026/05/02(土)2026-05-02
おめざめ
0800 まったり。
PC届いた
ご飯食べて食卓の周りを片付けなどをしていたらPCが届いた。早速開封。サイズ感は会社にもあるので知ってたけれど持ち上げたことなかったので金属筐体で意外にずっしりすることを知った。金属筐体は廃熱的にも良いね。
第8世代 i7 搭載 HP EliteDesk 800 G4 DM
超小型デスクトップだ。スペックは、Core i7-8700T/メモリ16GB/SSD500GB/Windows 11 Pro という感じ。
メモリは8GB * 2枚のDDR4で、SSDはSATA接続のWD BLUEだった。価格高騰の折、新品ならこのSSDだけで今回購入した一式が買えてしまう。恐ろしいね。
NVMe接続のM.2スロットもあるようだし自宅に使っていない1TBのSSDもあるので換装しても良かったのだけれど、SATA接続のSSDとか他で使いようがないしシステムディスクとして割り切れば512GBでもまぁ足りるか。ということでそのまま使うことにした。
Proxmoxをinstall
当初出たばかりの Ubuntu Server 26.04 LTS を入れようかと思っていたけれど、そういえばProxmoxって入れて遊んだことなかったなー、ということでProxmoxを導入。まぁDebianベースなのであまり変わらないのだけれど。
vmとしてUbuntu Server 26.04LTSをSetup
HostOSは変更となったがGuestOSは当初の予定通りUbuntu Server 26.04LTS を導入する。もともと今回はハイパーバイザーは入れる予定は無かったが当初の計画からCPUがi5からi7に、メモリも8GBから16GBに上振れしたので、それだったら仮想化にしてもいいか。という感じで。
仮想化のデメリット、Host機能を使いづらい
HP EliteDeskにはビジネスPCだからなのかBeepを鳴らす電圧ブザーではなく普通に小型のスピーカーが搭載されている。1基なので音圧など全く期待できないがスピーカーを繋がなくても鳴らせるのだ。
しかし仮想化したGuestOSからこれを触ろうとするとちょっと面倒。USB接続ではないのでPCIをパススルーするなりしないといけないけれどそうすると別のvmやコンテナから鳴らせなくなる。
HostOSに橋渡しをする機能を持たせればよいけれど、そうするとハイパーバイザー更新の際などにちょっと手間が増える。
という事でLXCコンテナを作成してpulse audio serverにすることにした。これでvmやコンテナのアプリから音を鳴らしたくなったらpulse audio server containerに対してtcpで音データを渡せば本体で鳴らしてくれる。
もっとも本当に小さな音でしかならないので、3.5mmジャックからもうすこしちゃんとしたスピーカーにしてあげるのが良いかもしれない。
raspberry piのプログラム移植
様々作ってたプログラムの移植環境が出来た。ただバイナリはそのまま移せないのでコンパイルし直す必要がある。まぁそれはおいおいやっていこう。今日はもう疲れた。
安心感
これまでラズパイのmicroSD上のデータ破損が怖いなーとか思いつつ使ってきたけれど、これでひとまず一安心。 Proxmoxのvmを定期的にバックアップする設定まで入れれば完璧だな。もうひと踏ん張りだ。
TODO: HP EliteDeskのwatchdogを調べる
ひとまず安定して動きそうなのだけれどふとした瞬間にNICがdownする。OSは生きていそうなのだけれどなぜかネットワークが切れてしまい、外部からサーバーとして利用していると困ってしまう。
BIOSの設定にwatchdogタイマーの設定があったので何をwatchdogするか調べよう。また、default Gatewayまでの疎通が5分断したら再起動するスクリプトも検討した方が良いかもしれない。
2026/05/01(金)2026-05-01
おめざめ
0900 ご飯の前に久しぶりに床屋さんで散髪するかとお出かけ。まだ雨がチラついていたけれどだいぶおさまったみたいだし。
お休み
床屋さんは今日はお休みのようだった。ざんねん。
まったり
アキバに出かけようかと思ってたけれどスモールファクターPCはヤフオクで買ってしまったのでアキバに行く用事がない。PCに追加して快適になりそうなパーツとか考えても実機が届いて蓋を開けるまでは要り用かどうかもわからないしね。
といあわせ対応
年休なので返答するギリも無いのだけれど週明けに覚えてないかもしれないし、PCを起動しなくても回答できるこたえは返しておこう。という感じでちょいちょい問い合わせに返信対応。ただ年休なので本気で対応してほしいならその旨を宣言していただき上司にエスカレするからね？とちょっとした非常線も張っておく。だいたいこれで無理難題は止まる。
Slackのメンション
年休とっている人にメンションが飛ばないように @ をつけずに名前だけ書く人がいるけど、休暇明けにその人が気づいてくれる可能性がどこまであるの？っていつも思う。システムにそぐわない謎な文化は滅びてほしい。
メンションを休日に受け取らなくて済むように、Slackは早く会社のスケジューラーと機能連携してほしい限り。