AndroidスマホのNPUとCPUでLLMの性能を比較検証。Samsung S25 UltraでLFM2-1.2Bモデルを使い、NPUはCPUより2～4倍高速で、バッテリー効率も3.7倍高い結果に。CPUは温度上昇で性能低下するが、NPUは安定。
-
1：以下、名無しがお送りします
スマホのNPUとCPUでLLMの性能テストしてみた https://youtu.be S25 UltraでLFM2-1.2Bってモデル使って10分間負荷テスト CPUはすぐ42℃いって性能落ちたけど、NPUは36-38℃で安定の90トークン/秒 バッテリー効率もNPUの方が3.7倍良いとかマジ？ これからはNPUの時代キタコレ？ https://github.com
-
4：以下、名無しがお送りします
最適化されたソフトってマジで見つからんよな こういうテストもっとやってほしいわ
-
14：名無しのA
>>4 デバイス選択を管理するAPIがあるのに...
-
19：名無しのA
CPUが42℃ってのはミスリード 実際は80℃以上いってるだろ
-
21：名無しのB
>>19 スマホのCPUが80℃？ マジかよ
-
98：名無しのD
>>21 Regmagicはエミュレータで106℃までいくぞ デバイスの外側の温度は半分以下だけどな
-
107：以下、名無しがお送りします
>>21 古いスマホだけど、夏に外でゲームしてたら98℃まで上がったことあるわ
-
30：名無しのA
>>21 当たり前だろ 最近のスマホSOCはそんなもんだ デスクトップもな
-
37：名無しのB
>>30 スマホの外側の温度しか気にしたことなかったわ CPUの温度なんて測ったことねー
-
46：名無しのA
>>37 冷却性能が素材の耐熱温度に影響するわけないだろ
-
54：名無しのC
>>30 普通は75℃くらいで、負荷かけたら80℃まで上がるくらいだぞ 85-90℃でシャットダウンするのは破損を防ぐため
-
57：名無しのA
>>54 お前のだけだろ
-
65：名無しのC
>>57 Snapdragon 8 Elite Gen3の話
-
68：名無しのA
>>65 EliteなのかGen3なのかどっちだよ
-
74：名無しのC
>>68 Gen4の間違い
-
81：名無しのD
>>21 Regmagicはエミュレータで106℃までいくぞ デバイスの外側の温度は半分以下だけどな
-
89：名無しのB
>>81 マジかよ、知らなかった 外側の温度しか見てなかったから、そんなに熱くなると思ってなかったわ
-
114：以下、名無しがお送りします
MediaTek、Tensor、Exynosのスマホだとどうなるんだ？ NPUとCPUの差は？ 音声認識とか翻訳のベンチマークも見てみたい
-
118：以下、名無しがお送りします
スマホでモデルを動かすのってAPIが色々あって、どれが動くか交渉しなきゃいけない感じだったんだよな だからアプリでNPU活用されてないのか