以后的PC会不会像手机一样装上NPU这类的AI芯片？

Sza

出于纯外行的好奇心
刚刚用CPU跑waifu2x时想起来跑这类模型的速度似乎是NPU＞GPU＞CPU（好像NPU对内存容量的需求也大于GPU），同时之前思元270的新闻让我了解到已经有了PCI-E接口的AI芯片板卡产品。

既然手机上的NPU已经可以用来处理照片、录像和语音识别，所以会不会以后有单独的板卡或者是CPU或者显卡上带有集成核心来处理PC的图片、视频后期或者是3D程序抗锯齿？说起来AI抗锯齿已经有老黄用Tensor Core跑的DLSS，听说效果一言难尽。

creymorgan

NV GPU里面的Tensor单元就是类似NPU的硬逻辑，不是可编程管线跑AI软件了

Sza

处男鉴黄师 发表于 2019-6-24 18:23
不会。厂商会让你付费云计算再把结果传回来给你。

感觉手机上那么大的SoC都能塞进去，牙膏厂yes厂塞个NPU进去也不算奇怪吧？台式机且不论，至少苏菲之类的平板也用得上。

lwa190212

现在手机上是处理单元+算法打包卖
至于你说的集成核心来处理PC的图片、视频后期或者是3D程序抗锯齿，老黄不是都有在搞吗你看rtx有个应用不就是搞8k视频的

Liza

敢情炼丹师炼丹不是用PC炼的

Sza

madbird302 发表于 2019-6-24 18:45
如果你买的是这两年的N卡，已经有Tensor core了呀

主楼写到最后一句的时候才意识到的确已经有了，但不清楚PC端上有没有使用张量核心的“真香”应用，比如说DLSS吗……

Sza

Liza 发表于 2019-6-24 18:49
敢情炼丹师炼丹不是用PC炼的

主要还是好奇面向普通用户的产品。。毕竟手机AI拍照已经傻瓜式的便捷了

Sza

madbird302 发表于 2019-6-24 19:29
单独的应用应该还没有，游戏也是刚开始有内部调用GPU这方面机能的使用，这东西在MiD上的推广比PC端要容易 ...

好像的确是如此，移动设备上比较好实现

画月亮NB！(小声逼逼

obiy

10代的intel cpu有提到通过深度学习来调节频率，应该是cpu自己实现的逻辑。

Intel says it focused on beefing up 10th Gen Core's artificial intelligence features so that machines powered by the processors can be more responsive. To that end, Intel's promising a 2.5x improvement in AI performance over the previous generation of chips thanks to Deep Learning (DL) Boost dynamic tuning that can predict workloads and maximize performance.

你说的ai应用都是适合独立gpu计算的，那样的处理器规模都搞不好现在的应用，说明距离其他部件自己集成还有很长的路。
现在完全应用实时光追的游戏就Quake 2 RTX，计算能力还差得远。

Sza

obiy 发表于 2019-6-24 20:12
10代的intel cpu有提到通过深度学习来调节频率，应该是cpu自己实现的逻辑。
你说的ai应用都是适合独立gpu计 ...

其实刚才我也想起来牙膏的10nm产品，重温了一遍白嫖王的COMPUTEX2019报道：
https://www.bilibili.com/video/av54651344
最后一分钟的确提到了新U的“AI应用”，应该如你所说没有加入单独的推理单元（是这么称呼的吧？）。

唔，原以为也会像手机SoC那样有个NPU来着，我还是洗洗睡吧……
补充：对于你最后一句，我查了一下光追用的是RT Core，不是Tensor Core，光追似乎和AI没关系？
参考：https://www.zhihu.com/question/290167656

dkswxd

有没有炼丹dalao帮我看看我的问题

求助，关于anaconda3/pkgs/cudatoolkit-*和nvidia-cuda-toolkit的区别
需要用实验室的电脑训练模型，学长说cuda、pytorch这些环境都已经配好了
actiavte环境，照着github上安装步骤setup.py，没有出问题，运行train.py出错，我感觉最关键的错误提示是‘Not compiled with GPU support (nms)’
回头检查发现setup.py时CUDA_HOME=NONE，由于没有CUDA的环境变量所以没有编译GPU支持
那我就加上环境变量呗，结果/usr/local/cuda不存在，真的有cuda吗？试了一下nvcc -V，不存在，请安装nvidia-cuda-toolkit
拉来学长，学长说cuda有啊，打开anaconda3/pkgs/cudatoolkit-*，真的有cuda，而且torch.cuda.is_available() = ture，但是一看才500MB，nvidia官网上下下来要2.5GB
所以想问问anaconda3/pkgs/cudatoolkit-*和nvidia-cuda-toolkit一样吗？
anaconda3/pkgs/cudatoolkit-*也是cuda吗？但为什么没有nvcc和环境变量？

Sza

伊可费斯 发表于 2019-6-24 20:37
问题不是压根没有配合使用的应用么

就是这个问题嘛

Sza

dkswxd 发表于 2019-6-24 20:32
有没有炼丹dalao帮我看看我的问题

求助，关于anaconda3/pkgs/cudatoolkit-*和nvidia-cuda-toolkit的区别

等学ML的大佬帮你吧，没人回的话单开贴好了，我小白围观

obiy

会

紫薯布丁

Sza

whzfjd 发表于 2024-6-11 01:13
问题是pc插gpu没限制啊，办公本塞个npu有多大意义

我看了下极客湾最近几期台北展的报道，各家芯片厂给笔记本soc加npu主要是为了低功耗跑ai应用，省电。

chaos7

看了一下,微软对Ai PC的NPU算力要求是40tops,大概是什么型号N卡的水平?能不能用来搞大语言模型?

Sza

chaos7 发表于 2024-6-11 03:28
看了一下,微软对Ai PC的NPU算力要求是40tops,大概是什么型号N卡的水平?能不能用来搞大语言模型? ...

第一个问题：按https://www.nvidia.cn/geforce/graphics-cards/40-series/的说法，台式机显卡最低的是rtx2060的“第 2 代 52 AI TOPS”。
第二个问题：我没跑过大语言模型不知道这样的算力怎么样。按https://benchlife.info/nvidia-geforce-rtx-gpu-is-high-performance-and-low-latency-the-best-choice-for-ai-pc/报道的说法

在個人電腦領域，現在廣泛談論配備 NPU 處理器的必要性，已知產品（無論正式推出與否）的運算能力在 10～45 TOPS 之間。NVIDIA 認為，這只夠用來處理很基本的 AI 運算，例如 Windows Studio 視訊特效處理，特別是為考量電池續航力因素的筆電，NPU 可扮演 AI 運算輔助角色。

反觀在內容創作、生產力、開發，或說本地 LLM、Chat 等 AI 應用，搭載 GeForce RTX 獨立顯示卡的桌機環境，可提供 100～1,300+ TOPS 不等運算能力，相對而言更快速、更有效率可言，同時能獲得更好的品質或能夠使用進階功能，NVIDIA 自然是推崇使用 NVIDIA RTX 獨立顯示卡。

配图是这俩张

mimighost

on device的npu，emmm，我觉得有戏，但是更有可能是被cpu给涵盖了，要一个单独的芯片有啥意义