苹果取消造车，加码生成AI

ycjiang1337

ganeid 发表于 2024-2-28 17:23
所以说什么才算成功，造出来个文心一言水平的算不算成功
搞生成式ai的大厂背后都有不小的云计算业 ...

苹果真要是有心完全可以用M1Ultra组个现成的推理卡往外卖，低算力高存储做大模型推理卡的思路老黄也在用。结果过去两年苹果完全在梦游……

木谷高明

ycjiang1337 发表于 2024-3-3 13:54
苹果真要是有心完全可以用M1Ultra组个现成的推理卡往外卖，低算力高存储做大模型推理卡的思路老黄也在用 ...

纯推理卡门槛挺低的，以前做比特币矿机的比特大陆现在都有推理卡/模组/边缘计算盒子

能训练的才是高端货，比如华为

ycjiang1337

木谷高明 发表于 2024-3-3 20:00
纯推理卡门槛挺低的，以前做比特币矿机的比特大陆现在都有推理卡/模组/边缘计算盒子

能训练的才 ...

首先，你说的那种推理卡是跑边缘计算人脸识别之类低负载任务的推理卡，跟大模型推理卡完全不是一个概念。大模型推理卡对大内存是刚需，目前按内存容量，单位内存容量最便宜的推理卡基本上就是M系，96GB内存的Mac Studio价格也就跟老黄24G内存的A10系列差不多，同样内存的H20价格起码要翻两到三倍。虽然目前大厂都直接采购训练卡用来推理，但是如果真能把大模型推理卡的价格压到跟老黄的普通推理卡差不多那也同样有市场。

然后M系也确实可以训练，pytorch的MPS适配甚至是官方主线上的功能，虽然算力惨了点，跟MI系列或者昇腾910B这个级别的正经数据中心卡肯定比不了，但也毕竟是可以训练的……

乌啦啦乌啦啦乌