红色中国网

 找回密码
 立即注册
搜索
楼主: 龙翔五洲

巨头混战ChatGPT,新纪元将启还是过度神化? [复制链接]

Rank: 3Rank: 3

发表于 2023-2-14 01:13:16 |显示全部楼层
本帖最后由 sky1966 于 2023-2-14 01:16 编辑
远航一号 发表于 2023-2-12 23:26
有意思的观察

不过个人觉得所谓机器人会淘汰人机器这种可能性被极大夸大了

说的没错,之前想法写得不够全:
人机器特指以非物质性生产(符号性生产)的人,下至网文写手街头音乐家,中至医生律师,上至高级官僚立法。

替代难的原因在我看来有两大因素,感受器和作用器。感受器上人的优势——注意力,机器人比不过人的原因是机器人没有注意力(舍弃大部分注意一小部分),会消耗极大的资源,机器人在这个方面相对落后,而人很节能。第二个是作用器,人的优势是变化的手指和运动,也可以称作肌肉优势,这是上帝的杰作,这点机器人绝对的落后。

以上可以部分揭示农民一直没被替代的原因,只要没有美国这种天赐的大平原,人永远是节能而且灵巧的。
相反,语言被攻关不是因为语言注意力要求低,语境和长句分析简直太烧算力了,一点不比图像简单。但是标准化语言的普遍性,和他的收益太让人眼馋了,特别是公共语言学习,义务教育灌输的东西,法律,计算机语言等等,从中还是可以看出和资本主义的普遍性狼狈为奸的趋势,我观察下来,这些生态位职业共同体的反应也是最大的。比如教师禁止用AI做题,很多上述领域的期刊急忙拒认AI辅助(难怪啊,AI写得比他们更好)

结论就是流血汗的技艺劳动还有价值,自然语言AI剿灭的资本主义建制生态位至少不是体力劳动者。

使用道具 举报

Rank: 6Rank: 6

发表于 2023-2-16 16:41:55 |显示全部楼层
关于#chatgpt# 背后的算力和经济账

1、根据微软介绍,微软Azure为OpenAI开发了一个定制的超级计算机。这个超级计算机在全球超算排名里面可以位列前五。这个计算机是一个单一系统,具有28.5万个CPU核心,1万个GPU(据称为英伟达V100)和400 GB/s的GPU服务器网络传输带宽。

2、根据OpenAI,训练一次1746亿参数的GPT-3模型需要的算力为3640PFlops-day。换句话说,以每秒1千万亿次的速度计算,要算10几年。(目前国内很多城市建设的计算中心规模都在100P-300P,这些计算中心训练一次大概两周到一个月)

3、ChatGPT所基于的模型参数比较小,只有13亿参数,只能算一个小应用。

4、Lambda估计,训练一次GPT3模型花费的算力成本超过460万美元。

5、下一代大模型GPT-4尚未发布,据称参数上万亿。

6、据称,每次用户与ChatGPT互动,产生的算力云服务成本为0.01美元。

点评

指鹿为马  PFlop/s表示1秒运算1千万亿次浮点指令 3640PFlops-day改成3640 day(PFlop/s)更容易看懂  发表于 2023-2-16 17:18:17

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

Archiver|红色中国网

GMT+8, 2024-3-29 02:35 , Processed in 0.028165 second(s), 9 queries .

E_mail: redchinacn@gmail.com

2010-2011http://redchinacn.net

回顶部