硬核观察 #630 Facebook 开源挑战 GPT-3 的语言模型
Facebook 开源挑战 GPT-3 的语言模型
OpenAI 的文本生成神经网络 GPT-3 是目前最先进的语言模型之一，使用了 1750 亿个参数，但它至今没有开源，只通过其申请及审核程序提供给学术界和商业实体使用。现在 Meta 开源了能挑战 GPT-3 的语言模型开放式预训练变换模型 OPT-175B，使用了能比拟 GPT-3 的 1750 亿个参数。作者们在论文中说，“考虑到计算成本，如果没有大量资金，这些模型很难复制。对于少数通过 API 可调用的模型（暗指 GPT-3），如果不能获得完整的模型权重，就难以进行研究。……因此，我们推出了 OPT（这是一个只有解码器的预训练变换模型）……”
老王点评：在这件事上，Meta 真的很棒，只有开源才能真正推动 AI 的发展。
RTX 30 全系显卡挖矿限制遭破解
去年，为了遏制游戏显卡被用于挖矿，英伟达限制了新上市 RTX 30 系列显卡的算力水平，这批显卡被称之为 LHR（低哈希率）显卡。本周，NiceHash 宣布，继去年 8 月成功解锁 LHR 显卡 70% 的原始算力后，现在几乎 RTX 30 全系 LHR 显卡已经被 100% 破解。只有 RTX 3050 和RTX 3080 12GB，所需要的新算法还没完工。
老王点评：终究，显卡还是被用于挖矿了。
谷歌正在为 Linux 研究加密休眠支持
谷歌工程师正在研究安全地“在一些新的场景中启用休眠”。除了采取预防措施，确保恶意的用户空间不能利用休眠数据，谷歌安全团队也在强制要求加密休眠。谷歌现在正在研究基于内核的加密，支持使用 TPM 支持的密钥来加密休眠镜像，用 PCR 策略来密封加密密钥，以及其他工作来确保加密的休眠镜像可以被信任。
老王点评：这个倒是一直以来的一个薄弱点，虽然对于服务器意义不大，但对于桌面设备有意义。