GPT-2 曾因“太危险”被 OpenAI 延迟发布,9 个月后才公开 1.5B 参数模型
2019 年,OpenAI 认为 GPT-2 可能被恶意滥用,只发布了小模型,大模型(1.5B 参数)延迟 9 个月才公开。GPT-2 与 GPT-1 架构相同,只是参数多了 10 倍、训练数据达 40GB,在多项基准上达到 SOTA。OpenAI 在延迟期间发现:人类很难分辨 GPT-2 生成的文本,检测模型准确率约 95%,但未发现明显滥用案例。
由于担心技术被恶意应用,我们不发布完整模型,而是发布一个更小的模型供研究人员实验。