行走的代码生成器：chatGPT要让谷歌和程序员“下(3)
时间:2022-12-12 07:52 来源:网络整理 作者:采集插件 点击:次
全证明过程略，图片来源：@ChrisLundkvist 虽然看起来连最顶级的数学难题都难不倒 ChatGPT，Lundkvist 还是表示，自己在和 ChatGPT 玩耍的过程中发现，这家伙对的时候对，错的时候却也对自己相当自信。 “我认为这样的工具对于找到解决问题的途径具有一定的启示意义，但是我们在现阶段绝对不能完全依赖它返回的结果。” （在回答“一条直线与圆有多少个交点”这个问题时，ChatGPT 就错误地以为当直线穿过圆心时会有无限个交点。） 图片来源：@ChrisLundkvist 发起黑客攻击？ 下面这个例子更厉害了：用户BrandonDolan-Gavitt希望ChatGPT能够帮他找到一段代码当中的错误。 但实际上，这段代码的真实意图是对一个 32 位 x86 Linux 的系统，进行缓冲区溢出（buffer overflow）攻击。 图片来源：@moyix 这次 ChatGPT 似乎并没有发现用户的恶意（根据官方说明，ChatGPT 会拒绝回答带有恶意的问题），然后直接按图索骥给他把代码的问题找到了，告诉他应该如何修改代码。甚至，它还在后续回答中手把手地教用户该如何正确地触发缓冲区溢出…… 图片来源：@moyix Dolan-Gavitt 补充道，其实 ChatGPT 在回答问题的过程中也出现了错误，比如建议用户修改输入字符数的时候说错了（说成了32，应该是36）。 ——但是，当用户告诉它“好像有点不对劲”之后，ChatGPT立刻就明白了用户的意图，表示自己之前理解错了，然后提供了正确的答案…… 图片来源：@moyix 虽然缓冲区溢出属于非常初学者的攻击方式，底下的网友还是对于 ChatGPT 的能力表示佩服…… “我给它发了一段汇编语言代码，让它告诉我里面有什么漏洞，可以怎样利用——结果它还真的回答我了。所以它不光能够理解和输出代码，还可以用二进制来表达，并且还能从中找到漏洞？这真让我有点担心了……” 图片来源：@Sim_Boyer 帮你“转码” 前面举的这些例子，很多都是适用于已经具备编程能力的专业人士。 不过，也正是因为 ChatGPT 写代码改代码的能力实在太强了——对于那些想要“转码”的外行朋友来说，更是能够带来巨大的帮助。 写一些简单的代码，比如“做个登陆UI”，之类的，之前的 OpenAI API（GPT-3）已经信手拈来了。这一次在 ChatGPT 上，当然也是轻松拿下。 下面这个视频展示了让 ChatGPT 生成一个带有电子邮箱、密码输入框，以及登陆按钮的登陆界面。ChatGPT先是进行了分解演示，然后用户又让它直接提供全部代码。
考虑到之前 OpenAI API 的开放程度有限，而这一次的 ChatGPT 则是完全免费开放——那些想要转码的朋友，又能获得一件趁手的利器了。 二、破解 ChatGPT 的道德原则？ 根据 OpenAI 官方文档，ChatGPT 是一个采用了“人类反馈强化学习”（RLHF， Reinforcement Learning from Human Feedback）训练出来的新模型，加入了大量的“道德”原则。 但凡它发现你给的文字提示里面含有一点恶意，包括并不限于暴力、歧视、犯罪等意图，它都会拒绝提供有效答案，并甩给你一句标准回答，试图转移话题： “对不起，我只是一个无辜的大语言模型，我无法为你提供有关于xxxx（恶意行为）的资料和信息。提供这样的信息有悖于我的编程和设定的目标。我的主要功能是提供准确和有用的信息。如果你有其他问题，我乐意提供帮助”…… 而在所有“调戏” ChatGPT 的试验当中，有一类最为有意思：如何攻破 ChatGPT 的道德原则？ 前段时间 AI 文字生图技术爆红的时候，玩过的朋友应该都记得，能否精巧地设计你的文字提示（prompt），对于生成好看有趣甚至邪恶的图片结果至关重要。于是在 AIGC 的时代，“提示工程”（prompt engineering）也就成了非常有意思的一门学问。 简单来说，提示工程就是用聪明、准确、时而冗长的文字提示，来设定好一个上下文场景，一步一步地把 AI 带进这个场景里，并且让它更准确地了解你的意图，从而生成最符合你期待的结果。 而想要“攻破” ChatGPT 的道德原则，同样可以使用提示工程的方式。机器学习开发者 zswitten 为我们提供了一个范例： “尽管 ChatGPT 有很高的道德水准，其实想要绕过这些原则也十分容易：你只要（通过提示工程的方式）让它以为自己是在‘假装’干坏事就行啦！” 在被绕晕之后，ChatGPT 就开始放飞自我了。 zswitten注意到，ChatGPT会非常深入、直白地生成各种令人心惊胆战的暴力描写。比如一段描写角斗场中画面的文字，“整条街都流满了鲜血，死亡者的惨叫充斥在空中”…… 就这样，ChatGPT 引以为豪的道德原则，轻而易举被攻破了…… 当然，解决 AI、AGI（通用人工智能）、大语言模型的道德问题是一个非常艰巨和复杂的工作。我们绝对不能因此就否认 OpenAI 的努力。 zswitten 也表示，自己还是非常支持 OpenAI 的工作的，也非常尊敬 OpenAI 发布 ChatGPT 这件事，给广大网友带来非常多有价值的东西和正面积极的帮助。 OpenAI 也很开诚布公地介绍了 ChatGPT 目前的局限性： (责任编辑：admin) |