IT之家 5 月 15 日消息,OpenAI 昨日凌晨发布 GPT-4o 模型,可以视为 GPT-4 的升级版本,可以实时推理处理音频、视觉和文本内容,而且能更加无缝地和 ChatGPT 交互。
![](http://www.openaimy.com/wp-content/uploads/2024/05/8efa43e6aec584760aa59be018db3c0d.jpg)
OpenAI 总裁兼联合创始人格雷格・布罗克曼(Greg Brockman)随后发布了上手演示,让两台运行 GPT-4o 的设备进行语音或视频交互。
布罗克曼在演示开始之前,表达了自己的期望:让两台 AI 聊天机器人互相交流。布罗克曼向其中 A 聊天机器人讲述了他的期望,并让 B 聊天机器人可以调用摄像头观察周围世界。
B 聊天机器人会调用前置摄像头,并清晰地描绘出用户的穿着和所处的环境。然后 A 聊天机器人可以与它对话并提出问题,包括移动摄像头和它所看到的内容。
对话中,新版本 ChatGPT 不仅能通过视觉 AI 能力理解摄像头中发生的事情,同时还能够将理解的内容通过语音交互,进行更加丰富有趣的互动,同时还支持中途打断和对话插入,且具备上下文记忆能力。IT之家附上演示视频如下: