[API调用] Chatgpt4-O 大模型发布，视频完整回放解读，实时语音翻译，视频图像解读，情感识别

本次直播时长20分钟，主要介绍了gpt4O的几个新的功能，包括实时语音对话，实时视频对话，和情感分析，这就让chatgpt有了眼睛，耳朵，嘴巴和情商。直播结束后，部分账号已经获得了试用资格，版主第一时间为大家进行内容解读，请看下文。



一、主要更新内容

1. 扩展的上下文窗口
GPT-4o 支持高达 128,000 个 tokens 的上下文窗口，相当于可以处理 300 页的文本。这使得模型能够在更大范围内处理和理解复杂的任务，极大提高了处理效率。

2. 更快的速度和更低的成本
GPT-4o 在速度上有显著提升（版主已体验速度飞快），并且成本更低。与 GPT-4 相比，输入 token 便宜 3 倍，输出 token 便宜 2 倍。每三小时的消息限制也提升了五倍，使得处理效率大大提高。https://openai.com/api/pricing/



3. 多模态能力
GPT-4o 集成了视觉和音频处理能力，可以处理图像、文本和语音。这包括实时对话语音功能，能够自然地进行语音交互，并且支持实时翻译和情感识别。

4. 视觉处理
模型可以通过上传截图、照片和包含文本的文档进行图像分析和互动。还能识别和描述图像中的内容，适用于需要图像和文本处理的复杂应用。

5. 改进的用户界面和使用体验
新的用户界面更加简洁和自然，使用户能够更容易地与模型进行互动。同时支持多文件上传和更长的登录持续时间，优化了用户体验。

6. 广泛的用户覆盖
GPT-4o 现在不仅提供给付费用户，还向免费用户开放，使更多的人能够使用先进的 AI 工具。


二、实操演示和示范


实时对话语音演示
在发布会上，Mark Chen 与 ChatGPT 进行了一次实时对话语音演示，展示了 GPT-4o 的高效性和自然性。以下是演示过程：



视频中9分33秒处

步骤 1：Mark 通过手机与 ChatGPT 进行语音对话。他告诉 ChatGPT 自己有点紧张，ChatGPT 提供了放松呼吸的建议，并实时进行反馈。
步骤 2：Mark 请 ChatGPT 给他的朋友 Barrett 讲一个关于恋爱中机器人的睡前故事。ChatGPT 不仅生成了故事，还根据要求调整了语音的情感和风格，展示了其丰富的动态范围。
步骤 3：Mark 进一步请 ChatGPT 使用戏剧性、机器人的声音和歌唱的方式讲述故事，ChatGPT 成功完成了所有任务，展现了其多样化的语音生成能力。

视觉处理演示
Barrett Zoph 演示了 GPT-4o 的视觉处理能力，展示了模型如何处理和理解图像。以下是具体过程：


视频14分14秒处

步骤 1：Barrett 在纸上写下一个线性方程，并通过照片上传给 ChatGPT。
步骤 2：ChatGPT 成功识别出方程，并引导 Barrett 逐步解题。ChatGPT 首先建议 Barrett 将方程中的常数移到一边，接着进行减法运算。
步骤 3：在解题过程中，ChatGPT 提供了有用的提示，帮助 Barrett 完成了线性方程的求解。

实时翻译演示
现场观众提出了实时翻译的请求，Mark Chen 和 ChatGPT 进行了英语和意大利语的实时翻译对话。以下是演示过程：



视频处22分40秒

步骤 1：Mark 请 ChatGPT 在他和只会说意大利语的朋友之间进行实时翻译。
步骤 2：Mira Murati 用意大利语向 ChatGPT 提问，ChatGPT 将其翻译成英语，Mark 回答后，ChatGPT 将答案翻译回意大利语。整个过程流畅自然，展示了 GPT-4o 的多语言处理能力。

情感识别演示
Barrett Zoph 还展示了 GPT-4o 的情感识别功能。以下是具体过程：



视频处23分30秒

步骤 1：Barrett 上传了一张自拍照，要求 ChatGPT 识别其情绪。
步骤 2：ChatGPT 成功判断出 Barrett 在照片中的情绪，指出他看起来很高兴和兴奋。
步骤 3：ChatGPT 还幽默地回应了 Barrett 对其表现的赞扬，展示了其互动和情感理解的能力。