微信扫一扫 分享朋友圈

已有 181 人浏览分享

[API调用]    Chatgpt4-O 大模型发布,视频完整回放解读,实时语音翻译,视频图像解读,情感识别

API调用 2024-5-14 02:13:031810

本次直播时长20分钟,主要介绍了gpt4O的几个新的功能,包括实时语音对话,实时视频对话,和情感分析,这就让chatgpt有了眼睛,耳朵,嘴巴和情商。直播结束后,部分账号已经获得了试用资格,版主第一时间为大家进行内容解读,请看下文。

Chatgpt-Chatgpt4-O 大模型发布,视频完整回放解读,实时语音翻译,视频图像解读,情感识别(1)

一、主要更新内容

1. 扩展的上下文窗口
GPT-4o 支持高达 128,000 个 tokens 的上下文窗口,相当于可以处理 300 页的文本。这使得模型能够在更大范围内处理和理解复杂的任务,极大提高了处理效率。

2. 更快的速度和更低的成本
GPT-4o 在速度上有显著提升(版主已体验速度飞快),并且成本更低。与 GPT-4 相比,输入 token 便宜 3 倍,输出 token 便宜 2 倍。每三小时的消息限制也提升了五倍,使得处理效率大大提高。https://openai.com/api/pricing/

Chatgpt-Chatgpt4-O 大模型发布,视频完整回放解读,实时语音翻译,视频图像解读,情感识别(2)

3. 多模态能力
GPT-4o 集成了视觉和音频处理能力,可以处理图像、文本和语音。这包括实时对话语音功能,能够自然地进行语音交互,并且支持实时翻译和情感识别。

4. 视觉处理
模型可以通过上传截图、照片和包含文本的文档进行图像分析和互动。还能识别和描述图像中的内容,适用于需要图像和文本处理的复杂应用。

5. 改进的用户界面和使用体验
新的用户界面更加简洁和自然,使用户能够更容易地与模型进行互动。同时支持多文件上传和更长的登录持续时间,优化了用户体验。

6. 广泛的用户覆盖
GPT-4o 现在不仅提供给付费用户,还向免费用户开放,使更多的人能够使用先进的 AI 工具。


二、实操演示和示范


实时对话语音演示
在发布会上,Mark Chen 与 ChatGPT 进行了一次实时对话语音演示,展示了 GPT-4o 的高效性和自然性。以下是演示过程:


Chatgpt-Chatgpt4-O 大模型发布,视频完整回放解读,实时语音翻译,视频图像解读,情感识别(3)
视频中9分33秒处

步骤 1:Mark 通过手机与 ChatGPT 进行语音对话。他告诉 ChatGPT 自己有点紧张,ChatGPT 提供了放松呼吸的建议,并实时进行反馈。
步骤 2:Mark 请 ChatGPT 给他的朋友 Barrett 讲一个关于恋爱中机器人的睡前故事。ChatGPT 不仅生成了故事,还根据要求调整了语音的情感和风格,展示了其丰富的动态范围。
步骤 3:Mark 进一步请 ChatGPT 使用戏剧性、机器人的声音和歌唱的方式讲述故事,ChatGPT 成功完成了所有任务,展现了其多样化的语音生成能力。

视觉处理演示
Barrett Zoph 演示了 GPT-4o 的视觉处理能力,展示了模型如何处理和理解图像。以下是具体过程:

Chatgpt-Chatgpt4-O 大模型发布,视频完整回放解读,实时语音翻译,视频图像解读,情感识别(4)
视频14分14秒处

步骤 1:Barrett 在纸上写下一个线性方程,并通过照片上传给 ChatGPT。
步骤 2:ChatGPT 成功识别出方程,并引导 Barrett 逐步解题。ChatGPT 首先建议 Barrett 将方程中的常数移到一边,接着进行减法运算。
步骤 3:在解题过程中,ChatGPT 提供了有用的提示,帮助 Barrett 完成了线性方程的求解。

实时翻译演示
现场观众提出了实时翻译的请求,Mark Chen 和 ChatGPT 进行了英语和意大利语的实时翻译对话。以下是演示过程:


Chatgpt-Chatgpt4-O 大模型发布,视频完整回放解读,实时语音翻译,视频图像解读,情感识别(5)
视频处22分40秒

步骤 1:Mark 请 ChatGPT 在他和只会说意大利语的朋友之间进行实时翻译。
步骤 2:Mira Murati 用意大利语向 ChatGPT 提问,ChatGPT 将其翻译成英语,Mark 回答后,ChatGPT 将答案翻译回意大利语。整个过程流畅自然,展示了 GPT-4o 的多语言处理能力。

情感识别演示
Barrett Zoph 还展示了 GPT-4o 的情感识别功能。以下是具体过程:


Chatgpt-Chatgpt4-O 大模型发布,视频完整回放解读,实时语音翻译,视频图像解读,情感识别(6)
视频处23分30秒

步骤 1:Barrett 上传了一张自拍照,要求 ChatGPT 识别其情绪。
步骤 2:ChatGPT 成功判断出 Barrett 在照片中的情绪,指出他看起来很高兴和兴奋。
步骤 3:ChatGPT 还幽默地回应了 Barrett 对其表现的赞扬,展示了其互动和情感理解的能力。








  • 联系我们
  • 邮箱:1992608358#qq.com(请把#改成@)
  • 微信:mianfeixueai
  • QQ客服 1992608358
  • 工作时间:周一至周五(早上9点至下午5点)
  • 微信公众平台

  • 扫描访问手机版

QQ|NIUBOYI ( 京ICP备17025393号 )|网站地图

GMT+8, 2024-7-19 08:08 , Processed in 0.298104 second(s), 40 queries .

POWERED BY NIUBOYIAI! 主理人:NIUBOYIAI  点亮哥

Copyright © 2001-2020, NIUBOYI AI.