Audio Inputs——通过 Mikey Shulman(联合创始人兼 CEO)发布·2024 年 6 月 12 日,用任何声音创作一首歌 产品更新
Suno 发布 Audio Inputs 功能,所有 Pro 和 Premier 用户可上传或录制 6-60 秒的音频片段,通过“Extend”模式选择起始时间戳、设定风格,并可添加歌词来创作歌曲。社区创作者已用其提供自定义音频引子来设定氛围、节奏和乐器灵感。该功能会阻止受版权保护作品的上传,且所有包含人声的输入将保持私密并不可搜索。
Suno 发布 Audio Inputs 功能,所有 Pro 和 Premier 用户可上传或录制 6-60 秒的音频片段,通过“Extend”模式选择起始时间戳、设定风格,并可添加歌词来创作歌曲。社区创作者已用其提供自定义音频引子来设定氛围、节奏和乐器灵感。该功能会阻止受版权保护作品的上传,且所有包含人声的输入将保持私密并不可搜索。
Mistral AI 在 la Plateforme 上推出模型定制能力,提供三种微调入口:开源微调 SDK mistral-finetune、la Plateforme 上的 serverless 微调服务,以及面向部分客户的定制训练服务。
Anthropic 在 Claude Platform 版本说明中发布 Claude Sonnet 5.5(claude-sonnet-5-5),可用性覆盖 Claude API。
LlamaIndex 推出 Property Graph Index,用带标签属性图表示替代传统三元组知识图谱,支持节点类型与元数据、向量嵌入和混合检索。
OpenAI 更新 ChatGPT 数据分析功能,新增表格和图表交互,并可直接从 Google Drive 和 Microsoft OneDrive 添加文件。
OpenAI 宣布 GPT-4 API 全面可用,GPT-3.5 Turbo、DALL·E 和 Whisper API 也同时全面开放。同时发布 Completions API 旧模型的退役计划,这些旧模型将于 2024 年初退役。
OpenAI 宣布推出 ChatGPT 和 Whisper API。正文抓取失败,仅有标题信息可确认发布动作。
OpenAI 宣布用户无需注册账号即可直接开始使用 ChatGPT,降低了体验 AI 的门槛。
LlamaIndex 发布 LlamaParse 正式版,定位为首个 GenAI 原生文档解析平台,公测 3 周内已有超过 2000 名用户解析超过 100 万页。
Cognition 发布 AI 软件工程师 Devin,可规划并执行需要数千次决策的复杂工程任务,配备 shell、代码编辑器和浏览器等沙盒开发环境,并能实时汇报进度、接受反馈与用户协作。
Mistral AI 发布对话助手 Le Chat,作为与 Mistral 各模型交互的入口,底层可使用 Mistral Large、Mistral Small 或原型模型 Mistral Next。产品提供可调节的系统级审核机制,并同步推出支持自部署和细粒度审核的 Le Chat Enterprise;目前 beta 用户可注册试用,但 Le Chat 尚无法联网,可能给出过时信息。
LlamaIndex 发布 LlamaParse 和 LlamaCloud,为 LLM 与 RAG 应用提供托管解析、摄取和检索服务。
LlamaIndex 推出面向 LLM 与 RAG 应用的托管解析、摄取与检索服务套件 LlamaParse。LlamaParse 专注解析含表格和图表的复杂文档,已进入公开预览,当前聚焦 PDF 并对公开用户设用量上限;托管摄取与检索 API 处于私有预览,支持通过 LlamaHub 接入超过 150 个数据源和 40 多种数据存储方案。
OpenAI 正在测试让 ChatGPT 记住用户讨论内容的能力,以便在未来对话中提供更有帮助的回应。用户可以控制 ChatGPT 的记忆。
LlamaIndex 发布 v0.10.0,是其 Python 包迄今最大更新。核心变化包括:拆出精简的 llama-index-core 包,数百个集成(150+ 数据加载器。
LlamaIndex 推出 llamaindex-cli 命令行工具,随 pip install llama-index 安装,底层使用 Chroma 向量数据库,可不经写代码完成 RAG。
OpenAI 宣布推出 GPT Store。原文正文抓取失败,仅标题可用,详情以官方公告为准。
OpenAI 推出面向各种规模团队的新 ChatGPT 订阅方案 ChatGPT Team,提供安全、可协作的工作区,帮助团队在工作中更好地使用 ChatGPT。
Mistral AI 开放 La Plateforme 平台 beta 访问,提供 mistral-tiny、mistral-small、mistral-medium 三个文本生成端点和 mistral-embed 嵌入端点。
LlamaIndex 发布 AutoTranslateDoc,一款命令行工具,可从 GitHub 仓库抓取 .md 和 .mdx 文档,用 GPT-3.5、GPT-4 分块翻译并自动校验后合并输出。
LlamaIndex 推出 Llama Packs,一个社区驱动的预打包模块合集,用于快速启动 LLM 应用,已在 LlamaHub 上线 16+ 个与 Streamlit、Weaviate、Voyage AI 等伙伴合作的模板。模块可通过 CLI 或 Python 一行代码下载,支持开箱即用运行 RAG 管线,也可查看和修改全部代码,例如将默认 OpenAI LLM 替换为 Anthropic。
LlamaIndex 发布 RAGs,一个 Streamlit 应用,无需写代码即可用自然语言创建并定制 RAG pipeline,对自己的数据实现「ChatGPT over your data」。
LlamaIndex 发布 0.9 大版本,引入 IngestionPipeline 数据摄取抽象,转换步骤自动缓存以加速重复运行。
LlamaIndex 推出 create-llama 命令行工具,通过 npx create-llama 即可交互式生成一个可与自己数据对话的全栈应用。
LlamaIndex 发布多模态 RAG 支持能力,新增 OpenAIMultiModal、ReplicateMultiModal、MultiModalEmbedding(CLIP)和 MultiModalVectorStoreIndex 等抽象,可对文本和图像统一索引与检索。
LlamaIndex 在 OpenAI 开发者日当天更新库,支持 gpt-4-1106-preview(GPT-4 Turbo,128,000 token 上下文窗口、JSON mode、并行函数调用等)和 gpt-4-vision-preview 多模态模型。同时新增 Azure OpenAI 端点、嵌入抽象与函数调用示例,其 RAG 演示 SEC Insights 已改用最新版 GPT-4。
OpenAI 在 DevDay 上发布 GPT-4 Turbo,支持 128K 上下文且价格更低,同时推出新模型和开发者产品,包括 Assistants API、GPT-4 Turbo with Vision 和 DALL·E 3 API 等。
推荐理由:官方一次性列出多模型与开发者产品更新,128K 上下文和降价信息可帮助开发者评估迁移成本。
OpenAI 推出 GPTs,用户可以创建结合指令、额外知识和任意技能组合的 ChatGPT 自定义版本。
OpenAI 宣布 DALL·E 3 正式在 ChatGPT Plus 和 Enterprise 中可用。官方表示已为更广泛发布构建了安全缓解措施堆栈,并同步分享了来源(provenance)研究的最新进展。
OpenAI 宣布 ChatGPT 新增看、听、说能力。用户可向 ChatGPT 展示图像并进行对话讨论,也可用语音与它交流。
OpenAI 发布 ChatGPT Enterprise,提供企业级安全与隐私保障,并称这是迄今最强大的 ChatGPT 版本。
OpenAI 宣布开发者可使用自有数据对 GPT-3.5 Turbo 进行微调,以适配各自的使用场景。此次更新同时包含若干 API 更新。
OpenAI 推出 ChatGPT 自定义指令功能,让用户对 ChatGPT 的回复方式有更多控制。用户设置偏好后,ChatGPT 会在之后的所有对话中记住并遵循这些偏好。
LlamaIndex 发布 Data Agents,LLM 驱动的知识工作者可对非结构化、半结构化和结构化数据执行读取与写入任务。
OpenAI 宣布 API 更新,包括可控性更强的模型、函数调用(function calling)能力、更长的上下文以及更低的价格。
推荐理由:原文给出 OpenAI API 的功能调用、上下文与价格等更新方向,读者可据此评估对现有接入成本和控制力的影响。
OpenAI 推出 ChatGPT iOS 应用。应用支持跨设备同步对话记录和语音输入,并将最新模型改进带给用户。
推荐理由:官方宣布 iOS 应用上线,对话同步和语音输入信息来自当事方,读者可了解 ChatGPT 的移动端入口。
LangChain 发布名为 Plan-and-Execute 的新型智能体执行器,先由 planner 规划步骤,再由执行器逐步完成,与此前基于 ReAct 的 Action Agent 形成对比。该设计将规划与执行分离以提升可靠性,代价是更多 LLM 调用,灵感来自 BabyAGI 和 Plan-and-Solve 论文,首版放在实验模块,提供 Python 和 JS/TS 文档。
OpenAI 宣布在 ChatGPT 中实现对 plugins 的初步支持。插件是以安全为核心原则、专为语言模型设计的工具,可帮助 ChatGPT 获取最新信息、运行计算或使用第三方服务。
OpenAI 为 ChatGPT 推出试点订阅计划 ChatGPT Plus。ChatGPT 是一款对话式 AI,可与用户聊天、回答追问并纠正错误假设。
OpenAI 宣布 DALL·E API 即日起开放公测,开发者可以开始使用该 API 构建应用。