苹果推出AppIntents框架:Siri和AI可读取屏幕内容并执行操作

奔码科技 2024-11-10 16:18:59

数码 I 渝码科技

苹果正式推出 App Intents 框架,允许开发者在 iOS 18.2+、macOS 15.2+等操作平台上,让其应用的屏幕内容可被 Siri 和 Apple Intelligence 访问读取并执行相应的操作。

意味着,苹果公司最新版iOS 将更新 Siri 和 Apple Intelligence 的功能,使其能够读取屏幕内容并操作。

使用最新版 Apple Intents 后, Siri 和 Apple Intelligence 功能如下:

1、屏幕内容读取与理解:Siri 现在可以更深入地理解上下文,用户可以直接询问 Siri 关于当前查看的网页或照片中的特定对象的问题。

此举意味着,Siri 能够解读用户屏幕上的内容,并根据这些内容回答问题。

2、内容摘要与问题解答:Siri 将具备在用户请求时总结文档和电子邮件的能力,并能通过添加内容来完成文本,从而提升其交互性和实用性。

3、跨应用操作:Siri 能够在各类 Apple 及第三方 app 中完成上百种新操作。

例如,用户可以说“从我的阅读列表里调出那篇关于蝉的文章”,或者“把周六那天的烧烤照片发给Malia”,Siri 便会执行。

4、隐私保护:Apple Intelligence 在理解深层次个人场景的同时,也会做到对用户隐私的保护。

Apple Intelligence 的底层逻辑在于在设备端处理任务时,所用到的模型很多全程仅在设备端运行。

5、ChatGPT 集成:在最新的 iOS 18.2 开发者测试版中,Siri 已经开始支持 ChatGPT 集成。

用户可以在获得许可的情况下,将PDF、文本文件或图像转发给 ChatGPT 进行处理。

总而言之,这些更新表明苹果正在不断扩展 Siri 和 Apple Intelligence 的能力,使其更加智能和实用,同时注重保护用户隐私。​

0 阅读:0