档案管理

玩瞳VisionTalk识别能力,让你的产品拥有“AI老师”的眼睛

2026-01-30 09:36:39 玩瞳AI慧读教育 56 浏览
玩瞳VisionTalk识别能力,让你的产品拥有“AI老师”的眼睛


近年,拥有创新性读书体验的AI阅读机器人横空出世,将阅读从传统概念上的读故事升级成为讲故事、学故事,深受家长和们的欢迎,在未来市场上有着不可估量的潜力。玩瞳作为AI辅助阅读时代的开拓者人,已经为众多知名客户提供了高品质的AI伴读服务。

玩瞳开放了全平台绘本识别功能的二次开发能力,对各个终端客户和故事机方案商,提供了便捷而快速的开发服务。即使对向来开发周期较长的Linux端,三天即可迅速完成新平台的移植及扩展。

下面我们从专业的技术角度,为各位揭秘玩瞳强大的全平台端的SDK能力。


(AndroidIOS框架图)

我们针对具有一定开发能力的客户,提供的SDK包中内含:1)完整识别流程2)提供识别过程中各状态回调接口。从上图可见,SDK包分为vtbrsdk、basesdk两个部分,我们来分别详细了解一下。

vtbrsdk:

1、主要包含Camera、Audio、Download、Recognize等4个主模块。

Camera:负责打开/关闭相机、预览数据采集等功能;

Audio:负责音频播放/暂停/停止等控制;

Download:负责下载书本音频资源;

Recognize:负责识别信息的处理和书页音频播放。

2、承担App和basesdk之间的桥梁,以及上述4个核心模块的状态回调监听。

basesdk:

1、主要包含算法集成、与玩瞳服务器网络请求、识别模块。

算法集成:包含设备license生成、状态检测、书本定位等算法库和功能;

网络请求:license校验服务、识别服务等网络请求的管理者;

识别模块:对预览帧数据进行处理并识别。

2、提供license校验、识别结果等信息的回调监听。

玩瞳端上的四大SDK能力


玩瞳的客户可在开源的外壳上,完成各种业务功能订制,快速高度集成开发。

1、识别稳定、响应速度快和精度高的绘本识别能力

目前,玩瞳提供的绘本识别集成方案中,识别准确率高达98%,单次识别响应时间为200至400毫秒,做到了翻页即读的效果,做到了在行业内领先第一的效果。

2、快速集成开发能力

玩瞳提供了全平台(AndroidLinuxIOS)快速集成开发的儿童端SDK及全面的技术支持服务,为各个方案商大大缩短了产品开发时间。

3、提供功能齐全的StandaloneAPP

玩瞳为绘本SDK提供了标准独立的SDK调用例程,该例程功能齐全,最重要的一点是例程完全开源,开发者可以修改任何一行代码。

4、丰富的内容扩展和交互能力

a)根据读书状态展示不同的表情,让你的产品更具人物化

b)结合基础语音交互进行互动

绘本SDK提供了打断重启功能,并将识别到的每一本书的信息全都返回给开发者,开发者可以通过这些信息对正在阅读绘本的小孩进行问答互动,让孩子在阅读中真正学习到知识。

c)ExtraData更是让你想做什么就做什么

玩瞳开放的ExtraData更是能让用户自定义业务逻辑,与自有内容绑定,实现多平台内容对接。

玩瞳SDK如何识别绘本?

玩瞳VisionTalk的SDK绘本识别能力,通过端+云算法的全面解决方案,是怎么实现绘本识别的呢?


在端上,有基于预览图像进行识别的翻页检测算法,我们的优势在于大大减少云端服务器的请求压力,端上的算法是一个非常轻量级的算法,这就得益于玩瞳的算法团队进行了N多次的算法迭代和优化,使我们的端算法在运行速度下降不多的情况下,对硬件要求降到了最低。

在云上,玩瞳的后台团队为云端识别算法扩展搭建了稳健、安全及庞大的后台服务体系。开发者只要拿到端上的SDK就可以轻松便捷地为自己的产品赋能。

如何将玩瞳SDK嵌入自有APP

下面我们以安卓端SDK为例,给开发者展示一下如何便捷的将SDK嵌入自有APP内。

1.配置工程

1.1配置license

在中修改LICENSE变量,对应代码如下:

publicclassBRBaseActivity{privatestaticfinalStringLICENSE="license";}

1.2配置授权码和license模式

在中修改LAUNCH_MODE变量,对应代码如下:

//app启动模式{0:license模式;1:QRCode模式}LAUNCH_MODE=0

1.3替换闪屏页

替换src/main/res/drawable/unity_static_,如下图:


2.主要接口

2.1VTBRSDKManager(@NonNullContextcontext)

功能:获取VTBRSDKManager实例。

2.2publicvoidinit()

功能:开启SDK,在调用SDK的其他功能接口前,需要调用下这个方法初始化一些参数和配置,否则会导致一些功能无法使用。

2.3publicvoidexit()

功能:关闭SDK,该方法用于退出SDK,会关闭以下功能:

音频模块:不会再播放书页音频;

识别模块:不再进行识别;

网络模块:取消掉当前的网络请求队列。

2.4publicvoidinitialize(Stringlicense,IInitializeListenerlistener)

功能:License认证,在调用识别功能接口前,必须先调用此方法,初始化的状态回调通过IInitializeListener来监听。

参数:


2.5publicvoidstartRecognize()

功能:开启识别

2.6publicvoidreRecognize()

功能:重新识别,该接口用于某些情况下需要重新识别一次,例如网络断开后重连。

2.7publicvoidstopRecognize()

功能:停止识别

2.8IRecognizeListener

功能:识别回调,该回调类用于监听识别回调,接口类如下:

publicinterfaceIRecognizeListener{booleanonRecognizeSuccess(VTBRBookDataModeldata);voidonRecognizeFail(intcode,Stringmsg);voidonGetBookInfoFail(intcode,Stringmsg);booleanonGetBookInfoSuccess(intbookId,booleanneedUpdate);}

2.8.1onRecognizeSuccess

功能:该回调为识别成功的回调

参数:


VTBRBookDataModel类:


类:


返回值:

是否消费该识别结果。true:消费该识别结果,则不走之后的获取书本信息、开始下载、播放书页音频等操作;false:不消费该识别结果,继续执行玩瞳的操作

2.8.2onRecognizeFail

功能:该回调为识别失败的回调

参数:


备注:错误码请查看错误码章节

2.8.3onGetBookInfoFail

功能:该回调为获取书本信息失败的回调

参数:


备注:错误码请查看错误码章节

2.8.4onGetBookInfoSuccess

功能:该回调为获取书本信息成功的回调

参数:


返回值:

该接口如果返回true,则用户自己消费该回调接口,不会走之后的流程,用户可以用bookId实现自己的逻辑;如果返回false,则继续之后的流程(播放更新书本语音和下载书本信息等)。

玩瞳科技VisionTalk期待通过AI慧读平台能力,助力合作伙伴的产品快速商业化,用我们优秀的识别能力为客户现有的App赋能,共同打造具有创造价值的“AI阅读机器人”生态!

深圳市玩瞳科技有限公司VisionTalk成立于2015年,是一家经深圳市政府认证的高新技术企业。公司专注于实体学习桌面的视觉图像分析,并应用于机器辅助的阅读、作业和学习。

公司目前拥有数十项各类专利,并拥有全球最大的儿童出版物图像训练库。公司新推出的“智能慧读平台”赋能产业链,低成本、高效率、个性化地帮助企业开发或升级阅读机器人。已经成功在故事机/机器人、儿童出版、儿童内容等行业得到应用。


友情链接