分享

这不是软件,这简直是科幻!

 网罗灯下黑 2023-05-12 发布于河南

大家注意:因为微信最近又改了推送机制,经常有小伙伴说错过了之前被删的文章,比如前阵子冒着风险写的全指南,再比如一些限时福利,错过了就是错过了。

所以建议大家加个星标,就能第一时间收到推送。👇


我最喜欢的科幻剧《黑镜》里有这么一集,未来一家科技公司提供了所谓的全光谱记忆技术,所见即所得,实时录像,随时回放,而且这份记忆还能云端存储 30 年。

虽然后续剧情逐渐走向高科技所带来的道德伦理问题,以及男主的不幸遭遇,但这个背景设定还是让我看了一震。

不扯那些狗血的事,单从追求效率的角度说,所见即所得,还能随时回过头来复盘总结,一定会有用。

毕竟谁上网的时候都遇到过类似「之前那篇文章怎么说来着?」、「昨天开会的时候提了一嘴啥?」的问题。

所以像剪藏工具、笔记软件、录屏应用才这么会受欢迎,时断时续的记忆可能会欺骗你,但电子版「白纸黑字」记录下来的内容不会欺骗你。

不过科幻归科幻,电影归电影,全光谱记忆技术 确实离我们还有十万八千里。。。

在未来到达之前,国外却有人搞了这么一款工具,被网友称为「人生搜索引擎」、「现实中的贾维斯」、「第二大脑」,甚至上升到了生产力强国的高度。

没错 Rewind,去年才刚刚完成内测的软件,翻译过来就是倒带。

这名字起的形象且贴切,功能如其名,Rewind 把电脑的所有历史操作变成了一个可回溯的数据库。

你只管打开这个软件,想回溯记忆时搜索关键词,就能得到答案,文章也好、图片也罢,甚至是视频里飘过的弹幕,或者音频里出现的语句,它都能瞬间从「数据库」中提取出来。

不要觉得夸张,上述功能在发布后的这几个月已经被无数用户验证过了,人生搜索引擎实至名归,但贾维斯和外置大脑呢?

早期的 Rewind 搞定了数据,数据摆在那还需要人工筛选调用,虽然图形化操作简化了这些,但仍不够自然。

直到今年 ChatGPT 来了,是的,Rewind 接入了 GPT-4,当你用白话,而非关键词,向 Rewind 提问后,被处理好的数据就被送到了眼前。

是不是很科幻,但当你知道原理后,或许会对 Rewind 有新的认识。

倒带

把电脑上的任何操作记录下来,不是什么新鲜事,为了商业安全也好,不道德的压榨员工也罢,Rewind 最初做的,和监控软件无甚区别——

对屏幕内容进行连续录制和自动化分析。

再用白话说一下,就是隐藏在后台的录屏,可以想象成每隔几秒截一张图,然后图片里内容就被存放了起来。

反正对于用户来说,任何操作都是线性的,只要记录我们对各个应用的操作,就能区分出来时间节点。

所以在 Rewind 上,会有这么一条时间线,拖着时间线就能回溯过去的「记忆」。

注意,不止是看到的,Rewind 需要你赋予它录音权限,听到的内容同样会被记录。

当你通过搜索提取记忆时,可以快速复制录制中的文字,浏览器访问的网页可以一键直达,其他类型应用的记忆,如果识别出来,也能点击访问。

原理

究其根本,Rewind 实现的思路是系统 API + OCR + ASR。

虽然画的有饼,但 Rewind 这个工具全面拥抱了苹果电脑的软硬件,当前也只能在搭载了 M1\M2 芯片的苹果电脑上实现。

从录屏到 OCR 用的是系统自带的功能接口,语音识别的 ASR 用的则是 OpenAI 开源的  Whisper 模型。

不过在 OCR 搞定画面,ASR 搞定语音后,这才有了所谓的记录,就像高端食材只需要简单烹饪一样,科幻的功能背后,是粗暴简单的技术路线。

但不管怎么说,你想想看,24 小时的录制屏幕,肯定会有大量的数据,Rewind 录制时是以 2 秒 1 帧的方式录的屏。

24 小时就会录下 4 万多张图,哪怕控制分辨率,一天下来也有 20、30G 的大小,这样保存记忆的代价或许太大了些。

不过别担心,Rewind 着重说了这点,重点就是去除录屏中的冗余数据,其中的门道并未详说。

但官网公布的效果喜人,经过压缩,原本 10G+ 的录屏能压缩到 2M+,近 3750 倍的压缩,在压缩后,原本一整天 20、30G 的空间占用,平均下来能用一个月,甚至更长。

当然,永久记忆不现实,如果短期保存(一周、一月),把旧记忆定期清除,内存占用这里你可以想象成圈了一块地,专门给 Rewind 用来记录就好了。

不过单占用这里,我搜 Rewind 的资料时,在少数派上有看到,Rewind 官网分享的测试结果仅仅只是对于单屏而言,如果是多屏用户数据量你得乘上相应倍数了,在寸土寸金的 Mac 上,这不是什么好消息。

隐私

抛开空间占用不谈,别的地方 Rewind 优化做的相当不错,在后台运行基本无感,不会对日常操作产生影响,隐私方面也相当谨慎——

1、  本地存储,他人无权访问。

2、  开关随你,录制内容删除也随你,还可以为专门隐私窗口设置黑名单。

3、  录音功能也需要手动开启。

唯一联网的功能,就是 ChatGPT 了,当你在 Rewind 上提出问题时,做了索引的文本会发送给 GPT-4,并做了隐私处理,不包括个人敏感信息。

但我觉得这次 Rewind 最大的提升就在这里,你可以让它总结一场某日的会议内容:

可以让它总结你浏览过的网站:

附带的来源可以帮你快速定位到某月某天看到的具体消息,也就是你越需要知识的整合,越需要不断回看「记忆」,Rewind 对你的提升也越大。

难免推特上有人说,为了这碟醋(Rewind),专门包了饺子(M 芯片的 Macbook)。。。

结语

Rewind 初看是个科幻故事,但了解下来,你会发现,这不是技术爆炸,而是一次对效率的探索。

之前在星球里讨论 Rewind 的时候,有小伙伴说有了 Rewind,不再需要收藏夹,是的,Rewind 改变了传统的剪藏方式,甚至在接入 ChatGPT 后,会改变与电脑的交互方式。

如果不是「隐私」俩字悬在头上,除 ChatGPT 外,所有功能均本地实现,未接入云端,OCR 也好,ASR 也罢,识别效果还会更上一层楼。

但创业公司嘛,真全都云端了,像这种实时录屏的工具,用户敢不敢用就是另外一回事了。

Rewind 的出现,给我感觉有点像第一次发现 GPT-2 那样,人类已经掌握了打开潘多拉魔盒的钥匙,智能时代不是将来时,而是进行时。

对了,这个软件的背后还有一个小插曲,也就是作者分享的开发灵感来源——

20 岁失聪,助听器改变了生活,失去一种感觉,又重新获得它,感觉就像获得了一个超能力,从那一刻起,我一直在寻找技术可以增强人类能力并赋予我们超能力的方法。

于是有了 Rewind。

    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多