分享

开源离线AI笔记应用

 一介书生五十后 2024-05-11 发布于浙江

前言

Reor 是一款人工智能驱动的桌面笔记应用程序,它能自动链接相关笔记、回答笔记中的问题并提供语义搜索。所有内容都存储在本地,支持 WindowsLinuxMacOSReor 站在 OllamaTransformers.jsLanceDB 等巨头的肩膀上,使 LLM 和嵌入模型都能在本地运行。此外,还支持连接 OpenAI 或与 OpenAI 兼容的 API(如 Oobabooga)。

基本原理

  • 你写的每篇笔记都会被分块并嵌入到内部向量数据库

  • 相关笔记会通过向量相似性(vector similarity)自动连接起来

  • LLM驱动的问答会对笔记语料库进行RAG(Retrieval Augmented Generation)检索增强生成分析

  • 所有内容都可以进行语义搜索

可以把 Reor 看作是一个有两个生成器的 RAG 应用程序:LLM 和我们人类。在问答的模式下,LLM会从语料库中获取上下文来帮助回答问题。同样,在编辑模式下,人类可以切换侧边栏,显示从语料库中检索的相关注释。通过将当前笔记中的观点与语料库中的相关观点进行交叉引用,这种扩充的思维方式非常强大。

离线安装

来到官方版本发布页 https://github.com/reorproject/reor/releases/,目前最新版本是 v0.2.6,根据自己的平台选择安装包下载

图片

reor

图片

reor

绑定本地嵌入模型

要绑定本地嵌入模型(Embedding Model),需要使用 Git Large File Storage (LFS)Hugging Face 下载。

第一步安装git lfs,来到官方网站下载 https:///

图片

git lfs

傻瓜式进行安装,安装完毕后,打开 powershell,输入 git lfs install 来验证一下是否安装成功

图片

git lfs

如果命令有如上的输出,说明安装好了。

第二步,去下载模型,这里以 Xenova/bge-m3 模型为例,仓库地址 https:///Xenova/bge-base-en-v1.5

git clone https:///Xenova/bge-m3

如果 git clone 连接不上服务器的话,可以通过下面这个方法

# 安装huggingface-cli命令行工具,包含在huggingface_hub库里,不仅可以下载模型、数据,还可以可以登录huggingface、上传模型、数据
pip install -U huggingface_hub

# 下载模型,支持续传,保存在本地文件夹bge-base-en-v1.5,即最后一个参数
huggingface-cli download --resume-download Xenova/bge-base-en-v1.5 --local-dir bge-base-en-v1.5


图片

huggingface_hub

第三步进行绑定,来到 Settings --> Embedding Models --> Attach Local Model

图片

reor

选择刚刚下载好的模型文件夹

图片

reor

选择新的模型

图片

reor

可以开始向它提问了

图片

reor

参考资料

  • https://github.com/reorproject/reor

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多