本地AI知识库安装整理
安装流程:
1、新硬盘接入硬盘盒
2、连接windows笔记本
3、硬盘内创建两个目录:
A、软件(docker 安装包、ollama 安装包)、大模型文件(gguf文件),主要是给客户备用
B、programs(已经安装好的软件) -> docker(docker容器)
C、programs(已经安装好的软件) -> ollama(ollama)-> models(模型目录)
4、安装 docker,安装目录切换到 3 步的目录,安装完成后,设置 docker 容器和镜像存储目录:
打开 Docker Desktop。
点击右上角的齿轮图标(设置)。
在左侧菜单中选择 Resources > Filesystem。
修改 Root directory 的路径为自定义目录(例如 D:\docker-storage)。
点击 Apply & Restart 重启 Docker。
5、安装 ollama,安装目录切换到 3 步的目录,安装完成后,修改 OLLAMA_MODELS 环境变量
系统设置 -> 高级系统设置 -> 新增系统变量
6、使用 ollama 下载/导入大模型(下面采用导入方式)
创建一个txt文件,内容:from xxx.gguf
执行命令:ollama create xxx:1.5b -f xxxx.txt
运行模型:ollama run xxx:1.5b
7、使用 docker 下载/导入 ragflow (下面采用导入方式)
docker load < local-ai.tar
8、启动 docker 容器,浏览器访问:http://localhost:8000
交付后,需要叮嘱用户在本机操作:
官方文档:https://ragflow.io/docs/v0.17.2/
windows 环境:
docker-machine ssh
sudo sysctl -w vm.max_map_count=262144
docker redis WARNING You have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Valkey. To fix this issue run the command ‘echo madvise > /sys/kernel/mm/transparent_hugepage/enabled’ as root
sed -i ‘’ ‘s/9000/9001/g’ .
最后编辑:Wolf 更新时间:2025-03-18 23:22