目前3个模型都是免费使用的,当然后期可能会停止免费,能用多久用多久,白嫖真香。
使用Docker Run
首先,你需要创建一个自定义网络:
docker network create vocechatnetwork
创建 Redis 容器并加入到这个网络,使用redis进行上下文的存储,使其可以进行连续对话
docker run --name vocechatredis -d \
--network=vocechatnetwork \
redis:latest redis-server
创建的应用容器并加入到同一个网络:
docker run --name vocechat_bot_mixtral -d --network=vocechatnetwork \
-p 3060:3060 \
-e REDIS_HOST=vocechatredis \
-e REDIS_PORT=6379 \
-e PORT=3060 \
-e GROQ_API_KEY=你的key \
-e AUTHENTICATE_STATUS=false \
-e AUTHENTICATE=YOUR_KEY \
-e SYSTEM_SETTING=请始终输出中文 \
-e MODEL_SETTING=mixtral-8x7b-32768 \
-e TEMPERATURE_SETTING=0.5 \
-e MAX_TOKENS_SETTING=32768 \
-e VOCECHAT_URL=https://yourdomain.com \
-e VOCECHAT_API_KEY=你的key \
-e VOCECHAT_BOT_ID=142 \
oliverouyoung/vocechat_bot_mixtral:0.0.2
在这条命令中,你需要注意的是GROQ_API_KEY
,SYSTEM_SETTING
,VOCECHAT_URL
,VOCECHAT_API_KEY
,VOCECHAT_BOT_ID
必须修改为你自己的设置,不清楚可以在vocechat群里问,看到了会回复。
GROQ_API_KEY:申请地址https://console.groq.com/keys
,注意需要翻墙,因为屏蔽了中国IP
AUTHENTICATE_STATUS:false
AUTHENTICATE:留空默认即可
SYSTEM_SETTING:预设系统prompt
MODEL_SETTING及MAX_TOKENS_SETTING:根据官网描述,以下是模型及最大token
LLaMA2 70b
Model ID: llama2-70b-4096
Developer: Meta
Context Window: 4,096 tokens
Mixtral 8x7b
Model ID: mixtral-8x7b-32768
Developer: Mistral
Context Window: 32,768 tokens
Gemma 7b
Model ID: gemma-7b-it
Developer: Google
Context Window: 8,192 tokens
VOCECHAT_URL:你的vocechat URL
VOCECHAT_API_KEY:BOT KEY
VOCECHAT_BOT_ID:BOT ID,该机器人概况页可找到,#后面的数字
使用docker-compose
version: '3'
services:
vocechat_bot_mixtral:
image: oliverouyoung/vocechat_bot_mixtral:0.0.2
ports:
- "3060:3060"
depends_on:
- vocechatredis
links:
- vocechatredis
environment:
REDIS_HOST:vocechatredis
REDIS_PORT:6379
REDIS_HOST:vocechatredis
PORT:3060
GROQ_API_KEY:你的key
AUTHENTICATE_STATUS:false
AUTHENTICATE:YOUR_KEY
SYSTEM_SETTING:请始终输出中文
MODEL_SETTING:mixtral-8x7b-32768
TEMPERATURE_SETTING:0.5
MAX_TOKENS_SETTING:32768
VOCECHAT_URL:https://yourdomain.com
VOCECHAT_API_KEY:你的key
VOCECHAT_BOT_ID:142
vocechatredis:
image: redis:latest
以上docker-compose未经测试,如有错误,自行解决。
自此,服务搭建完成,访问http://127.0.0.1:3060/grop-vocechat
即可看到成功消息。将此地址或者下面的域名填入vocechat机器人设置里的Webhook
可选
如果你的vocehat和你的bot不在同一个服务器里,你也可以使用诸如nginx等进行反代为域名访问。
错误排查
自行在docker的日志中查看错误,善用搜索或AI
1 条评论
[...]首先介绍一下vocechatVoceChat 是一款支持独立部署的个人云社交媒体聊天服务。15MB 的大小可部署在任何的服务器上,部署简单,很少需要维护。前端可以内嵌到自己的网站下,数据完全由用户自己掌握,传输过程加密。VoceChat 从 Slack, Discord, RocketChat, Solid, Matrix 等产品和规范中博采众长,适用于团队内部交流,个人聊天服务,网站客服,网站内[...]