目前3个模型都是免费使用的,当然后期可能会停止免费,能用多久用多久,白嫖真香。

使用Docker Run

首先,你需要创建一个自定义网络:

docker network create vocechatnetwork

创建 Redis 容器并加入到这个网络,使用redis进行上下文的存储,使其可以进行连续对话

docker run --name vocechatredis -d \
--network=vocechatnetwork \
redis:latest redis-server

创建的应用容器并加入到同一个网络:

docker run --name vocechat_bot_mixtral -d --network=vocechatnetwork \
-p 3060:3060 \
-e REDIS_HOST=vocechatredis \
-e REDIS_PORT=6379 \
-e PORT=3060 \
-e GROQ_API_KEY=你的key \
-e AUTHENTICATE_STATUS=false \
-e AUTHENTICATE=YOUR_KEY \
-e SYSTEM_SETTING=请始终输出中文 \
-e MODEL_SETTING=mixtral-8x7b-32768 \
-e TEMPERATURE_SETTING=0.5 \
-e MAX_TOKENS_SETTING=32768 \
-e VOCECHAT_URL=https://yourdomain.com \
-e VOCECHAT_API_KEY=你的key \
-e VOCECHAT_BOT_ID=142 \
oliverouyoung/vocechat_bot_mixtral:0.0.2

在这条命令中,你需要注意的是GROQ_API_KEY,SYSTEM_SETTING,VOCECHAT_URL,VOCECHAT_API_KEY,VOCECHAT_BOT_ID必须修改为你自己的设置,不清楚可以在vocechat群里问,看到了会回复。

GROQ_API_KEY:申请地址https://console.groq.com/keys,注意需要翻墙,因为屏蔽了中国IP

AUTHENTICATE_STATUSfalse

AUTHENTICATE:留空默认即可

SYSTEM_SETTING:预设系统prompt

MODEL_SETTINGMAX_TOKENS_SETTING:根据官网描述,以下是模型及最大token

LLaMA2 70b

Model ID: llama2-70b-4096
Developer: Meta
Context Window: 4,096 tokens

Mixtral 8x7b

Model ID: mixtral-8x7b-32768
Developer: Mistral
Context Window: 32,768 tokens

Gemma 7b

Model ID: gemma-7b-it
Developer: Google
Context Window: 8,192 tokens

VOCECHAT_URL:你的vocechat URL

VOCECHAT_API_KEY:BOT KEY

VOCECHAT_BOT_ID:BOT ID,该机器人概况页可找到,#后面的数字

使用docker-compose

version: '3'
services:
  vocechat_bot_mixtral:
    image: oliverouyoung/vocechat_bot_mixtral:0.0.2
    ports:
      - "3060:3060"
    depends_on:
      - vocechatredis
    links:
      - vocechatredis
    environment:
      REDIS_HOST:vocechatredis
      REDIS_PORT:6379
      REDIS_HOST:vocechatredis
      PORT:3060
      GROQ_API_KEY:你的key
      AUTHENTICATE_STATUS:false
      AUTHENTICATE:YOUR_KEY
      SYSTEM_SETTING:请始终输出中文
      MODEL_SETTING:mixtral-8x7b-32768
      TEMPERATURE_SETTING:0.5
      MAX_TOKENS_SETTING:32768
      VOCECHAT_URL:https://yourdomain.com
      VOCECHAT_API_KEY:你的key
      VOCECHAT_BOT_ID:142
  vocechatredis:
    image: redis:latest

以上docker-compose未经测试,如有错误,自行解决。


自此,服务搭建完成,访问http://127.0.0.1:3060/grop-vocechat即可看到成功消息。将此地址或者下面的域名填入vocechat机器人设置里的Webhook

可选

如果你的vocehat和你的bot不在同一个服务器里,你也可以使用诸如nginx等进行反代为域名访问。

错误排查

自行在docker的日志中查看错误,善用搜索或AI

最后修改:2024 年 04 月 18 日
如果觉得我的文章对你有用,请随意赞赏