Aquila2 7B、34B 仓库地址：https://github.com/FlagAI-Open/Aquila2
一、安装部署
Q: 模型权重会持续更新吗？
会的，请注意查看变更日志：中文 / English
变更日志中有新的 md5 信息，大家可以先删除原来目录下的 model_pytorch.bin，再下载新权重。权重与之前完全兼容，使用方式不变。
Q: 系列模型有什么区别？
Q：如何下载 Aquila 权重？
Step1: 安装 FlagAI
pip install -U flagai
Step2: 本地下载运行 Aquila
运行 generate.py
📌大家也可以通过 FlagOpen 模型仓库 或者 huggingface.co/BAAI 下载权重。
Q：Aquila-7B 推理需要什么硬件资源？
最低硬件需求：运行Aquila-7B 系列需要内存 30G, 显存 18G，生成最大长度 2048 tokens。
使用 BMinf 低资源推理时，你不需要拥有高性能的显卡（小于12G）即可运行程序，生成最大长度 2048 tokens。但请注意需要先安装 bminf pip install bminf
Q：FlagAI 支持多种大模型训练框架(DeepSpeed BMtrain等) 有训练框架的版本要求吗？
[Option]
BMTrain >= 0.2.2
DeepSpeed >= 0.7.7
FlashAttention >=1.0.2
Q: 怎么体验 AquilaChat-7B ？
请注意修改 model_name = 'aquilachat-7b'
prompt 的格式也需要用到 SFT 的固定格式
具体参考 ./Aquila-chat 目录下的样例
Q：AquilaChat 支持多轮对话吗？
支持，可以参考多轮对话示例：
https://github.com/FlagAI-Open/FlagAI/blob/master/examples/Aquila/Aquila-chat/generate_chat.py#L51
Q：AquilaChat 生成为什么有很多 [UNK] 字符？
该问题在 FlagAI 1.7.2 中修复。建议升级版本。
二、未来计划
Q：Aquila 模型有后续迭代计划吗？
我们会持续调整训练数据、优化训练方法、提升模型性能，并持续开源更好的版本。请关注官方渠道更新，包括 FlagAI 仓库，FlagAI 知乎账号、FlagAI 官方技术交流群、智源研究院微信公众号、智源社区微信公众号。
Q：Aquila 有官方的评测结果吗？
评测结果见 FlagEval 官网：https://flageval.baai.ac.cn/
Q: Aquila 的训练数据会开源吗？
预训练数据和SFT数据暂时不会开源，但数据分布情况会在 官方技术报告 中分享。
Q：官方有体验 AquilaChat 网址 / WebUI 吗？
有。注册并登录 FlagOpen 官网，选择“能力服务-对话模型-能力试用”，填写申请表单。我们会按顺序优先通过真实姓名、公司或学校邮箱的申请。
三、其他问题
Q：悟道 · 天鹰Aquila系列模型是否可商用？
完全可以商用。源代码遵从 Apache 2.0 协议。模型权重遵从《智源Aquila系列模型许可协议》，许可及许可限制请点击查看。
Q：如果我想使用AquilaChat在自己的大量的领域数据上（10GB）做预训练， 然后在自己的小规模带标注的领域数据集（约200M）上再做微调，并且想保持Aquila基础的聊天能力（与我自己的领域数据无关的基础聊天能力和Aquila-Chat基本相当），我应该怎么做？
最好的方式是直接基于Aquila基础模型继续预训练。不过你也可以尝试直接基于 AquilaChat 进行大量领域数据的预训练，也可以提升模型在特定领域的能力。需要注意预训练完之后的 SFT 数据的多样性（这里指的是 task的类型需要足够多），比如去网上搜集其他通用的开源的 SFT 数据集，例如 COIG 和 OIG 等，混合着你需要的200M小数据集，一起做 SFT 效果会更好。
Aquila2 7B、34B 仓库地址：https://github.com/FlagAI-Open/Aquila2
一、安装部署
Q: 模型权重会持续更新吗？
会的，请注意查看变更日志：中文 / English
变更日志中有新的 md5 信息，大家可以先删除原来目录下的 model_pytorch.bin，再下载新权重。权重与之前完全兼容，使用方式不变。
Q: 系列模型有什么区别？
Q：如何下载 Aquila 权重？
Step1: 安装 FlagAI
pip install -U flagaiStep2: 本地下载运行 Aquila
运行 generate.py
📌大家也可以通过 FlagOpen 模型仓库 或者 huggingface.co/BAAI 下载权重。
Q：Aquila-7B 推理需要什么硬件资源？
最低硬件需求：运行Aquila-7B 系列需要内存 30G, 显存 18G，生成最大长度 2048 tokens。
使用 BMinf 低资源推理时，你不需要拥有高性能的显卡（小于12G）即可运行程序，生成最大长度 2048 tokens。但请注意需要先安装 bminf
pip install bminfQ：FlagAI 支持多种大模型训练框架(DeepSpeed BMtrain等) 有训练框架的版本要求吗？
[Option]
BMTrain >= 0.2.2
DeepSpeed >= 0.7.7
FlashAttention >=1.0.2
Q: 怎么体验 AquilaChat-7B ？
请注意修改
model_name = 'aquilachat-7b'prompt 的格式也需要用到 SFT 的固定格式
具体参考 ./Aquila-chat 目录下的样例
Q：AquilaChat 支持多轮对话吗？
支持，可以参考多轮对话示例：
https://github.com/FlagAI-Open/FlagAI/blob/master/examples/Aquila/Aquila-chat/generate_chat.py#L51
Q：AquilaChat 生成为什么有很多 [UNK] 字符？
该问题在 FlagAI 1.7.2 中修复。建议升级版本。
二、未来计划
Q：Aquila 模型有后续迭代计划吗？
我们会持续调整训练数据、优化训练方法、提升模型性能，并持续开源更好的版本。请关注官方渠道更新，包括 FlagAI 仓库，FlagAI 知乎账号、FlagAI 官方技术交流群、智源研究院微信公众号、智源社区微信公众号。
Q：Aquila 有官方的评测结果吗？
评测结果见 FlagEval 官网：https://flageval.baai.ac.cn/
Q: Aquila 的训练数据会开源吗？
预训练数据和SFT数据暂时不会开源，但数据分布情况会在 官方技术报告 中分享。
Q：官方有体验 AquilaChat 网址 / WebUI 吗？
有。注册并登录 FlagOpen 官网，选择“能力服务-对话模型-能力试用”，填写申请表单。我们会按顺序优先通过真实姓名、公司或学校邮箱的申请。
三、其他问题
Q：悟道 · 天鹰Aquila系列模型是否可商用？
完全可以商用。源代码遵从 Apache 2.0 协议。模型权重遵从《智源Aquila系列模型许可协议》，许可及许可限制请点击查看。
Q：如果我想使用AquilaChat在自己的大量的领域数据上（10GB）做预训练， 然后在自己的小规模带标注的领域数据集（约200M）上再做微调，并且想保持Aquila基础的聊天能力（与我自己的领域数据无关的基础聊天能力和Aquila-Chat基本相当），我应该怎么做？
最好的方式是直接基于Aquila基础模型继续预训练。不过你也可以尝试直接基于 AquilaChat 进行大量领域数据的预训练，也可以提升模型在特定领域的能力。需要注意预训练完之后的 SFT 数据的多样性（这里指的是 task的类型需要足够多），比如去网上搜集其他通用的开源的 SFT 数据集，例如 COIG 和 OIG 等，混合着你需要的200M小数据集，一起做 SFT 效果会更好。