微信公众号

阿里通义千问语言大模型开源使用

阿里云开源通义千问(70亿参数模型),包括通用模型Qwen-7B和对话模型Qwen-7B-Chat。它可以跟人类进行交互,有非常强的文案创作能力,用于自然语言处理、对话系统、文本生成等任务。企业也可结合自身应用场景,训练适合自己的企业大模型。

环境配置安装

  • 显存24G
  • python 3.8及以上版本
  • pytorch 1.12及以上版本,推荐2.0及以上版本
  • 建议使用CUDA 11.4及以上

安装torch

pip install d:/temp/torch-2.0.1+cpu-cp39-cp39-win_amd64.whl
pip install d:/temp/torchvision-0.15.2+cpu-cp39-cp39-win_amd64.whl

安装依赖

pip install -r requirements.txt
requirements.txt:

transformers==4.31.0
accelerate==0.20.3
tiktoken
einops
transformers_stream_generator==0.0.4
bitsandbytes
scipy

运行示例代码

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

model_id = 'qwen/Qwen-7B'

pipeline_ins = pipeline(task=Tasks.text_generation, model=model_id, device_map='auto')
text = '秦始皇真实姓名'
result = pipeline_ins(text)
print(result['text'])

与ChatGPT比较

相同的问题:pip安装指定版本库
qwen7b回答:

可以使用以下命令在终端中安装指定版本的库:
pip install <package_name>==<version_number>
其中,<package_name>是要安装的库的名称,<version_number>是要安装的版本号。

chatgpt回答:

要安装特定版本的库,可以使用pip install命令加上库的名称和版本号。以下是安装特定版本库的示例命令:

pip install 库名==版本号
例如,如果要安装requests库的2.25.1版本,可以运行以下命令:

pip install requests==2.25.1
这将使用pip安装requests的特定版本。请确保版本号正确且与库的可用版本匹配。

通义千问目前1.0版本,感觉与chatgpt还有些差距

安全认证和授权什么关系 跨域身份管理SCIM协议
微信公众号