主页

从vllm的rocm 适配来看AMD gpu的 支持情况 vllm 的 setup.py 中支持的RCOM structure 有： # Supported NVIDIA GPU architectures. NVIDIA_SUPPORTED_ARCHS = {"7.0", "7.5", "8.0", "8.6", "8.9", "9.0"} ROCM_SUPPORTED_ARCHS = {"gfx90a", "gfx908", "gfx906", "gfx1030", "gfx1100"} # SUPPORTED_ARCHS = NVIDIA_SUPPORTED_ARCHS.union(ROCM_SUPPORTED_ARCHS) 支持的架构有： gfx90a： cDNA2 M...

问题描述 ssh 拉取 github代码有问题，提示time out 问题分析 应该是tcp 阻断 22端口 换成 443 端口即可 解决 ~/.ssh/config 添加 Host github.com Hostname ssh.github.com Port 443 即可

gpt-fast 参考： https://github.com/pytorch-labs/gpt-fast https://pytorch.org/blog/accelerating-generative-ai-2/ https://mp.weixin.qq.com/s/QlpyjnkuNKGe_KP2Ut0Fgg 环境配置 git clone git@github.com:pytorch-labs/gpt-fast.git 官方没有指定，docker容器，选择拉取最新的pytorch/pytorch 验证环境符合要求 shm-size 需要设置大一些，否则torch.dymno 会有 no space left 报错 截至2024.1.16, gpt-fast 这种必...

背景 查看较大 json文件，vscode-ssh 太大也无法查看 解决 安装 yum install jq jq '.' filename.json | less 这里的 ‘.’ 是一个简单的 jq 过滤器，代表将整个输入JSON文件作为输出。 但是这样的话，失去了jq 自带的json 高亮，使用下面命令： jq -C '.' filename.json | less -R 这里的-C选项告诉jq输出颜色化的JSON，而less命令的-R选项则允许显示ANSI颜色转义序列。

nvidia-smi 技巧 查询nvlink互联拓扑： nvidia-smi topo -m 以下是几个例子 双卡1080ti，普通家用主板: yxc@hua-System-Product-Name:~$ nvidia-smi topo -m GPU0 GPU1 CPU Affinity NUMA Affinity GPU0 X PHB 0-11 N/A GPU1 PHB X 0-11 N/A Legend: X = Self SYS = Connection traversing PCIe as well as the SMP ...

HuggingFace模型调用 模型下载 可以从官网下载，出于国内网络连接问题，也可使用镜像网站（非官方）下载 镜像地址： https://aliendao.cn/ ， 用–repo_id指定对应模型的名称即可下载： $ pip install huggingface_hub $ wget http://61.133.217.142:20800/download/model_download.py # 比如下载THUDM/chatglm-6b $ python model_download.py --mirror --repo_id THUDM/chatglm-6b => 所有文件保存到dataroot/models/THUDM/chatglm-6b目录下 模型文件解...

模型 hidden_size num_heads size_per_head max_seqlen vocab_size num_layers bert 768 12 64 512 30522 12/24 chatGLM-6B 4096 32 128 2048 130528 28 chatGLM2-6B 4096 32 128 ...

背景 传输一些LLM的权重文件，很大，scp 总是丢包，想着打包再分成一个个2G的小数据包好传输 但是zip之后发现，zip压缩包无法直接split 拆分，tar.gz 反而可以 tar.gz 和zip 区别 tar.gz 可以用split 拆分成很多小包，zip不行 tar -czvf - opt-6.7b | split -b 1G - opt-6.7b cat opt-6.7b* > opt-6.7b.tar.gz 合并，直接cat > 即可 文件结构: tar（Tape Archive）最初是为了将文件打包到磁带备份系统中而设计的。tar 本身只打包文件和目录为一个单一的文件，不进行压缩。要进行压缩，通常会结合使用 gzip（.gz），bz...