主页

nvidia-smi 技巧 查询nvlink互联拓扑： nvidia-smi topo -m 以下是几个例子 双卡1080ti，普通家用主板: yxc@hua-System-Product-Name:~$ nvidia-smi topo -m GPU0 GPU1 CPU Affinity NUMA Affinity GPU0 X PHB 0-11 N/A GPU1 PHB X 0-11 N/A Legend: X = Self SYS = Connection traversing PCIe as well as the SMP ...

HuggingFace模型调用 模型下载 可以从官网下载，出于国内网络连接问题，也可使用镜像网站（非官方）下载 镜像地址： https://aliendao.cn/ ， 用–repo_id指定对应模型的名称即可下载： $ pip install huggingface_hub $ wget http://61.133.217.142:20800/download/model_download.py # 比如下载THUDM/chatglm-6b $ python model_download.py --mirror --repo_id THUDM/chatglm-6b => 所有文件保存到dataroot/models/THUDM/chatglm-6b目录下 模型文件解...

模型 hidden_size num_heads size_per_head max_seqlen vocab_size num_layers bert 768 12 64 512 30522 12/24 chatGLM-6B 4096 32 128 2048 130528 28 chatGLM2-6B 4096 32 128 ...

背景 传输一些LLM的权重文件，很大，scp 总是丢包，想着打包再分成一个个2G的小数据包好传输 但是zip之后发现，zip压缩包无法直接split 拆分，tar.gz 反而可以 tar.gz 和zip 区别 tar.gz 可以用split 拆分成很多小包，zip不行 tar -czvf - opt-6.7b | split -b 1G - opt-6.7b cat opt-6.7b* > opt-6.7b.tar.gz 合并，直接cat > 即可 文件结构: tar（Tape Archive）最初是为了将文件打包到磁带备份系统中而设计的。tar 本身只打包文件和目录为一个单一的文件，不进行压缩。要进行压缩，通常会结合使用 gzip（.gz），bz...

问题： THC/THC.h: No such file or directory 配置老0.3.0 版本openpcdet 出问题 fatal error: THC/THC.h: No such file or directory 解决 pytorch在最新的版（1.11）本中将THC/THC.h 去除了，降级pytorch版本即可

docker 迁移记录 直接cp 到机械硬盘，然后再软链接即可 sudo service docker stop sudo cp -a /var/lib/docker /media/hdisk2/ sudo ln -fs /media/hdisk2/docker /var/lib/docker sudo service docker start 潜在问题，可能cp需要好久，暂时无解 参考 https://strikefreedom.top/archives/migrate-docker-installation-directory https://github.com/NVIDIA/TensorRT/tree/release/8.2#setting-up-the-...

修改dockerfile 用国内源： 替换ubuntu源： RUN sed -i 's/http:\/\/archive.ubuntu.com/http:\/\/mirrors.tuna.tsinghua.edu.cn\/ubuntu/g' /etc/apt/sources.list 替换pip源 RUN pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

实验室服务器上，docker一直走不了代理，proxy 也排查了，设置也走lan了， clash换到v2ray，都不行 后来发现是防护墙屏蔽了docker的网 解决 # 开放docker内容器的访问权限 ufw allow from 172.17.0.1/24 # 刷新防火墙配置 ufw reload