主页

cmake find_package() 处理方法

在 cmakelist.txt 文件中,find_package() 命令用于查找并加载外部库的设置。它并不直接管理依赖包,而是依赖于外部预设的模块或配置来找到这些库。 他找的路径是 cmake/module/XX.cmake 因此,如果是单独的项目,要进行编译,可以设置path set(CMAKE_MODULE_PATH "${CMAKE_CURRENT_SOURCE_DIR}/cmake:${CMAKE_MODULE_PATH}") 这样的话,会去项目的cmake 目录找

阅读更多

nethogs 查看进程网络带宽

sudo nethogs是一个在Linux系统中使用的命令行工具,用于监控网络流量。通过这个命令,用户可以实时查看哪些进程正在使用网络带宽。这对于诊断网络问题、监控网络使用情况或者仅仅是为了了解哪些应用程序正在访问网络非常有用。 安装 Nethogs 在大多数Linux发行版中,nethogs不会预装。你可以通过包管理器来安装它。 对于基于Debian的系统(如Ubuntu),可以使用: sudo apt-get install nethogs 使用 Nethogs 以下命令启动nethogs: sudo nethogs sudo是必需的,因为nethogs需要足够的权限来监控网络接口和查看所有进程的网络活动。 功能和输出解释 启动n...

阅读更多

kallsyms 调试工具,找到内核调用函数及模块

问题 Linux 内核:能否在编译或者运行环境中找出 a 模块调用的某个函数来源于另外哪个模块吗? 解决方案:kallsyms kallsyms 是 Linux 内核中一个重要的调试工具,它允许用户在内核运行时查看和解析内核符号。 kallsyms 的主要功能是提供内核符号的地址和名称,这些符号包括函数、变量、结构体、枚举等。用户可以通过使用 kallsyms 来查找内核中特定符号的地址,或者通过解析内核符号的地址来确定符号的名称。 kallsyms 的使用 只需要在内核命令行中添加 kallsyms=1 即可。添加 kallsyms=1 后,内核将在启动时生成一个符号表,并将符号表存储在 /proc/kallsyms 文件中。 用户可以通过使用 cat 命令来查看 /pr...

阅读更多

CUDA Cores 和 Tensor Cores 区别

区别 CUDA Cores 和 Tensor Cores 是 NVIDIA GPU 显卡中的不同类型的处理单元,它们设计用来执行不同类型的计算任务。 CUDA Cores: CUDA Cores(Compute Unified Device Architecture Cores)是用于处理通用计算任务的核心。 它们是最基础的处理单元,能够执行浮点和整数操作,适用于各种计算密集型任务,包括图形渲染、科学计算和机器学习算法。 CUDA Cores 的设计侧重于提供高吞吐量的串行计算能力,适合广泛类型的通用计算任务。 Tensor Cores: Tensor Cores 是 NVIDIA 在其后代 GPU 架构(如 Volta、Turing 和 Ampere)中引...

阅读更多

从vllm的rocm 适配来看AMD gpu的 支持情况

从vllm的rocm 适配来看AMD gpu的 支持情况 vllm 的 setup.py 中支持的RCOM structure 有: # Supported NVIDIA GPU architectures. NVIDIA_SUPPORTED_ARCHS = {"7.0", "7.5", "8.0", "8.6", "8.9", "9.0"} ROCM_SUPPORTED_ARCHS = {"gfx90a", "gfx908", "gfx906", "gfx1030", "gfx1100"} # SUPPORTED_ARCHS = NVIDIA_SUPPORTED_ARCHS.union(ROCM_SUPPORTED_ARCHS) 支持的架构有: gfx90a: cDNA2 M...

阅读更多

gpt-fast 预测性推理 speculative decode 自测

gpt-fast 参考: https://github.com/pytorch-labs/gpt-fast https://pytorch.org/blog/accelerating-generative-ai-2/ https://mp.weixin.qq.com/s/QlpyjnkuNKGe_KP2Ut0Fgg 环境配置 git clone git@github.com:pytorch-labs/gpt-fast.git 官方没有指定,docker容器,选择拉取最新的pytorch/pytorch 验证环境符合要求 shm-size 需要设置大一些,否则torch.dymno 会有 no space left 报错 截至2024.1.16, gpt-fast 这种必...

阅读更多

终端预览大json文件方式

背景 查看较大 json文件,vscode-ssh 太大也无法查看 解决 安装 yum install jq jq '.' filename.json | less 这里的 ‘.’ 是一个简单的 jq 过滤器,代表将整个输入JSON文件作为输出。 但是这样的话,失去了jq 自带的json 高亮,使用下面命令: jq -C '.' filename.json | less -R 这里的-C选项告诉jq输出颜色化的JSON,而less命令的-R选项则允许显示ANSI颜色转义序列。

阅读更多