主页

win下spark null\bin\winutils.exe 报错

spark java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries 报错 环境 win10 jdk1.8 scale spark2.11 代码 package com.atguigu.spark.core.wc import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext}; object Spark01_WorldCount { def main(args:Array[String]) : Unit = { val spa...

阅读更多

hadoop 常用脚本

Hadoop集群启停脚本(包含HDFS,Yarn,Historyserver) myhadoop.sh #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " =================== 启动 hadoop集群 ===================" echo " --------------- 启动 hdfs ---------------" ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh" ...

阅读更多

ubuntu win 双系统安装

ubuntu版本选择 2022年下半年, 实习的小公司里主要生产统一使用18.04,确实兼容性很好, 可以完美配合 ros melodic 动手学习深度学习,李沐选用ubuntu版本也是18 这个时间段相对来说比较稳定的选择 使用ros环境最好根据ros对应的ubuntu版本进行 笔记本安装 当时实习的时候只带了笔记本,就在笔记本上安装双系统 硬件 小新pro13 2020 amd 4600u低配 硬盘原本是500g 自行换成了1T 闪迪 ultra 3D 硬盘是个坑点 安装 清空硬盘区域 直接硬盘压缩出合适的空间,设置空间为未分配即可,win自带磁盘管理工具或者其他工具均可达到,考虑到当时使用的kitti数据集已经超过30g,就先分配了100g 制作u...

阅读更多

github pages 搭建

搭建流程 创建github.io结尾仓库,然后找一个jekly模板导入仓库,fork,或者下载再上传都行 博客内容直接用md写,静态模板会帮助转换成html网页,语法就参照markdown 语法,有部分区别直接参考模板文档即可 bug 相关 github actions 报错 pages build and deployment: Some jobs were not successful 细节报错 删除相关代码 已经用代码块包裹,还是不行,删除后流水线恢复正常

阅读更多

linux板端如何查找其他用户并踢掉

fuser 命令 fuser 命令用于查找和操作正在使用指定文件或文件系统的进程。它提供了一种查找和终止进程的方式,以释放文件或文件系统资源。 fuser [options] <file or directory> 其中,options 是可选的命令选项,<file or directory> 是要查询的文件或目录的路径。 一些常用的 fuser 命令选项包括: -k:终止正在使用文件或目录的进程。 -m:指定文件系统类型,仅查找指定类型的文件系统上的进程。 -n <namespace>:指定命名空间,仅查找指定命名空间中的进程。 -v:显示详细的进程信息。 以下是一些示例用法: 查找正在使用文件 /...

阅读更多