小朱的雜七雜八記錄

2024年3月13日

Linux logrotate 小事項

1. 預設最短週期為每天、若要更短需要使用排程

2.若使用低於一天的排程只能自己用 crontab 去跑、然後要把下面設定從設定檔內拿掉

daily
每天輪替
dateext
使用當日日期作為命名格式

2024年1月25日

在 PVE 下使用 ovftool 匯出 ESXI 的虛擬機

ssh 進去 pve
下載 ovftool
apt install ubzip
unzip VMware-ovftool-4.6.0-21452615-lin.x86_64.zip
sh ovftool vi://<ESXI 的 IP>/<虛擬機名字> ~/vmdk/<虛擬機名字>.ovf

2024年1月24日

Hadoop 2.10.2 安裝筆記

編輯hadoop-env.sh

export JAVA_HOME=/opt/zulu8.54.0.21-ca-jdk8.0.292-linux_x64/

編輯HDFS設定檔 core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

編輯hdfs-site.xml

    <property>
<name>dfs.replication</name>
<value>3</value>
</property>

編輯Yarn設定檔 mapred-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>

<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>

<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>

<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>

<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>

<property>

  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle

格式化HDFS

hdfs namenode -format

啟動NameNode與DataNode

./start-dfs.sh

啟動Yarn

./start-yarn.sh

Web 檢視

http://localhost:50070
http://localhost:18088

Slaves

master
slave1
slave2

/etc/host

192.168.1.1 master
192.168.1.2 slave1
192.168.1.3 slave2

2024年1月22日

Proxmox VE 叢集遷移VM反悔後、zfs上的disk無法移除

如題、訊息出現

() TASK ERROR: zfs error: cannot destroy 'pve-zfs/vm-503-disk-1': dataset is busy

參考這邊下面有人貼出的指令

https://forum.proxmox.com/threads/zfs-error-cannot-destroy-dataset-is-busy.25811/

#fuser -am /dev/pve-zfs/vm-503-disk-1

/dev/zd16: 1359004

#kill 1359004

#zfs destroy pve02-zfs/vm-503-disk-1

2024年1月15日

ubuntu 22.04 修改為固定IP後出現 `gateway4` has been deprecated, use default routes instead.

`gateway4` has been deprecated, use default routes instead.

See the 'Default routes' section of the documentation for more details.

WARNING:root:Cannot call Open vSwitch: ovsdb-server.service is not running.

原設定

ens33:
 dhcp4: false
 addresses: [192.168.1.X/24]
 gateway4: 192.168.1.1
 nameservers:
   addresses: [1.1.1.1,8.8.8.8]
 version: 2

改成

ens33:
 dhcp4: false
 addresses: [192.168.1.x/24]
 routes:
 - to: default
   via: 192.168.1.1
 nameservers:
   addresses: [1.1.1.1,8.8.8.8]

ubuntu 22.04 netplan apply 後出現 Permissions for /etc/netplan/00-installer-config.yaml are too open. Netplan configuration should NOT be accessible by others

預設檔案權限為 -rw-r--r--

改成 -rw------- 就好

sudo chmod 600 /etc/netplan/00-installer-config.yaml

如果出現下面的訊息

WARNING:root:Cannot call Open vSwitch: ovsdb-server.service is not running.

安裝 openvswitch-switch 就好

2024年1月12日

把 proxmox ve 的 VM 轉移到 ESXI 8

1.停止 VM 後，使用備份功能，這邊選擇不壓縮，不然等下還是要解壓縮一次

2.使用 ssh 連進 pve 內，備份的目錄在 /var/lib/vz/dump/

3.用 vma 指令把檔案解開成 raw + qemu-server.conf

vma extract vzdump-qemu-901-2024_01_12-15_07_53.vma extract

4.使用 qemu-img 把 raw 轉換 vmdk 、這邊再帶上參數把硬碟介面給帶入

qemu-img convert -f raw disk-drive-scsi0.raw -O vmdk -o adapter_type=lsilogic,
subformat=streamOptimized,compat6 disk-drive-scsi0.vmdk

5.最後把轉換過的 vmdk 檔傳進 esxi 裡面

6.在 esxi 內再轉一次

vmkfstools -i disk-drive-scsi0.vmdk disk-drive-scsi0-thin.vmdk -d thin

7.建立VM時把預設的硬碟取消，改選擇上面的檔案

8.相容性那邊一定要選 ESXi 6.5 虛擬機器!!

daily	每天輪替
dateext	使用當日日期作為命名格式