I can believe fly.

Friday, May 25, 2018

fastlane 突发故障处理

fastlane 莫名故障



按往常经验,尝试升级fastlane
  gem install fastlane

再次执行,弹出另一个错误


这是由于苹果最近在登录its下会弹出一个对话框














可以从浏览器登陆,点击下继续即可

Monday, May 14, 2018

ceph集群故障知识点摘记


状况
问题:所有服务突然都访问不了数据
分析:数据挂载所有服务器,不能正常mount,重启也不行,发现 rbd map 相应的镜像  卡死了
故障:检测ceph集群,发现osd存储节点爆满。而osd存储节点大于85%就已经开始报警了,超过95%,ceph集群不可用。


临时将警值从0.95调到0.98 ,ceph集群可用,mount数据正常可以用 

立即开始删除数据 
在mount目录下rm数据有用,只是rm的数据是否就是那95%那个osd里面,就不一定了。

但是要彻底解决问题,需要加机器扩容来解决 

get知识点:
1. osd存储节点大于85%就已经开始报警了,超过95%,ceph集群不可用。
2. 空间不足时,如果可以mount上去的话,rm有用的,只是rm的数据是否是那95%那个osd里面,就不一定了。
3. ceph的集群自平衡策略是,先本地复制,再平衡给其他节点,所以会出现数据存储量比自平衡前,暴增的问题。
4. 因为自平衡是自动的。你如果一个节点出现很多空余存储,导致存储不平均,它就会自动进行存储的自动迁移分配的。100%的osd会出现无法使用情况,只能对该osd进行删除清空。
5. 100%的osd只能进行删除然后重新挂载,进行重新使用



命令行:
查看下ceph集群的所有池信息
rados lspools  

列出镜像
rbd -p (你们挂载的池) ls  //例如:rbd -p volumes ls

查看 
rbd showmapped

挂载镜像
rbd map volumes/build-data

取消挂载
rbd unmap 相应镜像

进到ceph集群,看下ceph集群状态
ceph health detail

查看osd树和健康状态
ceph osd tree 






升级 macOS 系统 + xcode + cocoapods

【升级系统】
  1. 在代理机上下载系统安装包



  1. 安装
将安装包打成zip包,然后在其它机器上下载社个zip包,注意安装前会验证,记得按信ctrl,再点击,然后按指引一步步安装即可。

【升级xcode】

https://developer.apple.com/download/more/下载 Xcode_9.3.1.xip 
然后双击安装按提示安装即可。

【升级cocoapods】
sudo gem install cocoapods