seaweedfs总结
2019-04-23 14:29:01
1728次阅读
0个评论
1.集群的建立方式,有那些角色
master:可以有多个,会进行选举,主要是记录文件与fileid的关系,以为各个valume备份的情况
valume:卷服务器,一个卷服务器可以包含多个逻辑卷,不同的卷服务器之间会互为备份,且其内容是完全一致的。
filer:用于自定义路径及文件名,filer与filer之间的数据不共享,要共享可用redis。进行存储,说白了就是存储fileid与路径之间的映射关系
2.数据的一致性
seaweedfs。数据上采取强一致性,倘若要求备份数量为2,则必须要求另外两个副本必须同时上传成功,否则不会返回成功。
若不满足两个备份的数量。则无法上传。
当集群需要2个副本的时候,删除一个结点,还能正常访问,但是无法上传。
重新新增一个节点后,才能继续上传。若新增的节点不是原来停止的节点,则集群会重新在该节点下创建逻辑券
3.容灾备份
weed-fs提供了若干种replication策略(dc 数据中新,rack – 机架,一个逻辑上的概念)
002 表示同一个机架2个备份 010 标识不同机架1个备份 100 表示不同数据中心一个备份
4.扩容方式
可水平扩容,只需添加vaume服务器即可。
master也可直接加入集群即可。
5.数据的迁移
只要把某一结点下的.dat 及.idx文件直接覆盖即可,同时重启
相关命令的记录:
启动master
nohup ./weed master -defaultReplication 002 -mdir /data4/master/m1 -ip=10.156.19.2 -ip.bind=10.156.19.2 -port 9333 -volumePreallocate=false >m1.log &
启动valume
master:可以有多个,会进行选举,主要是记录文件与fileid的关系,以为各个valume备份的情况
valume:卷服务器,一个卷服务器可以包含多个逻辑卷,不同的卷服务器之间会互为备份,且其内容是完全一致的。
filer:用于自定义路径及文件名,filer与filer之间的数据不共享,要共享可用redis。进行存储,说白了就是存储fileid与路径之间的映射关系
2.数据的一致性
seaweedfs。数据上采取强一致性,倘若要求备份数量为2,则必须要求另外两个副本必须同时上传成功,否则不会返回成功。
若不满足两个备份的数量。则无法上传。
当集群需要2个副本的时候,删除一个结点,还能正常访问,但是无法上传。
重新新增一个节点后,才能继续上传。若新增的节点不是原来停止的节点,则集群会重新在该节点下创建逻辑券
3.容灾备份
weed-fs提供了若干种replication策略(dc 数据中新,rack – 机架,一个逻辑上的概念)
002 表示同一个机架2个备份 010 标识不同机架1个备份 100 表示不同数据中心一个备份
4.扩容方式
可水平扩容,只需添加vaume服务器即可。
master也可直接加入集群即可。
5.数据的迁移
只要把某一结点下的.dat 及.idx文件直接覆盖即可,同时重启
相关命令的记录:
启动master
nohup ./weed master -defaultReplication 002 -mdir /data4/master/m1 -ip=10.156.19.2 -ip.bind=10.156.19.2 -port 9333 -volumePreallocate=false >m1.log &
启动valume
nohup ./weed volume -dataCenter=dc1 -rack=rc1 -dir=/data4/valumestorage/v1 -max=10 -index=memory -ip=10.156.19.2 -ip.bind=10.156.19.2 -port=8080 -mserver=10.156.19.2:9333 > v1.log &
00