本文通过一个表格,将Lustre基本特性做一个汇总,了解其他存储或文件系统的同学,可以对比Lustre与之异同,下一篇文章,我们会详细对比Lustre和Ceph的特性。
特性汇总表格:
特性名称 | 详细描述 |
动态扩展性和性能 | 集群扩展性和性能影响因素: a. 磁盘存储 b. 带宽 c. 单节点性能 根据多个因素,动态决策出节点规模,以达到最好的性价比 |
ldiskfs文件系统 | 性能优化版的ext4文件系统 |
完整POSIX接口支持 | a. 完整的POSIX测试通过 b. 大部分是原子操作,客户端看不到脏数据 c. 支持内存级别的文件IO 备注:少量接口有限制 |
高性能异构网络 | 支持多种高性能网络 a. InfiniBand的RDMA b. 英特尔的OmniPath c. 可以桥接多个RDMA网络 |
高可用性(HA) | a. OST和MDT支持双主容灾模式 b. 支持对接高可用软件,消除NSPF(单点故障) c. 多重挂载保护(MMP),保障免于受损 |
安全性 | a. TCP连接只能通过指定的端口 b. MDS会校验用户组身份 |
ACL访问控制列表 | a. 遵循Unix的安全模型 b. 使用POSIX增强的ACL |
互操作性 | 不同CPU、不同字节序(大小端)的Lustre版本(连续主流版本),相互间可以通信 |
基于对象的架构 | 存储端使用基于对象的架构,独立升级,不影响客户端 |
字节级别锁、细粒度元数据锁 | a. 多个客户端,可以并发读写同一个文件或目录 b. LDLM分布式锁管理器,保证在客户端和服务端数据一致性 c. MDT管理inode和文件名级别的锁 d. OST管理文件条带级别的锁 |
支持配额 | a. 用户配额 b. 用户组配额 |
支持数据和元数据动态扩容 | 集群数据和元数据扩容不中断 a. 增加OST节点 b. 增加MDT节点 |
可控的文件布局 | 可以针对以下几种类型,配置跨OST的文件布局: a. 单个文件 b. 单个目录 c. 单个文件文件系统 |
网络数据完整性保护 | 客户端发到服务端的数据,经过checksum保护,保证数据完整性 |
MPI-IO | 软件上增加了ADIO层,优化了并行IO能力,满足Lustre文件系统 |
支持导出NFS和CIFS共享 | NFS:通过Linux knfsd or Ganesha CIFS:通过Samba |
灾难恢复工具 | 在线分布式文件系统检查(LFSCK),可以在发生重大文件系统错误时恢复存储组件之间的一致性 备注:只能恢复组件之间的一致性 |
性能监控 | 提供多种机制来检查和调优性能 |