本文通过一个表格,将Lustre基本特性做一个汇总,了解其他存储或文件系统的同学,可以对比Lustre与之异同,下一篇文章,我们会详细对比Lustre和Ceph的特性。
继续阅读“04 Lustre基本特性汇总”月度归档: 2024 年 10 月
03 Lustre集群架构和主要组件信息
Lustre集群架构,是一种集群式存储架构,核心是Lustre文件系统。Lustre文件系统是一种基于Linux的文件系统,同时对外提供符合POSIX标准的UNIX文件系统接口。Lustre支持根据需求动态扩缩容,从而减少部署多个独立的文件系统,通过动态添加服务器,可很容易地提高吞吐量和或容量。因为有强大的锁和数据一致性能力,Lustre文件系统在单个服务器上的性能较优,以下详细介绍Lustre集群架构和主要组件信息。
继续阅读“03 Lustre集群架构和主要组件信息”02 Lustre版本发布历史
Lustre坎坷20载,依然坚挺,占据HPC市场一定的份额。今天就来盘点一下,Lustre在过去20年版本发布情况,以及各版本的特性。以下表格采用编年体,展示Lustre各个版本情况,汇总一下Lustre版本发布历史和未来的RoadMap。
继续阅读“02 Lustre版本发布历史”【AI绘画】Stable Diffusion,AI绘画术语、黑话科普贴
随着23年AIGC大火,AI绘画,通过AI生图、扩图、修图的大模型越来越成熟。今天就AI绘画这个领域,给大家简单普及一下行业术语,也就是俗称的黑话。听到最高频的一个词就是SD,SD就是:Stable Diffusion,稳定扩散,这是AI生图的术语,也是大模型名称,是Stability团队出品的大模型,通过这个大模型可以完成上述功能,生成的图片主要二次元动漫为主,以下图片就是使用SD生成。
继续阅读“【AI绘画】Stable Diffusion,AI绘画术语、黑话科普贴”01 Lustre坎坷的历史
Lustre是一种并行式文件系统,它的名字由Linux和Cluster组合而来,从名字可以看出,它是一种集群式的文件系统。一般用于大规模集群,比如成百、上千,甚至上万的节点。
目前,Lustre在超算(HPC)场景中,占有大量的市场份额,可以说是第一把交椅。但是,翻开它的发展历史,看到Lustre非常坎坷,像过家家一样,成为多个大厂的弃儿。
继续阅读“01 Lustre坎坷的历史”存储和大模型之间关系
存储作为AI大模型训练的重要基础设施,贯穿大模型全流程,存储的能力和性能,直接影响大模型训练周期,影响整体成本付出。
继续阅读“存储和大模型之间关系”深度合作!极客VIP立减300、课程包立减100,不定时送书,限时优惠!
毕辞数据和极客时间有深度合作,所以也拿到了一定的优惠,主要包含VIP年卡、优惠课程包等
继续阅读“深度合作!极客VIP立减300、课程包立减100,不定时送书,限时优惠!”