Ceph: Lustre’nin Ötesine Geçen Yenilikçi Depolama Çözümü

Depolama sistemleri, günümüzün veri yoğun dünyasında kritik bir rol oynuyor. Bu sistemlerin performansı ve ölçeklenebilirliği, işletmelerin ve araştırmacıların büyük veri kümelerini etkili bir şekilde işlemesini sağlayan temel faktörler arasında yer alıyor. Ancak, mevcut depolama mimarilerinin sınırlamaları, daha yenilikçi çözümlere olan ihtiyacı ortaya koyuyor. Bu yazımda, Lustre mimarisinin temel bir sınırlamasından yola çıkarak, Sage Weil tarafından tasarlanan ve Ceph olarak adlandırılan yenilikçi bir depolama çözümünün hikayesini ele alacağım.

Lustre mimarisinde, belirli bir dosyayı bulmak için “Metadata Server” (Metaveri Sunucusu) adlı özel bir yazılım bileşenine başvurmak gerekiyor. Yoğun yük altında, bu merkezi yaklaşım bir darboğaz oluşturarak, depolama sisteminin genel performansını ve ölçeklenebilirliğini ciddi şekilde sınırlıyor. Bu durum, daha dağıtık ve etkili bir depolama çözümü ihtiyacını ortaya koyuyor.

Sage Weil, Lustre mimarisinin bu temel sorununu çözmek için, metaverisiz bir yaklaşım benimseyerek ve psödo-rasgele bir yerleştirme algoritması kullanarak verileri dağıtmak ve bulmak için yeni bir mekanizma tasarladı. Bu yenilikçi algoritma, “Controlled Replication Under Scalable Hashing” (CRUSH) olarak adlandırıldı ve sofistike bir hesaplama yöntemi kullanarak, kümenin durumu değiştiğinde verilerin optimal bir şekilde yerleştirilmesini ve yeniden dağıtılmasını sağlıyor. CRUSH, herhangi bir ek metaveri gerektirmeden, verileri depolama kümesindeki tüm cihazlar arasında dağıtmak için tasarlanmıştır. Bu yaklaşım, genişleme sırasında yeni, boş cihazların tüm yeni yazımları almasını ve böylece veri dağılımında bir dengesizlik yaratılmasını önlemeyi amaçlar.

CRUSH algoritması, depolama kümesinin yaşam döngüsü boyunca (genişleme, azalma veya arıza durumlarında) veri dağılımını sürdürerek, her fiziksel disk üzerinde eski ve yeni verilerin eşit bir karışımını sağlar. Bu, tüm fiziksel disk cihazları arasında I/O işlemlerinin daha eşit bir dağılımına yol açar. Algoritma ayrıca, büyük dosyaların (örneğin, 100 GiB) CRUSH algoritması aracılığıyla atanan belirli bir yerleştirmeye sahip daha küçük öğelere bölünmesine izin verir. Bu sayede, büyük bir dosyayı okumak, tek bir disk sürücüsü yerine birden fazla fiziksel disk sürücüsünü kullanmayı mümkün kılar.

Sage Weil’in bu yenilikçi algoritmayı prototipleştirmesiyle, Ceph adında yeni bir dağıtık depolama yazılım çözümü ortaya çıktı. Ceph adı, projenin doğduğu Santa Cruz, CA’nın Pasifik Okyanusu’na olan yakınlığını ve okyanusun zengin yaşamını simgeleyerek seçildi. Ceph, açık kaynak bir proje olarak başladı ve gelişimini sürdürdü. Ocak 2023’te, projenin geleceği için daha fazla kaynak sağlamak amacıyla tüm Ceph geliştiricileri ve ürün yöneticileri Red Hat‘ten IBM‘ye taşındı. IBM’deki Ceph projesi, açık kaynak bir proje olarak kalmaya devam ediyor ve kod değişiklikleri, IBM Storage Ceph yazılım tanımlı depolama ürününün temelini oluşturacak şekilde, hala yukarıdan aşağıya ilk kuralına göre yapılıyor.

Ceph projesinin geçtiğimiz iki on yılda ulaştığı kilometre taşları, depolama teknolojilerindeki yenilikçi yaklaşımların ve açık kaynaklı çözümlerin önemini vurguluyor. Bu yolculuk, teknolojinin sınırlarını zorlayarak, daha etkili, ölçeklenebilir ve esnek depolama çözümleri geliştirmeye yönelik sürekli bir arayışı temsil ediyor.

Ceph Projesinin Gelişim Zaman Çizergesi

“Ceph: Lustre’nin Ötesine Geçen Yenilikçi Depolama Çözümü” yazım umarım, Ceph yolculuğunda olan sizler için güzel bir giriş olmuştur.

Diğer IBM yazılarım için lütfen BURAYA TIKLAYINIZ.

Kaynakça: IBM Storage Ceph Concepts and Architecture Guide