एक बड़े भंडार पर Git प्रदर्शन के मुद्दे

जोशुआ रेडस्टोन ने फेसबुक के एक बड़े रिपॉजिटरी में कुछ प्रदर्शन मुद्दों की गिट मेलिंग सूची में शिकायत की । उन्होंने एक सिंथेटिक रिपॉजिटरी बनाई और परीक्षण किए।

टेस्ट रिपॉजिटरी
4 मिलियन कमिट, रैखिक इतिहास और लगभग 1.3 मिलियन फाइलें। .गित फ़ोल्डर का आकार लगभग 15 जीबी है, इसे रिपैक कमांड से पैक किया गया था:

git repack -a -d -f --max-pack-size=10g --depth=100 --window=250

एक अच्छी मशीन (बहुत सी मेमोरी, एसएसडी) पर प्रक्रिया में लगभग दो दिन लगे। सूचकांक फ़ाइल का आकार 191 एमबी था।

ऐसी रिपॉजिटरी में Git की गति बिल्कुल भी मनभावन नहीं है। एक नियमित एचडीडी और> 10 जीबी रैम वाले सर्वर पर कमांड निष्पादित करने के परिणाम (कमांड कई बार दोहराए गए थे, वे पहली बार "हॉट" ओएस कैश के साथ तेजी से काम करते हैं):

git status
ठंडे कैश के साथ 39 मिनट, गर्म कैश के साथ 24 सेकंड;

git blame
44 मिनट और 11 मिनट;

git add (फाइल के अंत में कुछ अक्षर जोड़कर और जोड़कर)
7 सेकंड और 5 सेकंड;

git commit -m "foo bar3" --no-verify --untracked-files=no –quiet --no-status
41 मिनट और 20 सेकंड।

फेसबुक डेवलपर्स का कहना है कि इस तरह के परिणाम उन्हें सूट नहीं करते हैं, और स्थिति को ठीक करने के बारे में सलाह के लिए पूछते हैं। संभवतः, गिट के तहत, आपको विशेष अलग सर्वरों को आवंटित करने की आवश्यकता है, और किसी भी तरह व्यक्तिगत ऑपरेशन को गति देने के लिए फाइल सिस्टम स्तर पर इसका समर्थन करें (उदाहरण के लिए, यह निर्धारित करें कि कौन सी फाइलें बदल गई हैं)। आपको या तो व्यक्तिगत सर्वरों का समर्थन करने के लिए Git कोड को फिर से लिखना होगा, या एक तरह के एक्सेस इंटरफ़ेस के रूप में स्क्रिप्ट के साथ ऐड-इन बनाना होगा।

रेडस्टोन के सहयोगी ने बताया कि प्रदर्शन की गिरावट Git में बड़ी संख्या में O (n) संरचनाओं के कारण होती है, जिससे बड़े आकार में समस्याएं होती हैं। सूचकांक फ़ाइल अपने आप में मामूली परिवर्तन पर खरोंच से पूरी तरह से फिर से लिखी जाती है, और एक बड़ी परियोजना में इसका आकार 100 एमबी से अधिक है। इसके अलावा, Git फ़ाइल परिवर्तनों के लिए जाँच करने के लिए lstat का उपयोग करता है, इसलिए लाखों फ़ाइलों पर डिस्क ब्रेक हैं, विशेष रूप से शीत कैश में।

सामान्य तौर पर, फेसबुक डेवलपर्स संकेत दे रहे हैं कि प्रदर्शन में सुधार के लिए गिट को फिर से लिखना अच्छा होगा। वे भंडार को कई भागों में विभाजित करने से इनकार करते हैं।