🕺🏻 ⤴️ 🧑🏼‍🤝‍🧑🏻 तस्वीरों के लिए पकड़। गिट में बड़े भंडार 🤚 👳 ✋🏻

आपके सभी फ़ोटो को संग्रहीत करने के लिए git का उपयोग करने का विचार है।

आप क्या हासिल करना चाहते थे?

एक हीप (DCIM) में तस्वीरें डंप करें, और जब उन्हें फ़ोल्डर्स में सॉर्ट करने का समय हो।
एक कंप्यूटर से फ़ोटो फेंकें, और दूसरे से उनके साथ काम करें।
सभी कंप्यूटरों पर जादुई रूप से सिंक्रनाइज़ फ़ोटो और फ़ोल्डरों को स्थानांतरित करने के लिए।
ताकि आप फ़ोटो संपादित कर सकें, लेकिन मूल को पुनर्स्थापित करने में सक्षम हों।
संपादन का इतिहास रखने के लिए।

जैसा कि यह निकला, जीआईटी को इस कार्य के साथ सामना करना बहुत मुश्किल है।

परिणामी विन्यास, संक्षेप में

यदि केवल निर्देशों की आवश्यकता है, तो अंतिम पैराग्राफ देखें।

मैंने पाया कि क्लाइंट पर मुझे आर्काइविंग को बंद करना है ताकि ऐड और कमिटमेंट तेजी से आगे बढ़ें। और सर्वर पर, संग्रह को अक्षम करने के अलावा, आपको मेमोरी के उपयोग को सीमित करने और वस्तुओं को पैकिंग / अनपैक करने की नीति को समायोजित करने की भी आवश्यकता है।
Ssh के माध्यम से क्लोनिंग धीमी है और सर्वर पर बहुत सारे संसाधनों की आवश्यकता होती है। इसलिए, ऐसे रिपॉजिटरी के लिए "डंब" http प्रोटोकॉल का उपयोग करना बेहतर होता है। इसके अलावा, आपको नवीनतम संस्करण के रूप में गिट को अपडेट करना होगा 1.7.1 में स्मृति समस्याओं की कमी है।
अभी भी लिखना संभव है *.* -delta in .gitattributes , यह डेल्टा पैकेजिंग को निष्क्रिय कर देगा। यानी यहां तक कि अगर केवल एक्सफ़ डेटा को बदल दिया जाता है, तो फ़ाइल को पूरे रिपॉजिटरी में कॉपी किया जाएगा। मैंने यहां इस दृष्टिकोण पर विचार नहीं किया है।
फोटोज के लिए गेंद

विवरण

सर्वर पर काम करने के लिए, मैंने जिओलाइट को चुना। यह रिपॉजिटरी का प्रबंधन करने के लिए गिट के लिए एक आवरण है। द्वारा और बड़े, केवल जंगली रेपो के कारण - रिपोजिटरी मांग पर बनाए गए। लेकिन रिपॉजिटरी में सेटिंग्स को निर्धारित करने की उनकी क्षमता भी उपयोगी थी।

Gitolite स्थापना

सर्वर पर

 useradd git su - git git clone git://github.com/sitaramc/gitolite gitolite/install -to $HOME/bin gitolite setup -pk sam.pub

सब कुछ पुस्तक में वर्णित है , अध्याय 4.8 में।

Gitolite को कॉन्फ़िगर करना क्लाइंट पर किया जाता है। हम जिओलाइट-एडमिन को क्लोन करते हैं, बदलाव करते हैं, कमिट करते हैं, पुश करते हैं। वाइल्ड रिपॉजिटरी सेट करें - ऐसे ब्लॉक को gitolite-admin/conf/gitolite.conf

 # Repos to store photos, with name like 'Fotos-2013-03-13' repo Fotos-[0-9][0-9][0-9][0-9]-[0-9][0-9]-[0-9][0-9] C = sam RW+ = CREATOR RW = WRITERS R = READERS

पहला प्रयोग (git में 3.7 गीगाबाइट फ़ोटो जोड़कर)

खाली रिपॉजिटरी की क्लोनिंग के बाद Thumbs.db पहली पंक्ति में एक। Thumbs.db युक्त एक .gitignore फ़ाइल जोड़ी गई थी।
दूसरी प्रतिबद्ध में, 3.7 गीगाबाइट की मात्रा के साथ 367 फ़ाइलों वाला एक फ़ोल्डर जोड़ा गया था।
Jpg में 293 तस्वीरें - 439 मेगाबाइट
एवी में 37 वीडियो - 3.26 गीगाबाइट
37 THM फाइलें - 0.3 मेगाबाइट

 git clone git@my-server:Fotos-2013-03-01 cd 2013-03-01 echo Thumbs.db > .gitignore git add .gitignore git commit -m 'Initial commit' git add <> #  4  46  git commit #  47  git push --all #  23  50

9 मिनट पुश ने लोकल कंप्यूटिंग की, फिर 14 मिनट फॉरवर्डिंग की।

दूसरा प्रयोग

विचार गित को ट्विक करना है ताकि यह वीडियो और फ़ोटो को संपीड़ित करने का प्रयास न करे। फ़ाइल प्रकार से बंद कैसे करें मुझे नहीं मिला, मुझे पूरी तरह से संपीड़न को अक्षम करना पड़ा।
हम एक खाली भंडार क्लोन करते हैं और इसे कॉन्फ़िगर करते हैं।

क्लाइंट पर

 git clone git@my-server:Fotos-2013-03-02 cd 2013-03-02 git config core.bigFileThreshold 50m git config core.looseCompression 0 git config pack.compression 0

ये कमांड स्थानीय रूप से (वर्तमान रिपॉजिटरी के लिए, यानी। Init / config फाइल के लिए) सेटिंग्स को सेव करते हैं।
core.bigFileThreshold - 50 मेगाबाइट (डिफ़ॉल्ट 512 मेगाबाइट) से बड़ी फ़ाइलों में आंशिक परिवर्तन ( core.bigFileThreshold की खोज को अक्षम करता है
core.looseCompression - core.looseCompression द्वारा "ढीली" स्थिति में वस्तुओं की पैकिंग को निष्क्रिय कर देता है।
pack.compression - एक पैक स्थिति में वस्तुओं के pack.compression द्वारा पैकेजिंग को अक्षम करता है।

क्लाइंट पर

 git add <> #  2  16  git commit #  47  git push --all #  7  20  #   2  43   4  37  .

सर्वर पर पुश कमांड निष्पादित करने के बाद, रिपॉजिटरी में कोई अतिरिक्त सेटिंग नहीं थी (यह ऐसा होना चाहिए)। स्थानीय रिपॉजिटरी ढीली स्थिति में रही, लेकिन इसे सर्वर पर पैक किया गया। लेकिन पैकेट का आकार 3.7 गीगाबाइट था। सर्वर पर कोई pack.packsizelimit = 2g सेटिंग्स नहीं थीं (लेकिन वे भी नहीं बची होंगी)।

Ssh द्वारा एक पैकेज में 3.7 जी रिपॉजिटरी की क्लोनिंग

 git clone git@my-server:Fotos-2013-03-02 #  46 .

क्लोनिंग के बाद, रिपॉजिटरी को पैक किया गया था, और पैकेज 2 गीगाबाइट के स्थानीय प्रतिष्ठानों के बावजूद, आकार में 3.7 गीगाबाइट था।
क्लाइंट पर

 git config --system -l | grep packsize pack.packsizelimit=2g

सर्वर माइग्रेशन

यह धारणा कि पैकेट के आकार पर प्रतिबंधों की कमी, बहुत बड़े-बड़े थ्रेशोल्ड और मेमोरी के उपयोग पर प्रतिबंधों की कमी के कारण सर्वर मैथुन नहीं कर रहा है।
मैंने सर्वर पर रिपॉजिटरी को फिर से भेजने की कोशिश की। सर्वर पर स्थापित

 git config --system pack.packsizelimit 2g

और फिर से, सर्वर पर लॉन्च किया गया

 git repack -A

उसके बाद, आकार में 2 गीगाबाइट तक के पैकेज बनाए गए, लेकिन विशाल पैकेज को हटाया नहीं गया। कचरा इकट्ठा करने का प्रयास स्मृति की कमी से गिर गया, या एक स्वैप पर दम घुट गया। सामान्य तौर पर, मैंने सिस्टम सेटिंग को हटा दिया, और प्रत्येक रिपॉजिटरी में पंजीकरण करने का निर्णय लिया।
नए फोटो रिपॉजिटरी में हम लिखेंगे

 core.bigFileThreshold = 50m #       core.looseCompression = 0 #      pack.compression = 0 #      pack.depth = 10 #   10 ( 50)     pack.deltaCacheSize = 128m # -         pack.packSizeLimit = 2g #     pack.windowMemory = 128m #       transfer.unpackLimit = 2147483647 #   push       N  gc.auto = 300 #    300  ,

हम तस्वीरों के लिए प्रत्येक रिपॉजिटरी में यह सब लिखेंगे। ऐसा करने के लिए, gitolite को कॉन्फ़िगर करें।
कॉन्फ़िगरेशन जोड़ने से पहले, आपको .gitolite.rc फ़ाइल में कॉन्फ़िगरेशन मापदंडों को सक्षम करने की आवश्यकता है। यहाँ एक पंक्ति है

 GIT_CONFIG_KEYS => '.*',

और यहाँ वही है जो जिओलाइट कॉन्फिग की तरह दिखेगा।

 # Repos to store photos, with name like 'Fotos-2013-03-13' repo Fotos-[0-9][0-9][0-9][0-9]-[0-9][0-9]-[0-9][0-9] C = sam RW+ = CREATOR RW = WRITERS R = READERS config core.bigFileThreshold = 50m #       config core.looseCompression = 0 #      config pack.compression = 0 #      config pack.depth = 10 #   10 ( 50)     config pack.deltaCacheSize = 128m # -   ,     config pack.packSizeLimit = 2g #     config pack.windowMemory = 128m #       config transfer.unpackLimit = 2147483647 #   push       N  config gc.auto = 300 #    300  ,

यदि आप एक बड़े transfer.unpackLimit निर्दिष्ट नहीं करते हैं ।unpackLimit, तो git, जिसमें हमारा फोकस 3.7 गीगाबाइट होता है, एक पैकेज के साथ छोड़ देता है। सीमा के बावजूद pack.packSizeLimit = 2g ।
gc.auto 300 आवश्यकता है कि बहुत अधिक ढीली वस्तुएं सर्वर पर भंडार में जमा नहीं होती हैं। " git gc --auto " करने के लिए, जब यह काम करता है, तो लंबे समय तक स्थिर नहीं होता है। डिफ़ॉल्ट रूप से, gc.auto = 6700 ।

तीसरा प्रयोग

हम नए खाली रिपॉजिटरी को क्लोन करते हैं और जांचते हैं कि सर्वर में आवश्यक सेटिंग्स पंजीकृत हैं।
ग्राहक

 git clone git@my-server:Fotos-2013-03-03 cd 2013-03-03

सर्वर

 cd repositories/Fotos-2013-03-03 cat config

रिपॉजिटरी की क्लाइंट कॉपी डिफ़ॉल्ट रूप से कॉन्फ़िगर की गई है। इसलिए, 3.7 गीगाबाइट फ़ोटो जोड़ने से पहले आपको इसे फिर से कॉन्फ़िगर करने की आवश्यकता है
ग्राहक

 git config core.bigFileThreshold 50m git config core.looseCompression 0 git config pack.compression 0 #   git add <folder> #   2.5  #   git commit #   45  #    git push --all # 22.5  #     7.5 ,  15

क्लाइंट और सर्वर दोनों ने ढीले रिपॉजिटरी को छोड़ दिया।
Ssh के माध्यम से नए रिपॉजिटरी को क्लोन करने का प्रयास विफल रहा। सर्वर साइड पर, 1.7.1 आउट ऑफ मेमोरी के साथ दुर्घटनाग्रस्त हो गया।

अद्यतन अद्यतन

सर्वर पर git अपडेट करें

किसी भी संस्करण के एक काम कर रहे git की आवश्यकता है (yum install git)
सर्वर पर

 # 1.    # git://git.kernel.org/pub/scm/git/git.git # 2.      (root) yum install gcc yum install openssl-devel yum install curl yum install libcurl-devel yum install expat-devel yum install asciidoc yum install xmlto # 3.  make prefix=/usr/local all doc #   # make prefix=/usr/local all doc info #     "docbook2x-texi: command not found" # 4.  1.7.1,   1.8.2 yum remove git #   1.7.1 make prefix=/usr/local install install-doc install-html /usr/local/bin/git --version git version 1.8.2

तीसरे प्रयोग की निरंतरता।

अपडेट के बाद, मेमोरी से गिरना बंद हो गया। लेकिन क्लोनिंग की शुरुआत में, मैंने सभी मेमोरी को चुना - 1 गीगाबाइट, स्थानांतरण की शुरुआत के बाद मैंने इसे 250 मेगाबाइट तक घटा दिया।
क्लोनिंग में ही 48 मिनट लग गए। और क्लाइंट पर, रिपॉजिटरी में आकार में 3.7 गीगाबाइट का एक पैक था।

लाने के लिए स्टेटिक HTTP

रिपॉजिटरी डाउनलोड करने पर सर्वर पर कोई काम करने से इनकार करने का विचार है।
सौभाग्य से, git http के माध्यम से प्राप्त कर सकता है। आपको केवल प्रत्येक रिपॉजिटरी अपडेट के बाद git update-server-info देनी होगी। यह आमतौर पर हुक / पोस्ट-अपडेट में किया जाता है। और गिट में इस हुक का एक उदाहरण भी वास्तव में इस आदेश में शामिल है।
हम एक उदाहरण लेंगे, और हम इस हुक को सभी रिपॉजिटरी में दर्ज करने के लिए जिओलाइट को कॉन्फ़िगर करेंगे।
सर्वर पर

 cp repositories/testing.git/hooks/post-update.sample .gitolite/hooks/common/post-update gitolite setup --hooks-only

अब, अगले अद्यतन के बाद, रिपॉजिटरी http के लिए उपलब्ध होगी।
Http स्थापित करने के विवरण में खुदाई नहीं करने के लिए, मैं एक "खिलौना" वेब सर्वर का उपयोग करूंगा। फोल्डर /home/git/http-root बनाएँ। इसमें एक git->../repositories जोड़ें git->../repositories । और मैं वहां से एक "खिलौना" सर्वर लॉन्च करूंगा
सर्वर पर

 python -m SimpleHTTPServer > ../server-log.txt 2>&1 &

क्लाइंट पर

 git clone http://my-server:8000/git/Fotos-2013-03-05.git

रनटाइम 4 मिनट! 4 मिनट में 3.7 गीगाबाइट! यह हमें सूट करता है।

निष्कर्ष

Git के साथ बड़े रिपॉजिटरी की सेवा करने के लिए, क्लोन और Fetch को http के माध्यम से किया जाना चाहिए। सेटिंग्स का एक गुच्छा निर्धारित करें और अधिमानतः गिट को अपडेट करें।

सर्वर रिपॉजिटरी

git config core.bigFileThreshold 50m # वीडियो में git config core.bigFileThreshold 50m देखने के लिए नहीं
git config core.looseCompression 0 # क्रम में ढीली वस्तुओं को संग्रहित करने के लिए नहीं
git config pack.compression 0 # पैक वस्तुओं को संग्रहित न करने के लिए
git config pack.depth 10 # git config pack.depth 10 को खोजने के लिए केवल 10 (50 के बजाय) ऑब्जेक्ट का उपयोग करें
git config pack.deltaCacheSize 128m # git config pack.deltaCacheSize 128m किसी प्रकार के कैश से स्वैपिंग हो सकती है
git config pack.packSizeLimit 2g # अधिकतम पैकेट आकार सीमा
git config pack.windowMemory 128m # मेमोरी की पैकेजिंग के लिए सीमा
git config transfer.unpackLimit 2147483647 # पुश पैकेट तभी छोड़ें, जब उनके पास कई ऑब्जेक्ट से अधिक हों
git config gc.auto 300 # यदि 300 से अधिक ढीली वस्तुएं जमा होती हैं, तो पैक करें
HTTP के माध्यम से रीड ऐक्सेस करें (डम्ब http, किसी प्रकार का गिटोलिट स्मार्ट नहीं)

ग्राहक भंडार

क्लोन और http द्वारा अद्यतन
प्रतिबद्ध करने के लिए, आपको पुश के लिए url कॉन्फ़िगर करने की आवश्यकता है: git remote set-url origin --push git@my-server:Fotos-2013-03-05
git config core.bigFileThreshold 50m # वीडियो में git config core.bigFileThreshold 50m देखने के लिए नहीं
git config core.looseCompression 0 # क्रम में ढीली वस्तुओं को संग्रहित करने के लिए नहीं
git config pack.compression 0 # पैक वस्तुओं को संग्रहित न करने के लिए

मुझे इसे सुलझाने के लिए प्रोत्साहित करने के लिए धन्यवाद।

तस्वीरों के लिए पकड़। गिट में बड़े भंडार