लिटरो कैसे काम करता है, या एक और समीक्षा

लिटरो एक फोकस-फ्री प्लेनोप्टिक कैमरा है जो लिट्रो (स्टार्टअप रेन एनजी - स्टैनफोर्ड ग्रेजुएट) द्वारा निर्मित है। कैमरा प्रकाश क्षेत्रों की विधि द्वारा काम करता है, जिसे मैं ऑपरेशन के सिद्धांत (कट के तहत यातायात) के बारे में बताने की कोशिश करूंगा।
चित्र जहां लिटरो से तस्वीरें हैं वे क्लिक करने योग्य हैं (लेकिन साइट हाल ही में, यह होता है, झूठ - शायद गिर जाएगा और अब)।

कैमरा

पिछली समीक्षा में वर्णित उपस्थिति के बारे में, आप लिटरो वेबसाइट पर पूर्ण चश्मा पा सकते हैं। कैमरा चीन में ही बनाया गया है, USB के माध्यम से जुड़ता है और चार्ज होता है:


डिस्प्ले टच-सेंसिटिव है, सामान्य रिज़ॉल्यूशन का है, यहाँ यह दिखाता है कि कैमरा चार्ज हो रहा है:


ऑपरेशन का सिद्धांत सरल है: ज़ूम शीर्ष पर है (आपको लोचदार बैंड के पार अपनी उंगली को स्लाइड करने की आवश्यकता है), और शटर बटन शीर्ष पर है। ज़ूम 24-105 मिमी के समान है।

मैक्रो

यदि आप कैमरे को ऑब्जेक्ट के करीब लाते हैं, तो यह फोकस नहीं होगा (हां, यह शूटिंग के बाद फोकस नहीं करता है):


इसे दूर करने के लिए, आप "रचनात्मक मोड" को सक्षम कर सकते हैं। इसे सफेद बॉक्स पर क्लिक करके चालू किया जाता है:


क्रिएटिव मोड में, आप टच स्क्रीन पर क्लिक करके कैमरा फोकस कर सकते हैं। मैंने ऑब्जेक्ट पर ध्यान दिया, कैमरा ने सोचा और ध्यान केंद्रित किया (ऑटोफोकस, जाहिरा तौर पर, इसके विपरीत):


आप बहुत करीब ध्यान केंद्रित कर सकते हैं:


रचनात्मक मोड की सीमा यह है कि शूटिंग के बाद, फोकस रेंज सीमित होगी।
एक बार, निर्माताओं ने मैक्रो के लिए अंतर्निहित फोकस स्टैकिंग करने का वादा किया। अब कैमरे में ऐसी कोई विशेषता नहीं है, लेकिन फ़ोटोशॉप में इसे करना आसान है, एलएफपी से चित्र लेना - जैसा कि आप देख सकते हैं, प्रसंस्करण से पहले क्षेत्र की गहराई बहुत बड़ी है:

सेटिंग्स

कैमरे में अधिक सेटिंग्स नहीं हैं। कैमरा अपने आप एक्सपोज़र सेट करता है, इस प्रक्रिया को प्रभावित करना असंभव है (मैंने देखा कि एवरीडेमोड में पैमाइश मैट्रिक्स है, क्रिएटिवमोड में यह केंद्र-भारित है - लेकिन किसी तरह हमेशा नहीं)। यहाँ कुछ उदाहरण हैं:


सबसे खराब परिस्थितियों में, यह आईएसओ 3200, 1/15 होगा (हालांकि यह अजीब है: यदि कोई एक्सेलेरोमीटर था, तो आप यह निर्धारित कर सकते हैं कि कैमरा एक तिपाई पर क्या है और शटर की गति बढ़ाएं):

मुलायम

जब आप कैमरा कनेक्ट करते हैं, तो सॉफ्टवेयर उसमें से फोटो कॉपी करता है, जिससे आप उन्हें घुमा सकते हैं और उन्हें lytro.com पर अपलोड कर सकते हैं।
यह Qt में लिखा गया है और SQLite डेटाबेस में जानकारी संग्रहीत करता है, जिसका प्रारूप यहां वर्णित है ।
हाल ही में, सॉफ्टवेयर जीत के तहत आया, जो अच्छी खबर है:

प्रारूप

लिटरो में एक .lfp प्रारूप है, जिसका उपयोग कच्ची और वेब-अनुकूलित फ़ाइलों के लिए किया जाता है। आइए इसे और अधिक विस्तार से विचार करें।
तो .lfp एक कंटेनर है जिसे खंडों में विभाजित किया गया है। अनुभाग कई प्रकार के होते हैं:

• फ़ाइल मेटाडेटा: हमेशा मौजूद होता है, फ़ाइल अनुभागों का वर्णन करता है और इसमें SHA-1 हैश, json प्रारूप होता है।
  उदाहरण

  { "picture" : { "frameArray" : [ { "frame" : { "metadataRef" : "sha1-079f3465638687275008d656c408c9c91d1bc6ee", "privateMetadataRef" : "sha1-44cdec4d744eae5c06dbef8f086fd7905bd8f55a", "imageRef" : "sha1-2f429e42bef0dc3fa0351dd2d55404c351e3beca" }, "parameters" : { "vendorContent" : { "com.lytro.tags" : { "darkFrame" : false, "modulationFrame" : false } } } } ], "viewArray" : [ { "type" : "com.lytro.stars", "vendorContent" : { "starred" : false } } ], "accelerationArray" : [ { "type" : "com.lytro.acceleration.refocusStack", "generator" : "Lytro Lightfield Engine 1.000000", "vendorContent" : { "viewParameters" : {}, "displayParameters" : { "displayDimensions" : { "mode" : "fixedToValue", "value" : { "width" : 1080, "height" : 1080 } } }, "defaultLambda" : 0, "depthLut" : { "width" : 20, "height" : 20, "representation" : "raw", "imageRef" : "sha1-3797be865adeaf3d28b372a2dca0aa8e3ef79b6f" }, "imageArray" : [ { "representation" : "jpeg", "width" : 1080, "height" : 1080, "lambda" : 4.8976802825927734, "imageRef" : "sha1-6e268b48ced0b5c38e39d477a3100f00bb9c188b" }, { "representation" : "jpeg", "width" : 1080, "height" : 1080, "lambda" : 5.886573314666748, "imageRef" : "sha1-80b19c4365465e63e623d5cc1fb9d345dfab7ce0" }, { "representation" : "jpeg", "width" : 1080, "height" : 1080, "lambda" : 6.8429036140441895, "imageRef" : "sha1-5f7c28a7b4aad7d06fcea230293aadb700ad27ef" } ] } } ], "derivationArray" : [ "sha1-f408b48df6a6c09e40e60585a655e8d81415b789" ] }, "thumbnailArray" : [], "version" : { "major" : 1, "minor" : 0, "provisionalDate" : "2011-08-03" } } 

• फ़्रेम मेटाडेटा: केवल RAW फ़ाइल में मौजूद है, यह सभी सेंसर से रीडिंग है जो कि शूटिंग के समय होता है।
  उदाहरण

   { "type" : "lightField", "image" : { "width" : 3280, "height" : 3280, "orientation" : 1, "representation" : "rawPacked", "rawDetails" : { "pixelFormat" : { "rightShift" : 0, "black" : { "r" : 168, "gr" : 168, "gb" : 168, "b" : 168 }, "white" : { "r" : 4095, "gr" : 4095, "gb" : 4095, "b" : 4095 } }, "pixelPacking" : { "endianness" : "big", "bitsPerPixel" : 12 }, "mosaic" : { "tile" : "r,gr:gb,b", "upperLeftPixel" : "b" } }, "color" : { "ccmRgbToSrgbArray" : [ 3.1115827560424805, -1.9393929243087769, -0.172189861536026, -0.3629055917263031, 1.6408803462982178, -0.27797481417655945, 0.078967012465000153, -1.1558042764663696, 2.0768373012542725 ], "gamma" : 0.41666001081466675, "applied" : {}, "whiteBalanceGain" : { "r" : 1.07421875, "gr" : 1, "gb" : 1, "b" : 1.26953125 } }, "modulationExposureBias" : -1.1193209886550903, "limitExposureBias" : 0 }, "devices" : { "clock" : { "zuluTime" : "2012-07-25T14:05:20.000Z" }, "sensor" : { "bitsPerPixel" : 12, "mosaic" : { "tile" : "r,gr:gb,b", "upperLeftPixel" : "b" }, "iso" : 205, "analogGain" : { "r" : 5.5625, "gr" : 4.0625, "gb" : 4.0625, "b" : 4.6875 }, "pixelPitch" : 1.3999999761581417e-006 }, "lens" : { "infinityLambda" : 123.91555023193359, "focalLength" : 0.011369999885559081, "zoomStep" : 661, "focusStep" : 1271, "fNumber" : 2.0399999618530273, "temperature" : 38.670684814453125, "temperatureAdc" : 2501, "zoomStepperOffset" : 2, "focusStepperOffset" : 22, "exitPupilOffset" : { "z" : 0.039666198730468748 } }, "ndfilter" : { "exposureBias" : 0 }, "shutter" : { "mechanism" : "sensorOpenApertureClose", "frameExposureDuration" : 0.015281426720321178, "pixelExposureDuration" : 0.015281426720321178 }, "soc" : { "temperature" : 47.337005615234375, "temperatureAdc" : 2632 }, "accelerometer" : { "sampleArray" : [ { "x" : -0.066666670143604279, "y" : 1.0392156839370728, "z" : 0.08235294371843338, "time" : 0 } ] }, "mla" : { "tiling" : "hexUniformRowMajor", "lensPitch" : 1.3898614883422851e-005, "rotation" : 0.0020797469187527895, "defectArray" : [], "scaleFactor" : { "x" : 1, "y" : 1.0005592107772827 }, "sensorOffset" : { "x" : -1.0190916061401367e-005, "y" : -2.3611826896667481e-006, "z" : 2.5000000000000001e-005 } } }, "modes" : { "creative" : "tap", "regionOfInterestArray" : [ { "type" : "exposure", "x" : 0.7625085711479187, "y" : 0.21875333786010742 }, { "type" : "creative", "x" : 0.7625085711479187, "y" : 0.21875333786010742 } ] }, "camera" : { "make" : "Lytro, Inc.", "model" : "F01", "firmware" : "v1.0a60, vv1.0.0, Thu Feb 23 15:02:57 PST 2012, e10fcca0668db3dbf94ae347248db3da070d21e9, mods=0, ofw=0" } } 

• निजी मेटाडेटा: कैमरा और मैट्रिक्स सीरियल जसन में।
  उदाहरण

   { "devices" : { "sensor" : { "sensorSerial" : "0x5086D178DEADBEEF" } }, "camera" : { "serialNumber" : "A20B00B1E3" } } 

• रॉ सेंसर डेटा: केवल रॉ फ़ाइल में मौजूद है, मैट्रिक्स से रॉ डेटा का प्रतिनिधित्व करता है। यह इस तरह खुलता है:
  
• गहराई देखने की तालिका: केवल एक वेब-अनुकूलित फ़ाइल में मौजूद है। गहराई का नक्शा। प्रश्न का उत्तर दें: यदि मैंने यहां पोक किया है, तो मुझे कौन सी तस्वीरें दिखानी चाहिए?
  
• पहले से मौजूद λ =% लैम्ब्डा%: केवल एक वेब-अनुकूलित फ़ाइल में मौजूद है। यह उपयोगकर्ता को दिखाई जाने वाली छवि है जब वह एक क्लिक के साथ किसी भी क्षेत्र पर "फोकस" करता है। 1 से 12 तक की फ़ाइल में (शायद अधिक हैं, मैंने नहीं देखा है) ऐसे अनुभाग।

RAW फ़ाइल का आकार 16MB, वेब-अनुकूलित 1MB है। उत्तरार्द्ध इस मायने में अलग है कि यह मानचित्र के साथ चित्रों का एक सेट संग्रहीत करता है जो क्लिक और चित्र की संख्या के निर्देशांक से मेल खाता है। पूर्ण बाइट प्रारूप विवरण यहां पाया जा सकता है ।

रॉ

RAW फ़ाइल स्वयं मैट्रिक्स से डेटा है। हम मैट्रिक्स के बायर फ़िल्टर को देखते हैं, जिसके सामने माइक्रोलेव्स स्थित हैं:

प्रसंस्करण

सबसे दिलचस्प बात प्रसंस्करण है। प्रक्रिया पूरी तरह से रेन एनजी के कार्यों में वर्णित है, मैंने इसे योजनाबद्ध तरीके से चित्रित किया है:


सबसे पहले, पारंपरिक तरीकों का उपयोग करके RAW फ़ाइल को ध्वस्त कर दिया जाता है। उसके बाद, प्रकाश क्षेत्र को ऐसी स्थिति में लाया जाता है कि "हनीकॉम्ब" (माइक्रोलिम्स) एक पूर्णांक संख्या में पिक्सेल पर गिरता है, इसके लिए आपको चित्र को थोड़ा घुमाने और स्केल करने की आवश्यकता होती है (यह सबसे कठिन चरण है जिसमें श्रमसाध्य समायोजन की आवश्यकता होती है - मैं अभी भी ऐसा नहीं कर पाया हूँ )।
तब प्रकाश क्षेत्र कुछ मापदंडों के साथ एकीकृत होता है और आउटपुट विभिन्न फ़ोकसिंग डिस्टेंस के साथ चित्रों का एक सेट होता है। मैं ध्यान देता हूं कि सॉफ़्टवेयर स्वयं चुनता है कि आपको कहाँ ध्यान केंद्रित करना है और आपको कितनी छवियां प्राप्त करनी हैं: जबकि इसे कॉन्फ़िगर करने का कोई तरीका नहीं है।
परिणामस्वरूप फ़ाइल को पैक किया जाता है और इंटरनेट पर अपलोड किया जाता है। जब कोई उपयोगकर्ता किसी फ़ाइल अनुभाग ("फ़ोकसिंग") पर क्लिक करता है, तो एप्लिकेशन मैप पर देखता है कि यह किस छवि का है और इसे दिखाता है। यह एक गहरा नक्शा है, लेकिन यह बहुत मोटा है, इस तरह के संकल्प के साथ व्यावहारिक उद्देश्यों के लिए, सबसे अधिक संभावना है, यह आपको बहुत छोटा लगेगा।

पोस्ट प्रोसेसिंग

खैर, जब आप फ़ोटोशॉप में कुछ ठीक कर सकते हैं। यह यहां संभव है, लेकिन आरक्षण के साथ।
क्योंकि lytro प्रारूप वर्णित है, यह एक स्क्रिप्ट लिखना आसान है जो lfp फ़ाइल के सभी भागों को निर्यात करने में सक्षम होगा। वर्कफ़्लो यह है:

1. पार्स एलएफपी;
2. चित्रों का संपादन। हां, इवान गॉनोव को एक से अधिक बार साफ करना होगा, लेकिन केवल कंटेनर में जितने चित्र हैं;
3. Lfp वापस लाना। यहां हमें यह ध्यान रखना चाहिए कि सभी sha1 हैश की गणना करना आवश्यक है, जिसमें उन्हें TableOfContents सेक्शन में अपडेट करना, और उसके बाद से हैश की पुन: गणना करना शामिल है;
4. हम लिटरो एप्लिकेशन लॉन्च करते हैं, जो इस फ़ाइल पर क्लिक करते समय, यह समझता है कि यह बदल गया है, और इसके पूर्वावलोकन को अपडेट करता है।

वोइला, लिटरो + इंस्टाग्राम फिल्टर:

हल्के खेतों और प्लेनोप्टिक फोटोग्राफी के बारे में

एक क्लासिक कैमरे में, लेंस के विभिन्न बिंदुओं से मैट्रिक्स के एक बिंदु में आने वाली रोशनी को एकीकृत किया जाता है और उस बिंदु पर पिक्सेल चमक के मूल्य के रूप में संग्रहीत किया जाता है। प्लेनोप्टिक कैमरे में, मैट्रिक्स के सामने सूक्ष्म तरंगों की एक सरणी होती है:


प्रत्येक माइक्रोलेन्स प्रकाश किरणों को वितरित करता है जो कि मैट्रिक्स के विभिन्न भागों में आती हैं:


F / 2 एपर्चर यादृच्छिक नहीं है। यह मैट्रिक्स के सबसे किफायती उपयोग की अनुमति देता है। यदि आप कम लेते हैं, तो मैट्रिक्स पर अप्रयुक्त पिक्सेल होंगे, यदि अधिक हो - अनुमानित चित्र प्रतिच्छेद करेंगे, जो अप्रकाशित है:


अंतरिक्ष में प्रकाश क्षेत्र पांच आयामी अंतरिक्ष में एक समारोह द्वारा वर्णित है:



जैसा कि आप देख सकते हैं, प्रकाश क्षेत्र अंतरिक्ष में प्रत्येक बिंदु के लिए और इस बिंदु से बीम की प्रत्येक दिशा के लिए ऊर्जा चमक (चमक) का वर्णन करता है।
इस फ़ंक्शन को कई तरीकों से सेट किया जा सकता है:
विमान पर:


के क्षेत्र में:


दो विमानों के बीच:


प्रकाश क्षेत्र का वर्णन करने के अंतिम तरीके का उपयोग लिटरो में किया जाता है: दो विमान लेंस की पीछे की दीवार और मैट्रिक्स के समतल होते हैं।
कैमरे की एक सरणी का उपयोग करके प्रकाश क्षेत्र प्राप्त किया जा सकता है:


एक प्लेनोप्टिक कैमरा को कैमरे की एक सरणी के विशेष मामले के रूप में दर्शाया जा सकता है: एक माइक्रोलेन्स कैमरे की भूमिका निभाता है।
फोटोग्राफ प्राप्त करने के लिए, कैमरों से डेटा को एकीकृत करना आवश्यक है (या लिटरो के मामले में, माइक्रोलेमेंट्स के क्षेत्रों से डेटा):


खिड़की के भीतर आप किस तरह बिंदुओं का चयन करते हैं, इसके आधार पर, दो रूपांतरण हैं:

पर्यवेक्षक पूर्वाग्रह microlens के अंदर एक विशिष्ट बिंदु का विकल्प है:



डिजिटल रीफोकसिंग - प्रत्येक माइक्रोलेन्स के क्षेत्रों से संचयी बिंदुओं की विधि का विकल्प। चूंकि लिटर्रो के मामले में, माइक्रोलेन्स के नीचे कुछ पिक्सेल हैं, इसलिए रीफोकसिंग की संभावनाएं बहुत सीमित हैं:

प्रमेय

F / N एपर्चर के साथ एक प्लेनोप्टिक कैमरा होना, जिसके लिए PxP पिक्सेल प्रत्येक माइक्रोलेन्स के साथ मेल खाता है, आप f / N (N * P) एपर्चर के साथ एक छवि को क्लासिक कैमरा में तीखेपन के बराबर प्राप्त कर सकते हैं। लिट्रो के लिए, यह f / 14 के आसपास है।

उसी प्रमेय की एक और व्याख्या:

प्रमेय में वर्णित प्लेनोप्टिक कैमरा किसी को एपर्चर f / (N * P) के साथ एक क्लासिक कैमरा के क्षेत्र की गहराई में कहीं भी केंद्रित क्षेत्र f / N की गहराई के साथ चित्र प्राप्त करने की अनुमति देता है।

प्रसंस्करण कठिनाइयों

जब प्रसंस्करण होता है, तो कई बाधाएं होती हैं जो प्रकाश क्षेत्र के विज़ुअलाइज़र के लेखन को जटिल करती हैं:

1. माइक्रोलेन्स असमान हैं। एल्गोरिथ्म को कैलिब्रेट करना आवश्यक है;
2. विग्नेटिंग के प्रभाव को खारिज किया जाना चाहिए। लेकिन यह याद रखना कि केवल 50 पिक्सल के माइक्रो लेंस के तहत, यह स्पष्ट हो जाता है कि यह ऑपरेशन एक बड़ी त्रुटि पैदा कर सकता है;
3. मृत पिक्सेल। किसी अन्य कैमरे की तरह, वे भी यहां हैं। उन्हें सांख्यिकीय रूप से निर्धारित करने की आवश्यकता है ताकि वे गहराई के नक्शे को खराब न करें;
4. प्रदर्शन। 4 डी फूरियर रूपांतरण का उपयोग करके आवृत्ति डोमेन में गणना की जानी चाहिए।

बोक

कैमरे में धब्बा इस तरह है (ये एक शॉट से तस्वीरें हैं, जिसे lfp से खींचा गया है):


तुलना के लिए, मैंने lytro (बाईं तरफ) और SLR पर f / 2 (दाईं ओर) पर एक ही शॉट बनाया:

कलाकृतियों

लगभग सभी चित्रों में विभिन्न प्रकार की अप्राकृतिक कलाकृतियाँ निकलती हैं। उदाहरण के लिए, जैसे:


या ऐसे:


दिल दहला देने वाला नजारा।

लिटरो उपकरण

Lytro.Net : lfp खोल सकती है और उनके कुछ हिस्सों को निर्यात कर सकती है, एक कंसोल संस्करण भी है:


Lytro संगत दर्शक : फ़ाइलें खोलता है, आपको एक क्लिक पर फ़ोकस करने की अनुमति देता है, फ़ोकस दूरी स्लाइडर है:

सोच

मुझे ऐसे उपकरण नहीं मिले जो प्रकाश क्षेत्रों के साथ काम कर सकें। वह सब .lfp प्रारूप के साथ काम कर रहा है: jpeg में निर्यात, प्रदर्शन।
रेन एनजी के कार्यों को पढ़ने के बाद, प्रौद्योगिकी अब रहस्यमय और अवास्तविक नहीं लगती है, जैसा कि शुरुआत में लगता था।
एक ही जादू के साथ एक ही फ़ाइल प्रारूप निश्चित रूप से बुराई है। मुझे समझ नहीं आया कि उन्होंने ऐसा क्यों किया।
यदि आप कच्चे माल के साथ काम करना चाहते हैं, तो मैं इसे आपके पास भेज सकता हूं (या मैं थोड़ी देर बाद कैमरा बेच सकता हूं)।

तस्वीरें

लेख से सभी "लाइव" चित्र lytro.com पर उपलब्ध हैं:

शाम को दूसरे दिन के लिए लिटरो साइट निहित है। बस के मामले में, मैं एक फ़ाइल होस्टिंग के लिए lfp अपलोड किया, वे इस के साथ खुला।

संदर्भ

Lytro के बारे में:
रिवर्स इंजीनियरिंग द लिटरो। LFP फाइल फॉर्मेट - एक साधारण हाउ-टू- हैक विवरण
lfptools - C में lytro फ़ाइलों के साथ काम करने के लिए उपयोगिता
Lytro.Net - C # में lfptools port
Lytro मेल्टडाउन - c # में lytro फ़ाइलों के साथ काम करने के लिए अच्छा gui, SQLite-ov बेस लिटरो की संरचना, फ़ाइल स्वरूप
(नई) स्टैनफोर्ड लाइट फील्ड आर्काइव - कई कैमरों से प्राप्त प्रकाश क्षेत्रों के उदाहरण, आप ऑनलाइन खेल सकते हैं
लिटरो टियरडाउन - यहां वे लिटरो को अलग ले जाते हैं , आप सभी इलेक्ट्रॉनिक्स देख सकते हैं

रेन एनजी के प्रकाश क्षेत्रों पर काम:
लाइट फील्ड सेंसिंग - चित्रों में प्रकाश क्षेत्र; यह नहीं समझ पाना मुश्किल है
फूरियर स्लाइस फोटोग्राफी - लाइट फील्ड तकनीक का एक सैद्धांतिक विवरण
एक हाथ से आयोजित प्लेनोप्टिक कैमरा के साथ लाइट फील्ड फोटोग्राफी - फोटोग्राफी में लाइट फील्ड तकनीक कैसे लागू करें
लाइटशॉप: इंटरएक्टिव लाइट फील्ड मैनिपुलेशन और रेंडरिंग - प्रकाश क्षेत्र की जानकारी को नेत्रहीन रूप से कैसे कल्पना करें