प्रौद्योगिकी साझेदारी

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Flume अपाचे द्वारा प्रदत्तं मुक्तस्रोत-लॉग-सङ्ग्रह-प्रणाली अस्ति, मूलतः Cloudera द्वारा योगदानं च दत्तम् । अस्य उच्च-उपलब्धतायाः, उच्च-विश्वसनीयतायाः, वितरित-लक्षणस्य च कृते प्रसिद्धम् अस्ति, तथा च विशाल-लॉग्-सङ्ग्रहे, समुच्चये, संचरणे च व्यापकरूपेण उपयुज्यते Flume tool इत्यस्य विस्तृतं विश्लेषणं निम्नलिखितम् अस्ति ।

I. अवलोकनम्

कार्यात्मकं स्थितिनिर्धारणम् : Flume इत्यस्य उपयोगः मुख्यतया लॉग-आँकडानां बृहत्मात्रायां संग्रहणं, सारांशं, प्रसारणं च कर्तुं भवति (यथा लॉग-सञ्चिकाः, संजाल-पोर्ट् इत्यादयः) आँकडानां संग्रहणं कृत्वा विभिन्नेषु गन्तव्यस्थानेषु (यथा Hadoop, यथा Hadoop, प्रेषणं च समर्थयति । हबेसे, काफ्का आदि)।
विशेषताः : Flume इत्यत्र दृढं मापनीयता, उच्चविश्वसनीयता, सुलभनियोजनं, प्रबन्धनं च इत्यादीनि विशेषतानि सन्ति । एतत् दत्तांशसञ्चारस्य दोषनियन्त्रणतन्त्रं प्रदाति यत् विश्वसनीयं संचरणं दत्तांशस्य अखण्डतां च सुनिश्चितं करोति ।

2. कोर आर्किटेक्चर

फ्लूमस्य मूलवास्तुकलायां त्रयः मूलघटकाः सन्ति : स्रोतः, चैनलः, सिंकः च ।

स्रोतः : आँकडानां संग्रहणार्थं उपयुज्यते तथा च विभिन्नप्रकारस्य प्रारूपस्य च लॉगदत्तांशं संसाधितुं शक्नोति, यत्र avro, thrift, exec, jms, spooling directory, netcat, sequence generator, syslog, http इत्यादयः सन्ति Source घटकः संगृहीतदत्तांशं Events इत्यत्र समाहितं करोति ततः Channel प्रति प्रेषयति ।
Channel: अस्थायीरूपेण आँकडानां संग्रहणार्थं प्रयुक्तः, Source तथा Sink इत्येतयोः मध्ये बफरः अस्ति । चैनल् स्मृतौ, jdbc, सञ्चिका इत्यादिषु संग्रहीतुं शक्यते स्मृतिविधिः द्रुततरं किन्तु पुनः प्राप्तुं न शक्यते, तथा च सञ्चिकाविधिः मन्दतरं किन्तु पुनर्प्राप्तिक्षमताम् प्रदाति
सिंक: गन्तव्यस्थानं प्रति Channel मध्ये आँकडानां प्रेषणार्थं प्रयुक्तम्, यत्र hdfs, logger, avro, thrift, ipc, file, null, hbase, solr इत्यादयः सन्ति । Sink घटकः सफलतया आँकडान् प्रेषयति ततः परं, अस्थायीरूपेण संगृहीतदत्तांशं विलोपयितुं चैनलं सूचयिष्यति यत् आँकडासंचरणस्य विश्वसनीयतां सुरक्षां च सुनिश्चितं करोति।

3. घटना

परिभाषा : Flume इत्यस्मिन् प्रसारितं दत्तांशं Event इत्यत्र समाहितं भवति, यत् दत्तांशसञ्चारस्य मूलभूतं एककं भवति । यदि पाठसञ्चिका अस्ति तर्हि प्रायः अभिलेखानां एकः पङ्क्तिः Event भवति ।
रचना : इवेण्ट् इत्यत्र इवेण्ट् हेडर्स्, इवेण्ट् बॉडी, इवेण्ट् इत्यस्य सूचना च भवति । तेषु, इवेण्ट् हेडर्स् HTTP हेडर्स् इत्यस्य सदृशाः सन्ति, यत्र टाइमस्टैम्प्स्, स्रोतः सर्वर होस्ट् नामानि अन्यसूचनाः च सन्ति Event Body वास्तविकं प्रसारितं डाटा सामग्री अस्ति;

4. संचालनतन्त्रम्

Flume इत्यस्य संचालनतन्त्रं Agent इत्यस्य आधारेण अस्ति, यत् आँकडासंग्रहणं, संसाधनं, संचरणं च कर्तुं उत्तरदायी जावा प्रक्रिया अस्ति । एजेण्ट् इत्यत्र बहुविधाः Source, Channel, Sink घटकाः भवितुम् अर्हन्ति, ये एकत्र कार्यं कृत्वा आँकडानां संग्रहणं, संग्रहणं, प्रेषणं च कुर्वन्ति ।

कार्यप्रवाहः : Source घटकः निरन्तरं आँकडान् प्राप्नोति तथा च Event इत्यत्र एन्कैप्सुलेट् करोति, ततः Event इत्येतत् Channel cache मध्ये प्रेषयति । Sink घटकः Channel तः Event इत्येतत् बहिः निष्कास्य गन्तव्यस्थानं प्रति प्रेषयति । सिङ्क् इत्यनेन सफलतया दत्तांशं प्रेषितस्य अनन्तरमेव Channel अस्थायीरूपेण संगृहीतं Event दत्तांशं विलोपयिष्यति ।
5. लाभहानिः च
लाभ:
दृढं मापनीयता : Flume इत्यस्य वास्तुशिल्पस्य डिजाइनेन उपयोक्तारः आँकडासंग्रहणं संचरणं च प्रक्रियां सहजतया विस्तारयितुं अनुकूलितुं च शक्नुवन्ति ।
उच्चविश्वसनीयता : Flume आँकडासंचरणस्य दोषनियन्त्रणतन्त्रं प्रदाति यत् विश्वसनीयं संचरणं आँकडानां अखण्डतां च सुनिश्चितं करोति ।
परिनियोजनं प्रबन्धनं च सुलभम् : Flume इत्यत्र सरलं विन्यासः प्रबन्धनं च अन्तरफलकं भवति, येन उपयोक्तृभ्यः परिनियोजनं निरीक्षणं च सुलभं भवति ।
मुक्तस्रोतः मुक्तश्च : Flume इति मुक्तस्रोतप्रकल्पः यस्य उपयोगाय अनुकूलनार्थं च उपयोक्तृभ्यः निःशुल्कम् अस्ति ।
दोषाः : १.
खड्गशिक्षणवक्रम् : यद्यपि Flume सरलं विन्यासं प्रबन्धनं च अन्तरफलकं प्रदाति तथापि नवीनानाम् कृते इदं कथं कार्यं करोति इति ज्ञातुं अवगन्तुं च किञ्चित् समयः भवितुं शक्नोति
न तु केषाञ्चन वाणिज्यिकसाधनानाम् इव उत्तमम् : केषाञ्चन वाणिज्यिक-लॉग-सङ्ग्रह-उपकरणानाम् तुलने, Flume इत्यस्य कार्यक्षमता किञ्चित् न्यूनं भवितुम् अर्हति, विशेषतः बृहत्-परिमाणस्य आँकडानां संसाधने
केषाञ्चन उन्नतविशेषतानां अभावः : केचन उन्नतविशेषताः यथा वास्तविकसमयदत्तांशसंसाधनं, जटिलदत्तांशरूपान्तरणं इत्यादयः Flume इत्यस्मिन् अनुपलब्धाः भवितुम् अर्हन्ति अथवा अतिरिक्तानुकूलनस्य विकासस्य च आवश्यकता भवति

6. अनुप्रयोगपरिदृश्यानि

Flume इत्यस्य व्यापकरूपेण उपयोगः विविधपरिदृश्येषु भवति येषु बृहत्-परिमाणेन लॉग-सङ्ग्रहः, संसाधनं, संचरणं च आवश्यकं भवति, यथा बृहत्-आँकडा-मञ्चाः, क्लाउड्-कम्प्यूटिङ्ग्-वातावरणाः, इन्टरनेट्-ऑफ्-थिङ्ग्स्-अनुप्रयोगाः इत्यादयः भिन्न-भिन्न-Source, Channel, Sink-घटकानाम् विन्यस्तं कृत्वा Flume लचीलेन विविध-आँकडा-संग्रहणस्य, संचरण-आवश्यकतानां च अनुकूलतां प्राप्तुं शक्नोति ।