लॉस्टफिल्म.टीवी के लिए बैश पर पार्सर आरएसएस: ट्रांसमिशन + SQLite + mkvtools

मैं आपको स्वास्थ्य की कामना करता हूं, हेब्र!

आरएसएस फ़ीड के पार्सर के बारे में पिछले विषय के जवाब में लॉस्टफिल्म.टीवी मैं अपना संस्करण रखना चाहता हूं जो लगभग 4 महीने से बिना किसी त्रुटि के काम कर रहा है।
विचार का सार यह है कि सर्वर श्रृंखला को डाउनलोड करता है और उन्हें फ़ोल्डर्स में डालता है, फाइलों को कवर और सामान्य हेडर से भरता है।
हालांकि, पूरे सिस्टम के काम में केवल एक स्क्रिप्ट शामिल नहीं है, लेकिन स्क्रिप्ट का एक पूरा सेट। ऐसी प्रणाली में, लिपियों को पूर्व-प्रसंस्करण और बाद के प्रसंस्करण में विभाजित किया जाता है।
और, ज़ाहिर है, सौंदर्यशास्त्र के लिए: प्रत्येक श्रृंखला की फाइलें सुंदर दिखनी चाहिए और फ़ोल्डरों में व्यवस्थित होनी चाहिए।

पूर्व प्रोसेसर

पार्सर ऑपरेशन एल्गोरिथम

• आरएसएस फ़ीड पढ़ें
• व्यक्तिगत तत्वों में पार्स
• पुराने सामानों की निराई करें
• डेटाबेस में नए तत्व जोड़ें और ट्रांसमिशन डाउनलोड कतार

पार्सर कोड

#!/bin/bash export PRFX="/var/lib/transmission-daemon" export SELF=$(basename $(readlink -f $0)) #   . $PRFX/.$SELF/config #    . $PRFX/.funcs/sqlite . $PRFX/.funcs/transmission #       check_last() { if [ ! -f $LFW_RSS_LAST ] || [ $1 -gt $(cat $LFW_RSS_LAST) ]; then printf "$1" > $LFW_RSS_LAST return 0 else return 1 fi } #    parse_title() { echo "$1" | sed -r 's/^([^(]+)[. ]+\((.+)\)[. ]+([^(]+)[. ]+\((.+)\)[. ]*(\[720p\]){0,1}[. ]*\(S0*([0-9]+)E0*([0-9]+).*\)$/\1|\2|\3|\4|\5|\6|\7/' } logger -t $SELF -- '  RSS/Atom' #  RSS- rsstail -1NHlp -n 30 -u "$LFW_RSS_URL" | #        iconv -f cp1251 | sed -r '/^\s*$/d; s/^\s+//; s/\s+$//' | sed -r '$!N; s/\n/|/; $!N; s/\n/|/' | #    UNIXTIME      (IFS='|'; while read item_title item_link item_date; do printf '%s|%s|%s\n' $(date -d "$item_date" +%s) "$item_title" "$item_link" done) | sort | #    (IFS='|'; while read item_date item_title item_link; do if check_last $item_date; then printf '%s|%s|%s\n' $item_date "$(parse_title "$item_title")" "$item_link" fi done) | #    (IFS='|'; while read date name_ru name_en title_ru title_en hd season episode link; do #      id=$(printf 'SELECT id FROM series WHERE title_en = "%s";' "$name_en" | db_query $LFW_DB) #    ,   if [ -n "$id" ]; then #  -     tr_file="/tmp/lostfilm_$(uuidgen).torrent" if wget -nv -q --header "$LFW_WGET_AUTH" "$link" -O "$tr_file"; then #         ,     if [ -z $(printf 'SELECT id FROM episodes WHERE series = %d AND season = %d AND episode = %d;' $id $season $episode | db_query $LFW_DB) ]; then printf 'INSERT INTO episodes (series, season, episode, title_en, title_ru) VALUES (%d, %d, %d, "%s", "%s");' \ $id $season $episode $title_en $title_ru | db_query $LFW_DB fi #     HD  SD   if [ -z "$hd" ]; then file=$(transmission-show "$tr_file" | sed -r '/^Name:/!d; s/^Name:\s*(.+)\s*$/\1/') #' printf 'INSERT INTO files (id, date, filename) VALUES ((SELECT id FROM episodes WHERE series = %d AND season = %d AND episode = %d), %d, "%s");' \ $id $season $episode $date $file | db_query $LFW_DB if [ $(printf 'SELECT tracked FROM series WHERE id = %d;' $id | db_query $LFW_DB) -ne 0 ]; then transmission --add "$tr_file" --start > /dev/null fi logger -t $SELF -- $(printf '  SD  «%s» ( %s,  %s) — «%s»' "$name_ru" "$season" "$episode" "$title_ru") #' else file=$(transmission-show "$tr_file" | sed -r '/^Name:/!d; s/^Name:\s*(.+)\s*$/\1/') #' printf 'INSERT INTO files_hd (id, date, filename) VALUES ((SELECT id FROM episodes WHERE series = %d AND season = %d AND episode = %d), %d, "%s");' \ $id $season $episode $date $file | db_query $LFW_DB if [ $(printf 'SELECT tracked_hd FROM series WHERE id = %d;' $id | db_query $LFW_DB) -ne 0 ]; then transmission --add "$tr_file" --start > /dev/null fi logger -t $SELF -- $(printf '  HD  «%s» ( %s,  %s) — «%s»' "$name_ru" "$season" "$episode" "$title_ru") #' fi fi [ -f "$tr_file" ] && rm -f "$tr_file" fi done) logger -t $SELF -- '' 

पोस्ट हैंडलर

इसके अलावा, जब फ़ाइल डाउनलोड की जाती है, तो इसे एक सौंदर्य उपस्थिति में लाया जाना चाहिए (मेरी पत्नी श्रृंखला के नाम के साथ फ़ोल्डर्स में व्यवस्थित सभी श्रृंखलाओं को देखना पसंद करती है और एक फ़ाइल नाम जिसमें सीज़न / एपिसोड नंबर और श्रृंखला का नाम है, साथ ही श्रृंखला के लिए एक सुंदर कवर-आइकन भी है)।
श्रृंखला को डाउनलोड करने के बाद, कई प्रकार की फ़ाइलों को संसाधित करने के उद्देश्य से स्क्रिप्ट की एक श्रृंखला लॉन्च की जाती है, जिसमें Lostfilm.tv शामिल है।

स्क्रिप्ट प्रोसेसिंग के बाद की प्रक्रिया

• डेमॉन से प्राप्त फ़ाइल नाम के डेटाबेस में उपस्थिति के लिए जाँच करें, अन्यथा बंद करें
• आधार से अनलोड कवर
• mkvtools लागू करें (अंग्रेजी पटरियों के लिए फिल्टर, कवर सम्मिलित करें, रिकॉर्ड शीर्षक)
• श्रृंखला के नाम से एक फ़ोल्डर में रखो (बनाएं, यदि नहीं)
• मेल और एसएमएस द्वारा हस्ताक्षरकर्ताओं को सूचित करें (मेरे फोन पर, मेल द्वारा मेरी पत्नी को)

पोस्ट-प्रोसेसिंग स्क्रिप्ट

 #!/bin/bash export SELF="lostfilm-rss" #   . $PRFX/.$SELF/config #    . $PRFX/.funcs/sqlite . $PRFX/.funcs/transmission . $PRFX/.funcs/mkv_tools . $PRFX/.funcs/mail_notify . $PRFX/.funcs/utils . $PRFX/.funcs/sms_notify MAIL_LIST_HD="me@a***n.ru" #        data="$(printf 'SELECT s.title_ru, e.season, e.episode, e.title_ru, s.id FROM episodes e, series s, files_hd f WHERE e.series = s.id AND e.id = f.id AND f.filename = "%s";' "$TR_TORRENT_NAME" | db_query $LFW_DB)" #    ,   if [ -n "$data" ]; then #    name=$(echo $data | cut -d'|' -f1) s=$(echo $data | cut -d'|' -f2) e=$(echo $data | cut -d'|' -f3) part=$(echo $data | cut -d'|' -f4) id=$(echo $data | cut -d'|' -f5) #    mkv_file=$(printf '/mnt/videos/Series.HD/%s [%s.%s] — %s.mkv' "$name" "$s" "$e" "$part") #   - mkv_title=$(printf '«%s» •  %s,  %s • «%s»' "$name" "$s" "$e" "$part") #     mkv_poster="/tmp/mkv_poster_$(uuidgen).jpg" printf 'SELECT data FROM posters WHERE series = %d ORDER BY date DESC LIMIT 1;' $id | db_query $LFW_DB | base64 -d - > $mkv_poster logger -t $SELF -- $(printf ' HD  «%s» ( %s,  %s) — «%s»' "$name" "$s" "$e" "$part") #' #  -    if to_mkv "/mnt/torrent/$TR_TORRENT_NAME" "$mkv_file" "$mkv_title" "$mkv_poster"; then logger -t $SELF -- $(printf ' HD  «%s» ( %s,  %s) — «%s»' "$name" "$s" "$e" "$part") #' #    ,       ,     ,      transmission -t $TR_TORRENT_ID --remove-and-delete > /dev/null logger -t $SELF -- $(printf '   HD  «%s» ( %s,  %s) — «%s»' "$name" "$s" "$e" "$part") #' #    mail_notify "$MAIL_LIST_HD" "$(printf '   «%s» ( %s,  %s) — «%s»' "$name" "$s" "$e" "$part")" \ "$(printf '<h3>«%s» ( %s,  %s) — «%s»</h3><br/><i>: HD</i>' "$name" "$s" "$e" "$part")" #   sms_notify a***n "$(printf '  «%s» ( %s,  %s) — «%s» \n[%s]' "$name" "$s" "$e" "$part" "$(disk_info)")" else logger -t $SELF -- $(printf '    HD  «%s» ( %s,  %s) — «%s»' "$name" "$s" "$e" "$part") #' fi rm -f $mkv_poster fi 

डेटाबेस

स्क्रिप्ट से आप देख सकते हैं कि काम डेटाबेस के साथ है, मेरे संस्करण में SQLite3 का उपयोग किया गया है

डेटाबेस संरचना

 CREATE TABLE episodes ( id INTEGER PRIMARY KEY AUTOINCREMENT, series INTEGER REFERENCES series(id) ON UPDATE CASCADE ON DELETE CASCADE, season INTEGER NOT NULL, episode INTEGER NOT NULL, title_en TEXT NOT NULL, title_ru TEXT NOT NULL, UNIQUE(series, season, episode) ); CREATE TABLE files ( id INTEGER PRIMARY KEY REFERENCES episodes(id) ON UPDATE CASCADE ON DELETE CASCADE, date INTEGER NOT NULL, filename TEXT NOT NULL ); CREATE TABLE files_hd ( id INTEGER PRIMARY KEY REFERENCES episodes(id) ON UPDATE CASCADE ON DELETE CASCADE, date INTEGER NOT NULL, filename TEXT NOT NULL ); CREATE TABLE posters ( id INTEGER PRIMARY KEY AUTOINCREMENT, series INTEGER REFERENCES series(id) ON UPDATE CASCADE ON DELETE CASCADE, date INTEGER NOT NULL, data TEXT NOT NULL ); CREATE TABLE series ( id INTEGER PRIMARY KEY AUTOINCREMENT, title_en TEXT NOT NULL, title_ru TEXT NOT NULL, tracked INTEGER DEFAULT 0 , tracked_hd integer default 1); 

बेस 64 के रूप में डेटाबेस के अंदर कवर किए गए हैं, यह स्पष्ट है कि यह डेटाबेस को गड़बड़ कर देगा, लेकिन फिर भी मैंने एक डेटाबेस में श्रृंखला के बारे में सब कुछ स्टोर करना पसंद किया।

TODO और PS

यह उन चीजों को करने के लिए रहता है जो मेरे लिए बहुत महत्वपूर्ण नहीं हैं और कुछ समय के लिए किया जा सकता है।
1. डेटाबेस को MySQL / PostgreSQL में स्थानांतरित करें
2. डेटाबेस के लिए एक वेब इंटरफेस बनाओ
3. डेटाबेस के लिए एक नई श्रृंखला का स्वचालित जोड़ (कवर के साथ) करें
एन। भविष्य RSS फ़ीड मान्यता को ठीक करता है

बाकी जनता को स्पष्ट होना चाहिए। कोड में टिप्पणियां हैं।

स्क्रिप्ट बिना असफलताओं और त्रुटियों के 4 महीने से चल रही है (हालांकि आज सीजन नंबर 0 के साथ यूरेका था, लेकिन यह साइट पर ही एक कैंट था)। मैं खुद एक सेवादार हूं और हर 1-2 सप्ताह में एक बार घर आता हूं, इसलिए सब कुछ दुर्लभ नियंत्रण के साथ स्वचालित रूप से काम करता है, मैं बस यूनिट में कुछ देखने के लिए स्क्रू पर नए एपिसोड डालता हूं।

आपका ध्यान के लिए धन्यवाद!