मैंने एक अपार्टमेंट कैसे खरीदा

मैं रैखिक प्रतिगमन के बारे में एक लेख लिखना चाहता था, लेकिन फिर मैंने सोचा, ठीक है, एक अपार्टमेंट खरीदना बेहतर है। और वह खोजता चला गया कि वे क्या भेंट कर रहे हैं। और वे पेशकश करते हैं, जैसा कि यह निकला, बहुत सारी चीजें। 500 से अधिक अपार्टमेंट मूल्य सीमा में गिर गए जो मुझे सूट करते हैं। और क्या, मुझे अब यह सब देखना चाहिए? खैर नहीं, मैं अंत में एक प्रोग्रामर हूं या प्रोग्रामर नहीं हूं। किसी भी तरह से इस मामले को स्वचालित करना आवश्यक है।

डेटा संग्रह

कुछ तय करने से पहले, बड़ी तस्वीर पर एक नज़र रखना अच्छा होगा, डेटा से किसी तरह का निचोड़ देखें। और इसके लिए, डेटा को पहले एकत्र किया जाना चाहिए। मुझे मिन्स्क में $ 60k तक के अपार्टमेंट में दिलचस्पी थी (मुझे उम्मीद है कि मस्कोवियों ने लार पर चोक नहीं किया था जब उन्हें पता चला कि इस तरह के पैसे के लिए एक अपार्टमेंट खरीदना यथार्थवादी होगा?)। Google ने तुरंत कई अचल संपत्ति साइटें जारी कीं, जिनमें से सबसे अधिक खोज सेटिंग्स की मुझे आवश्यकता थी। उनका डिजाइन, निश्चित रूप से, एक फव्वारा नहीं है, लेकिन मैं रंग द्वारा एक रियल एस्टेट साइट चुनने के लिए एक गोरी लड़की नहीं हूं। और HTML पृष्ठों के रूप में डेटा मुझे वैसे भी शोभा नहीं देता।

कुछ घंटों के लिए, मैंने एक पार्सर को फेंक दिया, जो इनपुट के लिए खोज स्ट्रिंग ले गया, परिणामों के पहले 5 पृष्ठों के माध्यम से भाग गया और मुझे दिलचस्पी रखने वाले मापदंडों को एकत्र किया। और निम्नलिखित बातों ने मुझे दिलचस्पी दी:

• मूल्य (इसके बाद - मूल्य चर)
• उम्र (आयु)
• मेट्रो से दूरी (dist_to_subway)
• मंजिल (मंजिल) और घर के मंजिला की संख्या (storey_no)
• बालकनी या लॉजिया (बालकनी) की उपस्थिति
• कुल (Total_space) और लिविंग एरिया (Living_space), साथ ही किचन का क्षेत्र (kitchen_space)
• अलग-अलग कमरों की संख्या (room_no)
• बाथरूम का प्रकार (restroom_com सामान्य के लिए, restroom_sep अलग के लिए)

केवल एक चीज जिसने सवाल उठाए मेट्रो के लिए दूरी थी। रियल एस्टेट साइट्स आमतौर पर इस तरह की जानकारी नहीं देती हैं। केवल सड़क का नाम, घर का नंबर और निकटतम स्टेशन है, लेकिन इसमें कितना जाना है, इसके बारे में एक शब्द नहीं है। सौभाग्य से, यह पता चला कि पते द्वारा निर्देशांक निर्धारित करने की समस्या नई नहीं है, और इसी प्रक्रिया को जियोकोडिंग से ज्यादा कुछ नहीं कहा जाता है, और बाबला निगम यहां तक ​​कि इस अच्छे काम के लिए एक मुफ्त सेवा प्रदान करता है। कॉफी और कुकीज़ के लिए एक ब्रेक के साथ प्रोग्रामिंग के आधे घंटे के बाद, पते पर मेट्रो की दूरी निर्धारित करने के लिए मॉड्यूल तैयार था। (यह ध्यान दिया जाना चाहिए कि परिणाम बहुत सटीक निकले - लगभग 50 सत्यापित पतों में से, केवल 2 ने सड़क को इंगित किया, लेकिन घर को नहीं, बाकी पूरी तरह से सही थे। यह भी ध्यान देने योग्य है कि सेवा डीडीओएस के लिए बेहतर नहीं है - यदि नहीं अनुरोधों के बीच छोटे ब्रेक, त्रुटियां हो सकती हैं।)

चूंकि विक्रेता हमेशा अपार्टमेंट का वर्णन करने के लिए खेतों में सावधानीपूर्वक और सटीक रूप से नहीं भरते हैं, इसलिए डेटा अधूरा था। एक अच्छे तरीके से, रिक्त क्षेत्रों को NA (उपलब्ध नहीं) के रूप में चिह्नित किया जाना था और उन्हें इस रूप में पारित कर दिया। लेकिन यह शाम थी, और अभी भी कुछ करना था, इसलिए मैंने एक सरलीकृत योजना के अनुसार जाने का फैसला किया और अभी भी डेटा संग्रह चरण में, डिफ़ॉल्ट मानों में हथौड़ा। निर्माण के वर्ष के बारे में जानकारी के अभाव में, मैंने 1980 (क्रमशः, आयु - 32 वर्ष), मेट्रो की दूरी - 2000 मीटर, मंजिल - 4, मंजिलों की संख्या - 7. बहुत सरल और लगभग यादृच्छिक बनाया। कमरे, क्षेत्र और मूल्य की संख्या अनिवार्य पैरामीटर थे, और उनकी अनुपस्थिति में अपार्टमेंट को बस छोड़ दिया गया था (हालांकि परिणामस्वरूप, इन मापदंडों में से कम से कम एक अनुपस्थिति का एक भी मामला पता नहीं चला था)।

अलग-अलग, आपको बाथरूम के प्रकार के बारे में बात करने की आवश्यकता है। संख्यात्मक गणनाओं का अनुमान लगाते हुए, मैंने महसूस किया कि संख्याओं के साथ काम करने की तुलना में सामान्य / अलग मूल्यों के साथ काम करना अधिक कठिन है, इसलिए मुझे 2 अलग-अलग चर बनाने पड़े, प्रत्येक प्रकार के लिए एक। इसके अलावा, यदि एक चर 1 के बराबर था, तो दूसरा आवश्यक रूप से 0. के बराबर था। आंकड़ों में, इसे डमी या संकेतक चर कहा जाता है।

लेकिन शौचालयों के बारे में पर्याप्त है, यह डेटा को देखने का समय है।

सबसे पहले डेटा को देखें

सबसे लोकप्रिय डेटा विश्लेषण उपकरणों में से एक प्रोजेक्ट आर है। डेटा के हेरफेर और विज़ुअलाइज़ेशन के साथ-साथ सांख्यिकीय विश्लेषण और मशीन सीखने के लिए व्यापक क्षमताओं के साथ आर एक विकास का वातावरण और प्रोग्रामिंग भाषा है। स्क्रिप्ट के आसान संपादन के लिए कई विकास वातावरण हैं, जैसे कि RStudio और Emacs प्लगइन , लेकिन अधिकांश कार्यों के लिए एक सामान्य कंसोल पर्याप्त है। यह सब क्रॉस-प्लेटफॉर्म है और पूरी तरह से स्वतंत्र है, अर्थात बिना कुछ लिए। निस्संदेह एक अलग विस्तृत लेख के हकदार हैं, यहां मैं खुद को उन कार्यों और भाषा निर्माणों के विवरण तक सीमित कर दूंगा जिनका मैं सीधे उपयोग करूंगा।

विज्ञापन पार्सर, जिसे मैंने ऊपर वर्णित किया था, प्राप्त डेटा को डिस्क में CSV फ़ाइल के रूप में सहेजा गया था। आर में इसे लोड करने के लिए, बस निम्नलिखित फ़ंक्शन को कॉल करें:

  > dat <- read.csv("/path/to/dataset.csv")

, , `<-`. `=`, . , , .. :

  > read.csv("/path/to/dataset.csv") -> dat

dat ( «data» ) `data.frame`. — R , , , `_` C `-` Lisp ( , , , - - , ). : , , . , price (6- ) :

  > dat[6]  

  > dat["price"]       #     - dat$price

:

  > dat[3, 6]          # 3   6 

:

  > dat[1:10, 1:6]     # ,    10    6 
  > dat[1:10, c(3, 5)] #  10    3  5 
  > dat[, 6]           #   6-  ( dat[6])
  > dat[, -6]          #    ,  6
  > dat[,]             #     ( dat)

, R . plot(). , 2 ( , ) (scatter plot). plot() , R :

  > ?plot

, . :

  > plot(dat$room_no, dat$price)

:

! 3- 4- ! . . dist_to_subway :

  > dat[dat$room_no == 4, ]$dist_to_subway
   [1] 2000.000 2000.000 2000.000 2000.000 4305.613

, 4 (`dat[dat$room_no == 4, ]`), (`$dist_to_subway`). — . , (2000 ), . , . , - , . . . , 1-, 3- 4-, ( ) URL ( ). , , , restroom_sep restroom_com , .

  > dat2 <- dat[dat$room_no == 2, -(7, 8, 9, 13)]

: , /.

, , . cor(), , , , ( ):

  > cor(dat2)
                       age     balcony dist_to_subway kitchen_space living_space
 age             1.0000000  0.23339483     0.23677636   -0.30167358  -0.18938523
 balcony         0.2333948  1.00000000    -0.06881481    0.05694279  -0.03505876
 dist_to_subway  0.2367764 -0.06881481     1.00000000    0.22700865  -0.21201038
 kitchen_space  -0.3016736  0.05694279     0.22700865    1.00000000   0.10018058
 living_space   -0.1893852 -0.03505876    -0.21201038    0.10018058   1.00000000
 price          -0.2246434  0.18848129    -0.11713353    0.35152990   0.22979332
 storey         -0.1740015  0.12504337    -0.03107719    0.22760853   0.09702503
 storey_no      -0.4683041 -0.28689325    -0.15872038    0.10098619   0.02122686
 total_space    -0.3732784  0.02748897     0.03466465    0.62723545   0.61874577
                     price      storey   storey_no total_space
 age            -0.2246434 -0.17400151 -0.46830412 -0.37327839
 balcony         0.1884813  0.12504337 -0.28689325  0.02748897
 dist_to_subway -0.1171335 -0.03107719 -0.15872038  0.03466465
 kitchen_space   0.3515299  0.22760853  0.10098619  0.62723545
 living_space    0.2297933  0.09702503  0.02122686  0.61874577
 price           1.0000000  0.35325897  0.24603010  0.51735302
 storey          0.3532590  1.00000000  0.26811766  0.18082811
 storey_no       0.2460301  0.26811766  1.00000000  0.14940533
 total_space     0.5173530  0.18082811  0.14940533  1.00000000

, (> 0.6) , . 2- — living_space kitchen_space — total_space.

, . , : (, ) (, ), . , :

  > plot(dat2$dist_to_subway, dat2$price)

, . , , , , - .

, , - :

  > plot(dat2$dist_to_subway, dat2$price)

  > plot(dat2$age, dat2$price)

, , , , — , , .

, , , . , «». . , , , . — , , , .

-, ? ? , , :

                                              y = k * x + b

? , . y x, ( «») , . k X, b — Y .

, 2 ? :

                                      z = k1 * x + k2 * y + b

n , :

                      h(X) = k0 + k1 * x1 + k2 * x2 + ... + kn * xn

x1..xn — , h(X) — X.

() :

      price = k0 + k1 * age + k2 * balcony + k3 * dist_to_subway + k4 * storey + k5 * storey_no + k6 * total_space

, k0..k6 ! , , ? . , (, ) , . , R, lm() ( Linear Model):

  > model <- lm(price ~ age + balcony + dist_to_subway + storey + storey_no + total_space, data = dat2)

~ , lm() «». , , R , , . ( ) , (age, balcony, etc.). :

  > model <- lm(price ~ ., data = dat2)

, ( , ).

? , , :

  > coef(model)
     (Intercept)            age        balcony dist_to_subway         storey 
   21601.0057018     31.7479138   1981.3750585     -0.3962895    529.9350262 
       storey_no    total_space 
     594.3711746    523.7914531

(Intercept) k0 (, , , , , ). . total_space ( , , — intercept). 2 , 40 . , , . , , . , . . -, , , . -, , , 32- ( ) . -, , , .

. predict(), , «» :

  > predicted.cost <- predict(model, dat2)

:

  > actual.price <- dat2$price         #         
  > plot(predicted.cost, actual.price) #   vs.    
  > par(new=TRUE, col="red")           #  :     ,  
  > dependency <- lm(predicted.cost, actual.price)  #   ,    
  > abline(dependency)                 #      

, — . — . , . , . .

.

  > sorted <- sort(predicted.cost / actual.price, decreasing = TRUE)
  > sorted[1:10]
       343      233       15      485      326       81      384      279 
  1.182516 1.154181 1.145964 1.144113 1.132918 1.132496 1.132098 1.129221 
       385      175 
  1.126982 1.115920

, 343- ( ) 20% ( $10k, ), 233 — 15% .. , ?

: , , , .

, , 8 . : , , , . , . . -, , . -, , . , -, .

. . , ?..

:

1. . flatparser.jar ( , View Raw) README.
2. Coursera, , , .