डेटाबेनेनेर - टेस्ट डेटा जेनरेशन

समस्या का सार

Databene Benerator - FTW!

• ओरेकल
• डीबी 2
• एमएस SQL ​​सर्वर
• MySQL
• PostgreSQL
• HSQL
• एच 2
• डर्बी
• Firebird

पैकिंग / स्थापना

पहला परिदृश्य

 <?xml version="1.0" encoding="UTF-8"?> <setup xmlns="http://databene.org/benerator/0.7.6" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://databene.org/benerator/0.7.6 benerator-0.7.6.xsd" defaultEncoding="UTF-8" defaultDataset="US" defaultLocale="us" defaultLineSeparator="\n"> <bean id="dtGen" class="DateTimeGenerator"> <property name='minDate' value='2013-01-01'/> <property name='maxDate' value='2013-01-31'/> <property name='dateGranularity' value='00-00-02' /> <property name='dateDistribution' value='random' /> <property name='minTime' value='08:00:00' /> <property name='maxTime' value='17:00:00' /> <property name='timeGranularity' value='00:00:01' /> <property name='timeDistribution' value='random' /> </bean> <import domains="person"/> <generate type="user" count="5" consumer="ConsoleExporter"> <variable name="person" generator="PersonGenerator"/> <attribute name="first_name" script="person.givenName"/> <attribute name="last_name" script="person.familyName"/> <attribute name="birthdate" script="person.birthDate"/> <attribute name="email" script="person.email"/> <attribute name="gender" script="person.gender" map="'MALE'->'true','FEMALE'->'false'"/> <attribute name="created_at" type="timestamp" generator="dtGen"/> </generate> </setup> 

• - .. .

- DateTimeGenerator dtGen. . property , .

- . , PersonGenerator import, DateTimeGenerator .

- user ConsoleExporter ( , CSVExporter). 5 .

- , . , . , generate. .

- . , script person, PersonGenerator . , . map. .. , "" , , .
  
  
  

  लिपि की जटिलता

  
  आपने जो ऊपर देखा वह सभी अद्भुत और सुंदर है, लेकिन आइए अपने लिए अतिरिक्त रोमांच के बारे में सोचें। कहते हैं, उपयोगकर्ताओं के अलावा , एक टैग तालिका, साथ ही user_refs_tag होना चाहिए। तदनुसार, उपयोगकर्ताओं और टैग संस्थाओं के बीच एक कनेक्शन n से n होगा ।
  हमें प्रत्येक उपयोगकर्ता को मनमाने ढंग से (लेकिन नियंत्रित!) टैग की संख्या के साथ जोड़ना होगा। टैग स्वयं प्रबंधकों द्वारा तैयार किए गए थे और सीएसवी द्वारा हमें भेजे गए थे, हमें इस फाइल से तालिका को भरना होगा।
  
  सबसे पहले, डेटाबेस में हमारी गोलियाँ बनाएँ:
  
  psql

   create table users (id serial primary key, first_name varchar not null, last_name varchar not null, birthdate date not null, email varchar not null, gender boolean not null, created_at timestamp not null); create table tags (id serial primary key, name varchar not null, weight numeric not null, active boolean not null); create table user_refs_tag (user_id integer not null references users (id), tag_id integer not null references tags (id), primary key (user_id, tag_id)); 

  
  
  
  हम टैग.ent.csv तैयार करेंगे , जो प्रबंधकों ने कथित तौर पर हमें भेजे थे:
  
  tags.ent.csv

   name,weight,active Tag 1,1.0,true Tag 2,1.05,true Tag 3,0.95,true Tag 4,1.0,true Tag 5,1.06,true Tag 6,1.04,true Tag 7,1.05,true Tag 8,1.1,true Tag 9,1.01,true Tag 10,0.8,true 

  
  
  
  Benerator.xml अपडेट कर रहा है :
  
  benerator.xml

   <?xml version="1.0" encoding="UTF-8"?> <setup xmlns="http://databene.org/benerator/0.7.6" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://databene.org/benerator/0.7.6 benerator-0.7.6.xsd" defaultEncoding="UTF-8" defaultDataset="US" defaultLocale="us" defaultLineSeparator="\n"> <import domains="person"/> <import platforms="db" /> <database id="db" url="jdbc:postgresql://127.0.0.1:6432/benerator" driver="org.postgresql.Driver" user="benerator" password="123" schema="public" catalog="benerator" /> <memstore id="memstore"/> <setting name="min_tags_per_user" value="1"/> <setting name="users_count" value="5"/> <execute target="db" type="sql" onError="warn"> truncate users cascade; truncate tags cascade; </execute> <bean id="dtGen" class="DateTimeGenerator"> <property name='minDate' value='2013-01-01'/> <property name='maxDate' value='2013-01-31'/> <property name='dateGranularity' value='00-00-02' /> <property name='dateDistribution' value='random' /> <property name='minTime' value='08:00:00' /> <property name='maxTime' value='17:00:00' /> <property name='timeGranularity' value='00:00:01' /> <property name='timeDistribution' value='random' /> </bean> <bean id="tags_seq" spec="new DBSequenceGenerator('tags_id_seq', db)" /> <bean id="users_seq" spec="new DBSequenceGenerator('users_id_seq', db)" /> <bean id="tags_counter" spec="new IncrementalIdGenerator(1)" /> <iterate type="tags" source="tags.ent.csv" consumer="db,memstore,ConsoleExporter"> <id name="id" type="long" generator="tags_seq" /> <variable name="tags_count" generator="tags_counter" /> <setting name="max_tags_per_user" value="{tags_count}"/> </iterate> <echo>{ftl:Total tags count: ${max_tags_per_user}}</echo> <generate type="users" count="{users_count}" consumer="db,ConsoleExporter"> <variable name="person" generator="PersonGenerator"/> <id name="id" type="long" generator="users_seq" /> <attribute name="first_name" script="person.givenName"/> <attribute name="last_name" script="person.familyName"/> <attribute name="birthdate" script="person.birthDate"/> <attribute name="email" script="person.email"/> <attribute name="gender" script="person.gender" map="'MALE'->'true','FEMALE'->'false'"/> <attribute name="created_at" type="timestamp" generator="dtGen"/> <variable name="tags_per_user_count" type="int" min="{min_tags_per_user}" max="{max_tags_per_user}" distribution="random" /> <generate type="user_refs_tag" count="{tags_per_user_count}" consumer="db,ConsoleExporter"> <variable name="tag" source="memstore" type="tags" distribution="random" unique="true" /> <attribute name="tag_id" script="tag.id"/> <attribute name="user_id" script="{users.id}"/> </generate> </generate> </setup> 

  
  
  
  स्क्रिप्ट चलाने के बाद, आप कंसोल को आउटपुट प्राप्त करेंगे और, उसी समय, डेटाबेस को निर्यात करेंगे। गौर कीजिए क्या हुआ।
  
  • - . , catalog, .
/> - स्मृति में एक पूल बनाता है, जहां हम कुछ मध्यवर्ती डेटा डालेंगे, बाद में देखें। यादगार आईडी द्वारा पूल सुलभ
    
    - , .
DBSequenceGenerator . , .
, IncrementalIdGenerator - , , , . 1 - . कुछ नया DBSequenceGenerator . , .
, IncrementalIdGenerator - , , , . 1 - . DBSequenceGenerator . , .
, IncrementalIdGenerator - , , , . 1 - .


- . csv, tags, , csv . .

consumer - db memstore . .
    
    लूप के अंदर, मैं अनुक्रम के माध्यम से आईडी प्राप्त करने का संकेत देता हूं। इसके बाद, मैं tags_count चर बनाता हूं, जो IncrementalIdGenerator जनरेटर के माध्यम से भरा जाता है। प्रत्येक भरने के बाद, IncrementalIdGenerator एक-एक करके काउंटर को बढ़ाता है। इस प्रकार, मेरे पास हमेशा अप-टू-डेट जानकारी है कि कितने टैग सीएसवी के माध्यम से आयात किए गए थे। आप बाद में देखेंगे कि यह क्यों आवश्यक है। इस टैग_काउंट चर के साथ समस्या यह है कि यह स्थानीय है, इसलिए मैं वैश्विक max_tags_per_user को स्थानीय tags_count के बराबर करता हूं। अब सभी के लिए टैग की संख्या उपलब्ध है।
    
    
    - . , , {ftl:}. , .


users , (distribution) min max. . , tags_per_user_count , count .

user_refs_tag. , , tags_per_user_count. , , , ( IncrementalIdGenerator csv?) ( 11 , 10, 11 ).

user_refs_tag tags memstore tag. , (distribution), (unique). , , .
user_refs_tag , user_id - users. :)
users , (distribution) min max. . , tags_per_user_count , count .

user_refs_tag. , , tags_per_user_count. , , , ( IncrementalIdGenerator csv?) ( 11 , 10, 11 ).

user_refs_tag tags memstore tag. , (distribution), (unique). , , .
user_refs_tag , user_id - users. :)

    आउटपुट पर, हमें डेटाबेस में निम्नलिखित चित्र मिलते हैं:
    
    psql

     benerator=> select * from tags; id | name | weight | active ----+--------+--------+-------- 1 | Tag 1 | 1 | t 2 | Tag 2 | 1.05 | t 3 | Tag 3 | 0.95 | t 4 | Tag 4 | 1 | t 5 | Tag 5 | 1.06 | t 6 | Tag 6 | 1.04 | t 6 | Tag 7 | 1.05 | t 8 | Tag 8 | 1.1 | t 9 | Tag 9 | 1.01 | t 10 | Tag 10 | 0.8 | t (10 rows) 

    
    

     benerator=> select * from users; id | first_name | last_name | birthdate | email | gender | created_at ---+------------+-----------+------------+------------------------------------+--------+--------------------- 1 | Francis | Gardner | 1946-08-22 | francis_gardner@hotmail.com | t | 2013-01-01 09:46:57 2 | Todd | Robinson | 1911-07-24 | todd_robinson@william-thompson.org | t | 2013-01-21 14:42:54 3 | Jamie | Lyons | 1933-08-14 | jamielyons@owwybni.net | f | 2013-01-29 11:23:07 4 | Ronald | West | 1989-03-24 | ronald_west@yahoo.com | t | 2013-01-11 15:43:42 5 | Vanessa | Pope | 1942-05-27 | vanessapope@apc.de | f | 2013-01-05 12:28:43 (5 rows) 

    
    

     benerator=> select * from user_refs_tag; user_id | tag_id ---------+-------- 1 | 4 1 | 10 1 | 6 1 | 7 1 | 5 1 | 2 1 | 3 1 | 1 1 | 9 1 | 8 2 | 5 2 | 8 3 | 7 3 | 10 3 | 3 3 | 2 3 | 4 3 | 1 3 | 5 3 | 8 3 | 6 4 | 1 4 | 9 4 | 4 5 | 6 (25 rows) 

    
    
    
    

    अतिरिक्त विशेषताएं

    
    मुझे आशा है कि यह उदाहरण सांकेतिक था और इसके लिए अतिरिक्त विवरण की आवश्यकता नहीं है। अब आपने जनरेटर कार्यक्षमता का केवल एक छोटा सा हिस्सा देखा है, मैं प्रलेखन से कुछ उदाहरण दूंगा:
    
    • खुद के जनरेटर

       <bean id="special" class="com.my.SpecialGenerator" /> 

    • एक चर पर निर्भरता के साथ डेटाबेस के लिए एक क्वेरी के माध्यम से एक मूल्य प्राप्त करना:

       <attribute name="ean_code" source="db" selector="{{ftl:select ean_code from db_product where country='${shop.country}'}}"/> 

    • विदेशी कुंजियों को आबाद करने का एक सरल तरीका:

       <generate type="db_role" count="10" consumer="db" /> <generate type="db_user" count="100" consumer="db"> <reference name="role_fk" targetType="db_role" source="db" distribution="random"/> </generate> 

    • कस्टम डेटा वितरण के लिए वजन का उपयोग करना:

      city.ent.csv :
      

       name,population New York,8274527 Los Angeles,3834340 San Francisco,764976 

      
      

       <generate type="address" count="100" consumer="ConsoleExporter"> <variable name="city_data" source="cities.ent.csv" distribution="weighted[population]"/> <id name="id" type="long" /> <attribute name="city" script="city_data.name"/> </generate> 

    
    
    यह सब आधिकारिक मैनुअल में काफी विस्तार से वर्णित है।
    एक मंच भी है, यदि आप अपनी समस्या के साथ एक मृत अंत में हैं।
    
    

    निष्कर्ष

    
    मुझे यकीन है कि यदि आप वास्तव में यह देखना चाहते हैं कि बड़ी मात्रा में डेटा के साथ आपकी परियोजना से क्या होता है, और इसे मौका देने के लिए नहीं छोड़ना है, तो यह उपकरण बस अपूरणीय है।
    
    

    पेशेवरों:

    
    
    • सभी पीढ़ी एक ही स्थान पर, एक प्रारूप में, एक ही शैली में निहित होती है। यह एक ऑपरेशन में शुरू होता है। पूरी प्रक्रिया मानकीकृत और प्रलेखित है। काम की एक नई जगह पर आकर, benerator.xml को देखकर, आप तुरंत खुद को दूसरी बाइक का अध्ययन करने के कार्य से राहत देते हैं।
    • आपको प्रोग्रामिंग लैंग्वेज जानने की बिल्कुल भी जरूरत नहीं है। यह आपको डीबीए के लिए एक जनरेटर का उपयोग करने की अनुमति देता है। और गुंजाइश डेटाबेस के साथ काम करने तक सीमित नहीं है, आप xml और csv उत्पन्न कर सकते हैं।
    • स्क्रिप्टिंग गति + लचीलापन + परिवर्तन दर। उपयोगकर्ता डेटा या दिनांक बनाने के लिए अंतर्निहित कक्षाओं की बहुतायत। मुझे यकीन है कि जनरेटर की २०% सुविधाओं का उपयोग करके आप 20०% मामलों को कवर कर सकते हैं, और नंगे स्क्रिप्ट लिखने की तुलना में तेजी से कर सकते हैं।
    
    

    विपक्ष:

    
    
    • नया वाक्यविन्यास। यदि आपने पहले विषय का सामना नहीं किया है, तो आपको अध्ययन में समय बिताना होगा।
    • कमजोर सामुदायिक समर्थन। RuNet में, मैं जनरेटर के विवरण के बारे में बिल्कुल नहीं आया था; स्टैकओवरफ्लो पर, बहुत कम हैं।
    • ओवरहेड। इसके लिए तैयार हो जाओ। पैर में खुद को गोली मारने का खतरा है।