クリック名声、またはロボットなどを興奮させる方法

NB: -         ? 

GURU : - «» . . . , ...

 NB: -      ,     ? 

GURU : - google yandex , . . , .

 NB: -       ? 

GURU : - ?… ...

• 彼のリストのすべてのアドレスが機能しているわけではありません。
• すべてのプロキシが同等に優れているわけではありません。
• プロキシを介して手動でサイトを「スティッキング」することは、かなりの意志を必要とするタスクです。
• 「間違った」プロキシは状況を害します。 このサイトはラップの巨人のスクリプトによって疑われる可能性があります。

• 「クリック」-侵害を恐れることなく、ターゲットサイトを完全に自動的に（訪問）します。
• ユーザーの行動を完全にエミュレートします。
• スケジュール（シナリオ）に従ってすべての訪問を整理します。
• 前進するために必要な回数で上記のすべてを行います。

「すぐに使用する」ために、思慮深くこれをすべて読むことは価値がありません。 コードは確かです。

 #    root-. # ,     TCP-: # 11300, 11211, 4444, 5930, 8080, 8081, 8082, 8083 #        # " root-"    git clone \ https://oauth2:YRGzV8Ktx2ztoZg_oZZL@git.ituse.ru/deploy/esb-infrastructure.git cd esb-infrastructure docker-compose up --build -d #      3     #   . #       web-. 

 #      . #      process-   , #     -  php- git clone \ https://oauth2:YRGzV8Ktx2ztoZg_oZZL@git.ituse.ru/deploy/clicker-noserver.git cd clicker-noserver composer update #  .       "XXXXXXXX" mv app/settings.php.dist app/settings.php #   . gnome-terminal \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php curl"' \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php timezone"' \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php whoer"' #  . ,     , #  : - log/list.proxy php app/src/Utils/givethejob.php ./log/list.proxy 

粉砕と計画

言い訳と失敗

すべてのパッケージコードは3つの部分で構成されています。
それらの1つは私のものではありません（これはきちんとした美しいコードです）。 このコードのソースはpackagist.orgです。

私自身も別の記事を書いて、それを理解できるようにし、コードのこの部分に約1週間を費やしました。

残りは「困難な歴史的遺産」です。 コードのこの部分は、かなり長い時間をかけて作成されました。 プログラミングのスキルがあまりなかった頃を含めて。

これがまさに私のGitLab上のリポジトリと私のSatis上のパッケージの場所の理由です。 GitHub.comおよびpackagist.orgで公開するには、このコードを処理し、より詳細なドキュメントを作成する必要があります。

コードのすべての部分は無制限に使用できます。 リポジトリとパッケージは永久に利用可能になります。

ただし、コードを再公開するときは、私またはこの記事へのリンクを投稿してくれたことに感謝します。

アーキテクチャについて少し

• ユーティリティは、タスクを含むパラメータを使用してコマンドラインから他のユーティリティとは独立して起動できます。
• ユーティリティは、（特定の方法で構成された後）実行結果をstdoutに返すことができます。

メッセージングキュー。 MQおよびESB

 class esbTask //   ,     { // immutable-; // "" (   ESB-),  payload //    //     "" .... } 

• プロセスの各時点でのプロセスのパス（ステップのシーケンス）について、
  送信されるエンベロープ以外は誰も知りません。
  
• 各エンベロープには、次の3つの結果の方向があります。
  
  • プロセスの次のステップ（通常の継続）;
  • 停止ステップ（停止ターゲット-プロセス/停止状況の継続に意味がない場合、次のステップで選択されます）;
    
  • エラーステップ（緊急終了ターゲット-ワーカーエラーの場合、次のステップで選択されます）。
    
  
  

 // json- esbTask { //    (   esbTask) "_type":"App\\\\rebean\\\\payloads\\\\ESBtaskQueue", //  "task":"task:queue@XXX.XXX.XXX.XXX:11300", //    () "replyto":[ "othertask1:nextqueue1@yyy.XXX.XXX.XXX:11300", "othertask2:nextqueue2", "othertask3:nextqueue3", ], //    () "onerror":[ "error:errorsstep@zzz.XXX.XXX.XXX:11300", "error:errorsstep1", "error:errorsstep2", "error:errorsstep3" ], //     () "onstop":[ "stop:stopstep@kkk.XXX.XXX.XXX:11300", "stop:stopstep1", "stop:stopstep2", "stop:stopstep3" ], //   "payload":{ .... }, //   ... () "till":[ .... ], //     ... () //        // -  (LINUX-TimeStamp) "since":[ 1540073089.8833, ], // -     "points":1, //  .     "groupid":"" } 

 class nextStepWorker extends workerConstructor { //       //     esbTask //    () //    MQ- (beanstalkd) //     (Memcached) //     (MySQL) // : -  (  - ); -    stop-; -      (log, event, mq) .... } 

1. esbTaskを取得してワーカーを実行します。
2. 結果をペイロードに保存してロジックを実装します。
3. ワーカーの実行を完了します（緊急または通常-問題ではありません）。

一度やってください。 空室状況を確認する

 // app/src/Process/worker/curlChecker.php .... class curlChecker extends nextStepWorker { const PROXY_INFO = 'https://api.ipfy.me?format=json&geo=true'; const PROXY_TIMEOUT = '40'; const COMMAND = "curl -m %s -Lx http://%s:%s '%s'"; public function logic() { //    .  ..   payload extract($this->context()); //  defaults    payload  $curltimeout = $curltimeout ?? self::PROXY_TIMEOUT; $curlchecker = $curlchecker ?? self::PROXY_INFO; //     $line = sprintf( static::COMMAND, $curltimeout, $host, $port, $curlchecker ); exec($line, $info); //      // ( ,  stop-) $info = arrays::valid_json(implode('', info)); if (empty($info)) throw new \Exception("Bad proxy: $host:$port!", static::STATUS_STOP); //    payload $this->enrich(['info']) ->sets(compact('info')); } } 

TimeZoneを定義します。 TimeZoneDBとその目的...

// app / src / Process / worker / timeZone.php

インフラストラクチャについて少し

• Memcached-タスクのキャッシュ用。
• Selenium Server - Selenium Web Driverを別のコンテナで実行すると便利です。VNCを介してプロセスを監視できます。
• beanstald 、 memcached、およびVNCを監視するためのダッシュボード。

 sudo apt-get -y update sudo apt-get -y install docker-compose 

 #   ,    docker- #     (   ) #    sudo -s git clone \ https://oauth2:YRGzV8Ktx2ztoZg_oZZL@git.ituse.ru/deploy/esb-infrastructure.git \ panels cd panels docker-compose up --build -d #   . 

-XXX.XXX.XXX.XXX:11300-beanstalkd
-XXX.XXX.XXX.XXX:11211-Memcached
-XXX.XXX.XXX.XXX:4444-Selenium サーバー
-XXX.XXX.XXX.XXX:5930-Chromeでの動作を制御するVNCサーバー
-XXX.XXX.XXX.XXX:8081-Memcachedと通信するためのWebパネル（管理者：パス）
-XXX.XXX.XXX.XXX:8082-beanstalkdと通信するためのWebパネル
-XXX.XXX.XXX.XXX:8083-VNCと通信するためのWebパネル（パスワード：シークレット）
-XXX.XXX.XXX.XXX:8080-一般的なWebパネル

 #   ,    docker-, #    ..../panels/ #    docker-compose ps # Name Command State Ports # ------------------------------------------------------------------------------------------------------------------------ # beanstalkd /usr/bin/beanstalkd Up 0.0.0.0:11300->11300/tcp # chrome start-cron Up 0.0.0.0:4444->4444/tcp, 0.0.0.0:5930->5900/tcp # memcached docker-entrypoint.sh memcached Up 0.0.0.0:11211->11211/tcp # nginx docker-php-entrypoint /sta ... Up 0.0.0.0:8443->443/tcp, 0.0.0.0:8080->80/tcp, # 0.0.0.0:8082->8082/tcp, 0.0.0.0:8083->8083/tcp, 9000/tcp # vnc /usr/bin/supervisord -c /e ... Up 0.0.0.0:8081->8081/tcp #       chrome docker exec -ti chrome /bin/bash #       docker-compose stop && docker rm $(docker ps -a -q) 

タスク4,5、6-1つのユーティリティに結合

// app / src / Process / worker / whoerChecker.php

Chromeの設定を行います。 プラグイン

 // app/src/Chrome/proxyHelper.php .... class proxyHelper extends sshDocker{ .... // $name -  - // $files - [ ... '   -' => '', ...] protected function buildPlugin(string $name, array $files) { $this->last = "$this->cache/$name"; if (!file_exists("$this->last")) { $zip = new \ZipArchive(); $zip->open("$this->last", \ZipArchive::CREATE | \ZipArchive::OVERWRITE); foreach ($files as $n => $data) { $zip->addFromString(basename($n), $data); } $zip->close(); } $this->all[] = $this->last; $this->all = array_unique($this->all); return $this; } .... } 

ウィンドウ時間の変更

 // app/chromePlugins/timeShift/content.js //     var s = document.createElement('script'); //        s.src = chrome.extension.getURL('timeshift.js'); //      (document.head || document.documentElement).appendChild(s); 

プロキシ設定

 // app/chromePlugins/proxy/background.js var config = { mode: "fixed_servers", rules: { singleProxy: { scheme: "%scheme", host: "%proxy_host", port: parseInt(%proxy_port) }, bypassList: ["foobar.com"] } }; chrome.proxy.settings.set({value: config, scope: "regular"}, function () { }); function callbackFn(details) { return { authCredentials: { username: "%username", password: "%password" } }; } chrome.webRequest.onAuthRequired.addListener( callbackFn, {urls: ["&gtall_urls&lt"]}, ['blocking'] ); 

Chromeプラグインのパス

 // app/src/Chrome/sshDocker.php //    (DOCKER_HOST, DOCKER_USER, DOCKER_PASS) //   : app/settings.php //      .... class sshDocker { .... //  .     docker //    .         // : app/techs.php const EXEC_DOCKER = DOCKER_BIN_PATH . "/docker exec -i %s %s"; .... //     sudo    (  ),  DOCKER_USER -  protected function sudo(string $command, string $expect = '.*'){...} //     Docker-,      //       -    self::EXEC_DOCKER protected function execDocker(string $command, string $expect){...} .... } 

 // app/src/Chrome/proxyHelper.php .... class proxyHelper extends sshDocker { .... public static function new(string $docker, $plugins) { return (new self($docker, $plugins)) ->setupPlugins(); } .... } 

設定でChomeを起動

 composer require facebook/webdriver 

 // URL- $url = "https://example.com/books/196/empire-v-povest-o-nastoyashem-sverhcheloveke"; // URL,     (Selenium Server) $server = 'http://' . DOCKER_HOST . '/wd/hub'; //   ,      $options = new ChromeOptions(); $options->addArguments(array( '--disable-notifications' )); //    - $capabilities = DesiredCapabilities::chrome(); $capabilities->setCapability(ChromeOptions::CAPABILITY, $options); //        5000     URL $driver = RemoteWebDriver::create($server, $capabilities, 5000); $page = $driver->get($url); 

 // app/src/Process/worker/whoerChecker.php .... class whoerChecker extends nextStepWorker { //    : app/settings.php // URL Selenium Server const SELENIUM_SERVER = CHVM; //  - const DOCKER_NAME = DOCKER_NAME; .... public function config() .... //        : // $driver = RemoteWebDriver::create($server, $capabilities, 5000); $chrome = Chrome::driver( static::SELENIUM_SERVER, Chrome::capabilities(static::DOCKER_NAME, $plugins), 5000 ); .... } .... 

 // app/plugs.php const PLUGS = [ 'timeshift' => [ 'path' => PROJECTPATH . '/app/chromePlugins/timeShift', 'files' => ['manifest.json', 'timeshift.js', 'content.js'], 'fields' => ['%addsminutes' => 'timeshift'] ], 'proxy' => [ 'path' => PROJECTPATH . '/app/chromePlugins/proxy', 'files' => ['manifest.json', 'background.js'], 'fields' => [ '%proxy_host' => 'host', '%proxy_port' => 'port', '%scheme' => 'scheme', '%username' => 'user', '%password' => 'pass' ] ] ]; 

 .... $url = 'https://__/_-_'; $page = $chrome->get($url); .... //   xPath-   $xpath = '/html[1]/body[1]/div[1]/div[1]/div[1]/div[2]/div[1]/div[1]/div[1]/div[1]/strong[1]'; $element = page->findElement(WebDriverBy::xpath($xpath)); .... //   $text = $element->getText(); // HTML- $html = $element->>getAttribute('innerHTML'); .... 

// app / src / Process / worker / whoerChecker.php

WebRTC

 iptables -t raw -I PREROUTING -p udp -m multiport --dports 3478,19302 -j DROP 

残りの労働者

すべてをまとめる方法

• ユーティリティは、（コマンドライン引数）は「入力」を受信することが可能であるesbTask JSON文字列形式と、いくつかのロジックを実行し、結果が送信されるbeanstalkd。
• beanstalkdに基づくメッセージキュー（MQ）。
• Linuxマシン（プロセスマシン）;

Dear Reader、出版日はあなたの興味に関連しています。

. , ,… . , , , , , .

habr , . , , .

. , " server ", README.md .

 // app/src/Process/noserver/singleProcess.php //   ,    //   include __DIR__ . '/../../../settings.php'; use App\ESB\pipeNcacheService; use App\arrayNstring\queueDSN; use App\arrayNstring\timeSpent; use App\arrayNstring\progressString; //    $path = __DIR__ . '/../worker'; //   $queues = array_keys(WORKERS); $queue = $argv[1] ?? end($queues); $queue = strtolower($queue); if (!in_array($queue, $queues)) die("php $argv[0] <queue_name>" . PHP_EOL); //  - $progress = new progressString("Listenning... Idle: ", 40, 20); // ,      $stopwatch = timeSpent::start(); //    beanstalkd- list($worker, $task) = WORKERS[$queue]; $procid = ['procid' => posix_getpid()]; //   beanstalkd  Memcached, //     ( ) $dsn = new queueDSN($task, $queue, ...QUEUE_SERVER); //     ESB- $pnc = new pipeNcacheService($dsn); $pipe = $pnc->getPipe(); echo "Start listener for queue: $queue." . PHP_EOL; echo "Press Ctrl-C to stop listener." . PHP_EOL; //      //       while (true) { try { $job = $pipe->watch($queue) ->reserve(1); $now = new DateTime(); $opts = json_encode($pipe->getPayload($job) + $procid); $pipe->delete($job); echo PHP_EOL . "Task recived at: " . $now->format('H:i:s') . " Starting worker: $worker. "; $stopwatch = timeSpent::start(); exec("php $path/$worker $opts", $out); echo "Finished. Time spent: $stopwatch" . PHP_EOL; $stopwatch = timeSpent::start(); } catch (Throwable $exception) { echo $progress($stopwatch('%I:%S', null, $now)); } } 

構成と展開に関するいくつかの言葉

構成定数

- アプリ/ queues.phpはキューとジョブの名前が含まれている
- アプリを/ plugs.php説明クローム -plaginov
- アプリ/ techs.phpは、計算された定数が含まれています

公益事業

 backup.php-キューをファイルに保存します
    clear.php-キューを消去します
    exporter.php-保存されたキューを持つファイルからエクスポートします 
                     ペアのアドレス：ポート
    givethejob.php-プロセスにタスクを投稿します 
                     （ソース-アドレス：ポートコンボボックス）。
                     リストから一部のアドレスを除外できます
    restore.php-保存されたキューを復元します 

労働者の微調整

 // app/src/Process/worker/curlChecker.php .... $worker = new curlChecker( [ //    curlChecker::WORKER => 'curlchecker', //  beanstalkd curlChecker::PIPE_HOSTPORT => implode(':', QUEUE_SERVER), //  Memcached curlChecker::CACHE_HOSTPORT => implode(':', MEMCACHED), // ,    . //    -   curlChecker::DB_SCRIPT => __DIR__ . '/../../../confdb.php', // ,       // (        -) curlChecker::INFO_START => CURL_START, // ,        // (        -) curlChecker::INFO_END => CURL_END, //  ,     //    //        curlChecker::INFO_ADDS_END => ['host', 'port'] ], ['setupworker', 'config', 'logic'] ); .... 

展開

 #    root-. # ,     TCP-: # 11300, 11211, 4444, 5930, 8080, 8081, 8082, 8083 #   . sudo -s apt -y update apt -y install git snap snap install docker apt -y install docker-compose # C       # " root-"    cd ~ git clone \ https://oauth2:YRGzV8Ktx2ztoZg_oZZL@git.ituse.ru/deploy/esb-infrastructure.git cd esb-infrastructure docker-compose up --build -d #      3     #   . #       web-. 

 #      . #   . sudo apt -y update sudo apt -y install git php-common php-cli php-curl php-zip php-memcached composer # C     process-   , #     -  php- cd /var/www git clone \ https://oauth2:YRGzV8Ktx2ztoZg_oZZL@git.ituse.ru/deploy/clicker-noserver.git cd clicker-noserver composer update #  .       "XXXXXXXX" mv app/settings.php.dist app/settings.php #   . gnome-terminal \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php curl"' \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php timezone"' \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php whoer"' #  . ,     , #  : - log/list.proxy php app/src/Utils/givethejob.php ./log/list.proxy 

そして結論として