Hyper-V-マヌケティングの子ですか、それずも本圓の遞択肢ですか

こんにちは、Habr 今、私はあなたに質問をしたす、そしおあなたは思うでしょうあなたの間で非垞に人気があり、か぀おwe敬の念を抱かせたものは䜕ですか、今日は「郷stal」のためだけに蚘憶されおいたすか 確かに、誰かがDendyやSuper Nintendoを芚えおいるだろうし、自分のポケットベルを持っおいる人もいるだろう。 だから、なぜ私は...「氞遠に続くものはない」ずいう衚珟がありたす。 本日の蚘事では、これが開発分野で本圓にそうであるかどうかを怜蚎し、仮想化の問題でHyper-Vを優先しおVMWareを攟棄する必芁がありたすか たた、䞡方のプラットフォヌムの利点ず、䞀方から他方ぞの移行プロセスに぀いおも觊れたす。 猫の䞋を芋おください



著者に発蚀暩を䞎えたす。

免責事項


  1. この蚘事は本質的に有益であり、ヒッピヌを持ちたいずいう欲求を远求するのではなく、単にあなたの物語を共有したいずいう欲求を远求したす。 いく぀かは玔粋に個人的なものであり、刀断は個人的なものです。
  2. いいえ、私はMSを販売したせんでした。 私は思考の糧ずしおこの皮の蚘事を長い間探しおいたしたが、それらはそこにはありたせんでした。 自分でやらなければなりたせんでした。
  3. MSブログ-招埅状はありたせんが、同志はこの蚘事のアむデアを気に入っおおり、投皿を申し出たした。
  4. PR補品はありたせん。ラむブテスト/実装に関するストヌリヌがありたす。

叙情的な䜙談
私たちは玠晎らしい時間に䜏んでいたす。 そしお、恐らくどちらを芋るかによっお、ひどいものになるかもしれたせん。 今では、文字通り20幎前にSFの本を読んだ可胜性がありたす。未来は200〜500〜1000幎でした。 他の惑星ぞのフラむトは、倪陜系を超えお、「火星に咲くりんごの朚」を攟ちたす。これらはすべお遠く、実珟䞍可胜であるように芋えたした。

そしお今、私たちはたあ、実際には宇宙原子力゚ンゞン、2024幎に火星に飛ぶ蚈画、そしお倪陜系倖の衛星を持っおいたす。

それで、実際、私はすべおに䜕を導いおいたすか。 ぀たり、これはすべお、コンピュヌタヌ技術の急速な発展によりたたはそれに反しお可胜になりたした。 これらのテクノロゞヌの1぀に぀いお説明したす。

゚ピグラフ


むかしむかし、ある䌚瀟がありたした。 倧きくも小さくもなく、高くも䜎くもない。 このような盎接吐き出す䞭芏暡ビゞネス。 圌女は、母芪から受け継いだ叀いラックを䜕台か䜿っお自分で暮らしたした。 そしお、この経枈すべおを曎新する時が来たした。 仲間は、機噚のコストを考慮し、考え、仮想化を導入するこずを決定したした。 そしお、VMWareだけが持っおいた茝かしい皮類のナニバヌサル仮想化の代衚者の1幎が長くなりたした。 䞀般的に、それは導入されたした。 時間の経過、タスクの倉曎、茝かしい皮類の仮想化の他の代衚者が成長したした。 そしお、再び代衚者を遞ぶ時が来たした...

ITプロフェッショナルの䞻な質問は「理由」です
たたは「䞀䜓䜕」


自己玹介をさせおください。 私の名前はアントンです。ロシアの倧手小売業者のむンフラストラクチャ゜リュヌション郚門を率いおいたす。 自尊心のある組織ず同様に、私たちは仮想化を䜿甚し、もちろん、私たち党員が「愛する」1Cを䜿甚しおいたす。 私たちはVMwareを長期間実装し、基本的には悪くありたせんでした私を远加した癜髪の話でも十分ですがが、他の開発ず同様に、代替゜リュヌションを芋぀けるために定期的に確認する必芁がありたす。

そしお、移行のストヌリヌは、Gartner QuadrantでVMwareずずもにHyper-Vを隅々で芋たずいう事実から始たりたした。 その時、私は思慮深くなりたした。 考えの結果、移行の「賛成/反察」の兆候が芋られたした。 たた、有名なVMwareがCBTでショヌルしたす...今。 はい、2぀の異なるリリヌスで2回。 たっすぐ発射

誇倧広告分
私はすぐに冗談を思い出したす

「人が熱心なビヌガンであるこずをどうやっお知っおいたすか。 たさか。 圌はあなたにそれを教えおくれたす。」
それがここにある-熱烈な赀い目を認識する方法。 たさか。 圌自身は、Linuxは神の恵みであり、Windowsは闇の王子の産物であるずあなたに蚀うでしょう。

2x354の嫌悪者はすぐにラックに立ち、液䜓をはねかけ、Microsoftの曎新プログラムがOS党䜓を砎壊する様子を䌝え始めたす。 うわヌ、私は議論したせん、私の仲間はそのような陜気なプレれントに愛を持っおいたす。 しかし、䞀般的に、Microsoftでの私の意芋では、進化のプロセスは完璧です。 革呜は圌らのものではありたせんが、進化は長所です。 そしお、誰もが圌に近いものを遞択したす。

私はすぐに予玄したす-「機胜別」の比范もありたした。人生では、「圌らの正しい心ず匷い蚘憶」に誰も制限倀に埓っおクラスタヌを構築したせん。 はい、実際には双子の兄匟のように芋えたす。個人的には、1぀の仮想マシンに䜕癟ものコアを提䟛できるかどうかの根本的な違いはわかりたせん。

ミニッツホリバラ
VMwareの「キラヌ機胜」がマヌケティングだけであるのはなぜですか

フォヌルトトレランス。 ほんず 制限を読みたしたか 本番環境で本圓に䜿甚しおいたすか もしそうなら、私は心からあなたのこずを気の毒に思いたす...い぀も、私は誰もそれが本圓に圹に立぀ず思うのを芋たこずがありたせん...

Probros USBおよびPCIデバむス。 たた、非垞に物議を醞す瞬間。 これらのこずは、仮想マシンの仮想化の䞻な利点、぀たりホスト間の無料移行を奪いたす。 PCI転送を䜿甚したしたが、拒吊できるようになるずすぐに安心したした。 USBを転送するために、゜フトりェアずハ​​ヌドりェアの䞡方の゜リュヌションが考案され、ずっず前に䜜られたした。 はるかに簡単です。

ロヌカルSSDのデヌタキャッシュを読み取りたす。 はい、出おきたずき、この機䌚にずおも満足しおいたした。 しかし、実際には、合成デヌタでさえ成長が芋られたせんでした。 そしお、䜜業環境では、定期的にこのシステムの異垞なハングをキャッチしたしたここでは、システムの欠点は、私の曲がった手が䜕か間違ったこずをしたずいうこずではありたせん。 ケヌキのチェリヌこのシステムは特定のサむズのブロックのみをキャッシュするため、ディスクぞのリク゚ストのサむズに関する情報を収集するのに倚くの時間を費やす必芁がありたす。

ただし、Hyper-Vにはディスクを削枛する定期的な機胜がありたす。 VMwareでこれを䜕回倢芋たか知っおいたすか あなたが想像できる以䞊のもの。

はい、別の瞬間。 別のハむパヌバむザヌぞの切り替えは個別の゜リュヌションですが、ここに停止芁因のリストを瀺したす。これがあるず、Hyper-Vに切り替える䟡倀はたったくありたせん。 たあ、たたは非垞に慎重に考えおすべおをテストしおください。

  1. LinuxサヌバヌにメむンOSがありたす。
  2. ゚キゟチックを実行する必芁がありたす。
  3. ベンダヌの既補の仮想サヌバヌが必芁ですこれは時間の問題だず思いたす。
  4. あなたはマむクロ゜フトが奜きではありたせん。
  5. ハヌドりェアでVMwareを無料で入手したした。

反射板

Hyper-Vぞの移行甚Hyper-Vぞの切り替えに察しお
VMwareラむセンスコストの削枛VMwareプラットフォヌムの名声
同じプラットフォヌムに基づいお、Azureが構築されおいたす。配垃サむズネタバレNano Serverはesxiの類䌌物ではありたせん-むデオロギヌずポゞショニングがわずかに異なりたす
興味深いネットワヌク仮想化シンプルなラむセンススキヌム
通垞の方法を䜿甚した他の仮想ストレヌゞシステムぞのレプリケヌション倚数の異なるOSのサポヌト
仮想化を構築するためのキットWindows Datacenter + System Centerを含むCISキットを賌入した堎合のボヌナスVMwareはすでに実行䞭です
Windowsサヌバヌを展開する際のさたざたな利点ハむパヌバむザヌは個別の補品ずしおサポヌトされおいたせん
ドラむブをその堎で削枛できたすここでのVDIは、ラボ/テストにのみ䜿甚できたす。 生産には適しおいたせん。
Windowsの新しいバヌゞョンのより良いサポヌト1぀のベンダヌからハヌドりェアず゜フトりェアの䞡方を賌入し、1぀の管理コン゜ヌルず1぀のテクニカルサポヌトりィンドりを取埗した堎合の、仮想化に関する興味深い完党な゜リュヌションの存圚
これはマむクロ゜フトですこれはマむクロ゜フトです

信仰の飛躍


私は長い間考え、疑問に思っおいたしたが、星が収束し、サヌバヌパヌクを曎新したした。 そしお、叀いものは残っおおり、悪くはありたせんが、今日の基準ではすでに遅くなっおおり、道埳的にも時代遅れです。 そしお、Hyper-Vに基づいお開発甚のファヌムを䜜成するずいう戊略的な決定が䞋されたした。 サヌバヌを新しいサむトにドラッグし、すべおのサヌバヌファヌムりェアを曎新しお急いだ。

テスト蚈画はシンプルでした

  1. サヌバヌを取埗したす。
  2. esxiをむンストヌルしたす。 デフォルト蚭定である䜕も倉曎したせん。
  3. 仮想マシンを展開したす。
  4. テストを5回行いたす。

    a1C Gilevテスト甚。

    bSQLの堎合、曞き蟌みスクリプト。
  5. ベストプラクティスに埓っお蚭定したした。
  6. テストを5回行いたす。

    a1C Gilevテスト甚。

    bSQLの堎合、曞き蟌みスクリプト。
  7. Hyper-Vをむンストヌルしたす。 デフォルト蚭定である䜕も倉曎したせん。
  8. 仮想マシンを展開したす。
  9. テストを5回行いたす。

    a1C Gilevテスト甚。

    bSQLの堎合、曞き蟌みスクリプト。
  10. ベストプラクティスに埓っお蚭定したした。
  11. テストを5回行いたす。

    a1C Gilevテスト甚。

    bSQLの堎合、曞き蟌みスクリプト。
  12. 物理的なWindows Serverマシンに配眮し、ベストプラクティスに埓っお構成し、テストを実斜したす。
  13. 比范しお考えおください。

機噚Dell FC 630、2぀のIntel Xeon E5-2643 v4プロセッサヌ玔粋に1C未満、512GBのメモリヌ。
ドラむブ読み取り集䞭型SSDを搭茉したDell SC 200に基づくSANネットワヌク。

次の結果が埗られたした。
ベストプラクティスのないVMwareギレフ怜定SQLテスト
122.4212.2
218.617.51
312/187.12
426.747.18
526.324.22
ベストプラクティスを備えたVMWareギレフ怜定SQLテスト
126.464.28
226.66.38
326.464.22
426.466.56
526.64.2
ベストプラクティスのないHyperVギレフ怜定SQLテスト
127.174.32
226.466.08
304/264.24
426.185.58
525.916.01
ベストプラクティスを備えたHyperVギレフ怜定SQLテスト
126.186.02
227.626.04
326.466.2
426.744.23
526.746.02
物理孊ギレフ怜定SQLテスト
135.974.06
232.474.04
331.856.14
432.475.55
532.895.43

凡䟋


Gilevテスト-より倚くはより良い、抜象的な「オりム」を意味したす。

SQLテスト-実行時間が少ないほど良い。

構成されたもの

1. DELL Poweredge 630ホストを準備する手順

1.1。 DELLの掚奚事項に埓っおホストを構成したす

1.1.1。 プロセッサヌ蚭定を有効にする->仮想化テクノロゞヌ-有効。

1.1.2。 プロセッサヌ蚭定を有効にする->論理プロセッサヌ-有効。

1.1.3。 システムプロファむル蚭定を有効にする->タヌボブヌストタヌボモヌドのドキュメント内-有効。

1.1.4。 メモリ蚭定の無効化->ノヌドむンタヌリヌブNUMAを有効化-無効化。

1.1.5。 電源管理を有効にする->最倧パフォヌマンス-有効になっおいるようです。

1.1.6。 統合デバむスで䞍芁なデバむスを無効にしたす-觊れたせんでした。

1.1.7。 システムプロファむル蚭定を無効化-> C1E-無効化。

1.1.8。 プロセッサ蚭定を有効にする->ハヌドりェアプリフェッチャヌ-有効。

1.1.9。 プロセッサヌ蚭定を有効にする->隣接キャッシュラむンのプリフェッチ-有効。

1.1.10。 プロセッサ蚭定を有効にする-> DCU Streamer Prefetcher-有効。

1.1.11。 プロセッサ蚭定を有効にする->デヌタの再利甚-芋぀かりたせん。

1.1.12。 プロセッサヌ蚭定を有効にする-> DRAMプリフェッチャヌ-芋぀かりたせん。

1.2掚奚事項でのホストの構成

1.2.1ファむバヌシャネルHBAを構成したす。

1.2.1.1ホストをロヌドするずき、QLogic FastUTILCTRL + Qに移動したす。

1.2.1.2最初のポヌトを遞択したす。

1.2.1.3構成蚭定のリセット->デフォルト蚭定の埩元。

1.2.1.4構成蚭定の有効化->アダプタ蚭定->ホストアダプタBIOS->ホストアダプタBIOS->有効。

1.2.1.5構成蚭定を有効にする->アダプタヌ蚭定->ホストアダプタヌBIOS->接続オプション-> 1。

1.2.1.6構成蚭定の有効化->アダプタヌの詳现蚭定-> LIPリセットの有効化->はい。

1.2.1.7構成蚭定の有効化->アダプタヌの詳现蚭定-> LIPフルログむンの有効化->はい。

1.2.1.8構成蚭定の有効化->アダプタヌの詳现蚭定->ログむン再詊行回数-> 60

1.2.1.9構成蚭定の有効化->アダプタヌの詳现蚭定->ポヌトダりン再詊行カりント-> 60。

1.2.1.10構成蚭定の有効化->アダプタヌの詳现蚭定->リンクダりンタむムアりト-> 30。

1.2.1.11項目1.2.1.3-1.2.1.10。に埓っお2番目のポヌトを蚭定したす

2.ベストプラクティスなしでVMwareプラットフォヌムでテストするための手順。

2.1すべおのアップデヌトでVMware 5.5をむンストヌルしたす。

2.2 VMwareで必芁な蚭定を行いたすクラスタヌに含めず、個別にテストしたす。

2.3 Windows 2016およびすべおのアップデヌトをむンストヌルしたす。

2.4「1CEnterprise」をむンストヌルしたす。 必芁に応じお、デフォルトのバヌゞョン1C-8.3.10を構成したす。 最埌。

2.5別のマシンに、Windows 2016ずSQL Server 2016をむンストヌルしたすすべおの曎新プログラムを含む。

2.6テストを実斜したす5回。

3. ベストプラクティスに埓っおVMwareプラットフォヌムでテストする手順。

3.1.1スワップファむルをSSDドラむブに配眮したす。 クラスタヌ->スワップファむルの堎所->スワップファむルをVMず同じディレクトリに保存したす。 構成-> VMスワップファむルの堎所->線集。

3.1.2 vSphere Flash Infrastructureレむダヌを有効にするこずをお勧めしたす。これが実際にどの皋床実装されおいるかわかりたせん。

3.1.3ホストを介したSANマルチパスの構成->構成->ストレヌゞ->パスの管理->パスの遞択->ラりンドロビン。

3.1.4ホストの有効化->構成->電源管理->プロパティ->高パフォヌマンス。

3.2掚奚事項に埓っおVMを構成したす。

3.2.1準仮想ディスクを䜿甚したすVM-> SCSI Controller-> Change Type-> Paravirtual。

3.2.2 Eager ZeroedのThickプロビゞョニングを䜿甚するこずをお勧めしたす。

3.2.3 VMをオンにする->オプション-> CPU / MMU仮想化->呜什セットにIntel VTxを䜿甚し、MMU仮想化にIntel EPTを䜿甚したす。

3.2.4 VM BIOSの無効化->レガシヌディスケット、VM BIOS-> Primary Mater CD ROM。

4.ベストプラクティスなしでWindows Serverプラットフォヌムでテストするための手順

4.1 Windows Server 2016 Datacenterをホストおよびすべおのアップデヌトにむンストヌルしたす。

4.2ホストで必芁な蚭定を行いたす。

4.3 Windowsおよびすべおのアップデヌトを䜿甚しお仮想マシンをむンストヌルしたす。

4.4「1CEnterprise」をむンストヌルしたす。 必芁に応じお、デフォルトのバヌゞョン1C-8.3.10最埌を構成したす。

4.5別のマシンで、Windows Server 2016ずSQL Server 2016をすべおの曎新ずずもにむンストヌルしたす。

5.ベストプラクティスに埓っおWindows Serverプラットフォヌムでテストする手順
ここ 、 ここ 、 ここでベストプラクティスの抂芁を説明したす 。

5.1掚奚事項に埓っおホストを構成したす。

5.1.1 MPIOの有効化 
Enable-WindowsOptionalFeature – Online – FeatureName MultiPathIO
(Get-WindowsOptionalFeature – Online – FeatureName "MultiPathIO").State


5.2掚奚事項に埓っおVMを構成したす。

5.2.1 Generation2 VMを䜿甚したす。

5.2.2 VMでは固定ディスクを䜿甚したす。

生呜が火星にあるなら


人生は成功したようで、テストは蚈算ず賭けが正しかったこずを瀺しおおり、今では同じ垌望のニルノァヌナが来るだろう...だから、開発者向けのクラスタヌをテストモヌドにするたで考えお、期埅した。

嘘は぀きたせんが、むンストヌルは本圓にシンプルで簡単です。 システム自䜓が満足する必芁があるものすべおをチェックし、満足できない堎合は、最寄りの食料品店に送っお、䜕が間違っおいるかに぀いおの詳现なレポヌトを衚瀺し、問題の修正方法に぀いおもアドバむスしたす。 この点で、私はマむクロ゜フト補品がずっず奜きでした。

5.5に切り替えたずきの問題に関するVMwareテクニカルサポヌトずの5日間の通信の話をすぐに思い出したした。 それは面癜いこずであるこずが刀明したした。 vSphereを接続するためにSQLサヌバヌ䞊に別のアカりントを䜜成する堎合、システムは䞍芁な郚分ずしおパスワヌドの䞀郚を切り捚おお砎棄するため、パスワヌドは14文字たたは10、今は芚えおいたせんを超えおはなりたせん。 実際、これは非垞に合理的な動䜜です。

しかし、すべおの楜しみは埌で始たりたした。 1台のサヌバヌがクラッシュし、ネットワヌクカヌドの衚瀺を拒吊したしたその結果、OSはそれずは䜕の関係もありたせんでした。 その埌、サヌバヌは定足数を倱い始めたした。 その埌、サヌバヌはクラスタヌからランダムに飛び出し始めたした。 VMMは実際には機胜せず、倚くの堎合、ファヌムに接続できたせんでした。 その埌、サヌバヌはクラスタヌ内で䞀時停止し始めたした。 その埌、移行䞭に、マシンが2぀のホストで芋られるようになりたした。 䞀般に、私たちが考えたように、状況は灜害に近いものでした。

しかし、勇気を集めお、それにもかかわらず、私たちは戊うこずにしたした。 そしお、あなたは䜕を知っおいたすか すべおうたくいきたした。 そしお、ネットワヌクカヌドの問題はハヌドりェアであり、クラスタヌの問題はネットワヌクが正しく構成された埌に解決されたこずが刀明したした。 そしお、ホストOSずVMMを英語版に再配眮した埌、䞀般にすべおがうたくいきたした。 そしお、私は悲しい... 2017を感じたしたが、英語のWindowsをむンストヌルしお問題が少なくなるようにする必芁がありたす。 これは私の意芋では倧倱敗です。 しかし、ボヌナスぱラヌのテキスト怜玢がはるかに簡単だったこずです。

その結果、クラスタヌが起動し、VMMが正垞に動䜜し、仮想マシンをナヌザヌに配垃し始めたした。

ずころで、むンタヌフェむスずVMMロゞックを発明した人は、地獄で別のボむラヌに倀する...それが理解できないず蚀うこずは䜕も蚀わないこずです。 最初のオヌプニングで、私ぱむリアンの船のダッシュボヌドを芋おいるような気分になりたした。 フォヌムはよく知られおいるように芋えたすが、䜕が䜕で、なぜなのか理解できたせん。 たぶん䜕幎か埌には慣れるでしょう。 たたは、猿のような行動を暗蚘するだけです。

トラクタヌをようやく始めたずきはどうですか


䞀般的に、私は移行からのポゞティブな感情ず感情を持っおいたす。 Microsoft OSのテンプレヌトずその機胜は、VMwareの察応するテンプレヌトず比范できたせん。 圌らは非垞に快適で、あらゆる皮類のホむッスルずフリルが非垞に倚く、䞀般的に非垞に賢明です。 開発者向けのクラスタヌを掚進しおいる間、新しい生掻に慣れおいたす。

それでも、VMWareからのマシンの移行の問題に非垞に満足しおいたす。 最初は、フォヌラムを読んで、゜フトりェアを怜玢し、どのようになるかを考えたした。 すべおが私のために発明されたこずが刀明したした。 VMM vCenterを2぀のアカりントに接続し、VMMから次のように語りたした。「芪愛なる仲間、お菓子をください。この仮想マシンを新しいハむパヌバむザヌに移行しおください。」ず圌が移行したした。 初めおから。 タンバリンず間違いなし。 そしお、最終的には、1週間のテストを蚈画しおいた移行は40分以内で、そのうち20が移行そのものでした。

䞍足しおいるもの

  1. 仮想化専甚に䜜成された小芏暡なディストリビュヌションesxiに類䌌。
  2. 通垞の管理コン゜ヌルコン゜ヌルは、特にVMwareの制埡埌は䞍䟿ですが、ホノルルプロゞェクトには垌望がありたす。ずにかく、テクニカルプレビュヌを芋るず、補品の管理が非垞に簡単になるはずだずいう理解がありたす。
  3. 補品サポヌトの仮想化。 はい、プレミアムサポヌトがあるこずは知っおいたすが、これは私が望むものではありたせん。

芁玄するず蚘事を読むのが面倒な堎合


  1. これで、2぀のプラットフォヌムのパフォヌマンスはほが同じになりたした。
  2. 1Cのパフォヌマンスは同じです。
  3. Hyper-Vでは、仮想ディスクを拡倧たたは瞮小できたす。 そしおオンラむン。
  4. VMWareからの非垞に簡単な移行。
  5. 通垞の意味でのサポヌトに関する問題。
  6. VMMは、特にvCenterの埌は非垞に䞍䟿です。 しかし、䞀方で、VMMはPowerShellスクリプトの単なるグラフィカルシェルであるため、䜿い慣れたPowershell CLIを䜿甚しおすべおを操䜜できたす。
  7. 移行には、Hyper-Vの耇雑さを再蚓緎しお理解する必芁がありたす。 倚くのこずやむデオロギヌ的アプロヌチは異なりたす。
  8. Windowsを䜿甚した仮想マシンのシックなパタヌン。 驚くほど快適。
  9. お金を節玄したす。
  10. ゜フトりェア定矩のストレヌゞの実装は、私の意芋ではより興味深いですが、これは䞇人向けではありたせん。
  11. すべおのAzureが独自のテクノロゞに基づいお構築されおいるずいう事実を尊重しおください。
  12. クラりドずのシンプルで非垞に緊密な統合。
  13. 倚くの興味深い点がある、優れたネットワヌク仮想化。
  14. 私の意芋では、VDIはMicrosoftおよびHyper-V甚ではありたせん。 しかし、䞀方で、提案のストリヌムRemoteAppは非垞に健党に䜜成されおおり、ほずんどの䌁業にずっおCitrix自䜓よりも悪いこずはほずんどありたせん。
  15. Hyper-V甚の既補の仮想むメヌゞのサヌドパヌティベンダヌによる匱いサポヌトこの珟象は䞀時的なものであるず想定したす。
  16. 非垞に奇劙な新しいラむセンスポリシヌコアごず。

著者に぀いお


アントン・リトノィノフ-過去6幎間、圌は585 / Zolotoyで働いおいたす。 圌はネットワヌク゚ンゞニアからむンフラストラクチャ゜リュヌション郚門の責任者になり、その結果、Jekyll氏ずフルスタック゚ンゞニアおよびマネヌゞャヌであるハむド博士を組み合わせたした。 ITで玄20幎間。

Source: https://habr.com/ru/post/J346776/


All Articles