Hadoopキャリア：雇用されるために

Hadoopの雇用およびキャリアに関する考慮事項

あなたが聞いたことがあるかもしれませんが、Hadoopや他のビッグデータ専門家は需要があります。「Hadoop jobs」のGoogle検索結果は、ビッグデータ自体として資格を得るのに十分大きいかもしれません。多くの若いIT専門家や中堅のIT専門家は、Hadoopの象に乗ってより良い機会を得ようとしています。この野望を支援するために、多くのトレーニングと認定プログラムが作成されていますが、Apache Hadoop財団からは認定は提供されていないことに注意する必要があります。IT専門家はしばしば、どのスキルと認定が最も価値があるのか疑問に思い、ビッグデータの経験がほとんどない組織は、候補者から何の特定のスキルやその他の資質が必要かを疑問に思っています。

Hadoopはデータサイエンスのカテゴリーに分類されますが、それを成功させることは本当にアートのようなものです。科学的発見は、科学的方法を適用して再現可能な結果を生み出すことに関するものです。Hadoopプロジェクトは常に確立されたプロセスに従うわけではなく、今日Hadoopは、これまでに行われていないことを試すために使われることがよくあります。だからこそ、Hadoopの成功はアートとサイエンスの一部です。最低限必要なのは、データを抽出して処理するための技術的知識ですが、アートは新しいデータソースを見つけて抽出することや、新しい方法でそれを処理し表現することにあります。

Hadoopの職務タイトルと役割

Hadoopは、アプリケーションを開発し、出力を解釈し、環境を管理するために人々が必要であるという点で、他の環境と類似しています。Hadoopの世界では、これらの役割は次のようなタイトルで指定されます：

• ビッグデータアナリスト
• ビッグデータソフトウェアエンジニア
• ビッグデータアーキテクト
• BIスペシャリスト
• データエンジニア
• データサイエンティスト
• ETL開発者
• Hadoopアーキテクト
• Hadoop開発者

これらのポジションに最も一般的に求められるスキルと認定には、次のものが含まれます：

• HDFS、YARN、HBase、Hive、Pig、Sparkなどを含むApache Hadoopスタックの経験
• Cloudera Certified Professional (CCP)認定
• Hortonworks認定、たとえばHDPCD、HDPCAなど
• MapR認定（MCHA、MCHD、MCHBD、MCSD）
• シェルスクリプトの経験（特にPython、R、UnixシェルおよびPowerShell）
• SQL/NoSQLの経験

個々の組織は、おそらく主要なHadoop配布ベンダー（Cloudera、Hortonworks、またはMapR）のいずれかによる認定のみを要求するでしょう。

Hadoop認定のランドスケープ

Hadoop認定 >

非技術的スキルに関する考慮事項

求められる認定、スキル、および経験のすべてのボックスをチェックする候補者を見つけることは、成功の保証にはなりません。ビッグデータ開発そのものと同様に、役割に適した人々を見つけることは、アートである可能性があります。ビッグデータは文脈とビジネス価値を見つけることです。ビッグデータを処理するためのHadoop環境を作成するには技術的スキルが必要ですが、それを意味のある行動可能なものにするには異なるスキルセットが必要です。採用している場合は、ビッグデータチームの専門家のビジネスセンスを考慮することが重要です。技術的役割にいる場合でもです。候補者である場合、ビジネスの問題を解決するためにHadoop/ビッグデータをどのように適用できるかについて話す準備をしておくべきです。

柔軟性はHadoop専門家にとってもう一つの重要な特性です。Hadoop環境は急速に成長し変化しています。新しいツールや技術が頻繁に導入され、Hadoopが以前はできなかったことを可能にするかもしれません。非常に構造化されて変わらない役割で働くことを好む個人は、この環境では快適ではないかもしれません。一方、緊密な監督を必要とせず、新しい技術を探索し、組織に新しいプロジェクトやアプローチを推奨できることを好む個人は、急速に進むHadoopの世界で成功するかもしれません。

以下は、Hadoopの才能のプールで泳ぐことに関する他の観察です：

• 組織が求める特定のスキルとその業界での経験を持つ候補者を見つけることは非常に難しいかもしれません。ビジネスセンスは、データサイエンティストやアドバイザリーの役割には、開発やメンテナンスのスタッフよりも重要です。Hadoopの技術的スキルは業界間で移転可能です。
• 組織に参加するHadoop専門家は、雇用した人々や管理する人々よりもビッグデータについて多くを知っているかもしれません。この可能性をすべての当事者が認識し、快適に感じることが重要です。ビッグデータの経験が限られている組織では、ビジネスの観点からアイデアや要求を提示できる能力を持つ候補者を雇うことが重要です。

成功する面接のアイデア

Hadoopコミュニティ内では、様々なコンポーネントの相対的なメリットについて多くの議論と議論があります - 例えば、どれが優れているのか - Pig、SparkまたはHive？組織がMapReduceを使用すべき時期や、代替案を検討すべき時期は？などです。面接官と候補者は、こうした質問に備えておくべきです。多くの場合、明確な正しいまたは間違った答えはなく、効果的な答えとは、候補者が特定の選択肢を好む理由を明確かつ説得力を持って説明できる場合です。それぞれのオプションを好む特定の状況についてコメントすることは、ビジネス要件の理解を示し、候補者が柔軟であることを示唆します。同様に、Hadoopインフラストラクチャの異なるハードウェアと構成オプションについて話す準備をしておきます。

候補者は質問することを恐れないでください。なぜHadoopインフラストラクチャが特定の方法で構成されているのか、なぜ異なる方法や技術が選ばれたのか、ワークロードがどのように構成されているのかなどを尋ねることで、システムを単に維持するのではなく、ビジネスを助けるためにどのように改善できるかを考えていることを示します。

候補者は、見込み雇用者が自分の専門的な発展を支援するかどうかを確認するために掘り下げるべきです。たとえば、候補者を会議に送ったり、認定コースの費用を負担したりすることなどです。質問のリストを準備したり、Hadoop面接の準備をしたりする必要がありますか？こちらのリストをチェックしてください50のHadoop面接質問。

Hadoopガイド

1. 初心者のためのHadoopチュートリアル：Hadoop基本
2. Hadoop管理の紹介
3. Hadoopセキュリティの紹介
4. Apache Flumeの紹介
5. Hiveの紹介
6. HDFSの紹介
7. Hbaseの紹介
8. Hadoopの例：5つの実世界のユースケース
9. Hadoopキャリア：雇用されるために
10. Hadoop面接質問
11. Hadoop分析の紹介
12. Apache Pigの紹介
13. Apache Yarnの紹介
14. Hadoopアーキテクチャの紹介
15. Hadoopの利点と利点
16. Apache CassandraとのHadoopの使用
17. Hadoop vs Kubernetes：K8sとクラウドネイティブはHadoopを終わらせるのか？
18. Hadoop認定
19. Hadoopクラスタ：紹介
20. Hadoopエコシステムとコンポーネント

これらの投稿は私自身のものであり、必ずしもBMCの立場、戦略、または意見を表すものではありません。