Apache Hadoop은 빅 데이터에 대한 분산 컴퓨팅을 위한 오픈 소스 솔루션입니다.
빅 데이터는 검색 엔진, 포인트 카드 등을 통해 추적되는 식료품점 구매 패턴과 같은 소스에서 마이닝된 데이터의 전체 개념을 포괄하는 마케팅 용어입니다. 현대 사회에서 인터넷에는 수많은 데이터 소스를 처리하지 않고는 스케일을 사용할 수 없게 만드는 경우가 많으며 한 서버에서 처리하는 데 엄청난 시간이 소요됩니다. Apache Hadoop 입력
데이터 처리 시간 단축
Hadoop 아키텍처를 활용하여 네트워크의 여러 컴퓨터에 처리 작업을 분산함으로써 처리 시간이 천문학적으로 줄어들고 적절한 양으로 답을 결정할 수 있습니다. 시간. Apache Hadoop은 스토리지 구성 요소와 처리 구성 요소의 두 가지 구성 요소로 나뉩니다. 가장 간단한 용어로 Hapood는 여러 물리적 시스템에서 하나의 가상 서버를 만듭니다. 실제로 Hadoop은 여러 컴퓨터 간의 통신을 관리하므로 마치 하나의 컴퓨터가 계산 작업을 하는 것처럼 보일 정도로 긴밀하게 함께 작동합니다. 데이터는 여러 컴퓨터에 분산 저장되어 저장되고 처리 작업은 Hadoop 아키텍처에 의해 할당되고 조정됩니다. 이러한 유형의 시스템은 원시 데이터를 빅 데이터 입력 규모에 대한 유용한 정보로 변환하기 위한 요구 사항입니다. 검색 요청을 입력하는 사용자로부터 초당 Google이 수신하는 데이터의 양을 고려하십시오. 전체 데이터 덩어리로서 어디서부터 시작해야 할지 모를 수 있지만 Hadoop은 자동으로 데이터 세트를 더 작고 조직화된 데이터 하위 집합으로 줄이고 이러한 관리 가능한 하위 집합을 특정 리소스에 할당합니다. 모든 결과는 다시 보고되고 사용 가능한 정보로 조합됩니다.
설정하기 쉬운 서버
시스템이 복잡해 보이지만 대부분의 움직이는 부분이 추상화 뒤에 가려져 있습니다. Hadoop 서버를 설정하는 것은 매우 간단합니다. 시스템 요구 사항을 충족하는 하드웨어에 서버 구성 요소를 설치하기만 하면 됩니다. Hadoop 서버에서 가장 어려운 부분은 컴퓨터 네트워크를 계획하는 것 저장 및 처리 역할을 분산하기 위해 활용합니다. 여기에는 근거리 통신망을 설정하거나 인터넷을 통해 여러 네트워크를 함께 연결하는 작업이 포함될 수 있습니다. 또한 기존 클라우드 서비스를 활용하고 Microsoft Azure 및 Amazon EC2와 같은 인기 있는 클라우드 플랫폼에서 Hadoop 클러스터 비용을 지불할 수 있습니다. 이들은 임시로 가동한 다음 더 이상 필요하지 않을 때 클러스터를 해제할 수 있으므로 구성하기가 훨씬 쉽습니다. 이러한 유형의 클러스터는 Hadoop 클러스터가 활성화된 시간에 대해서만 비용을 지불하므로 테스트에 이상적입니다.
필요한 정보를 얻기 위해 데이터를 처리합니다.
빅 데이터는 매우 강력한 자원이지만 적절하게 분류되어 정보로 전환되지 않는 한 데이터는 쓸모가 없습니다. 현재 Hadoop 클러스터는 이러한 데이터 수집을 정보로 처리하기 위한 매우 비용 효율적인 방법을 제공합니다.
