** mapreduce eclipse 프로젝트 생성
-- 하둡 소스 프로젝트 참조하는 경우
Java 프로젝트 생성 후
하둡 소스를 import 했다면 (http://yamoe.tistory.com/435)
모든 프로젝트 참조 추가.
(properties -> Jaba Build Path -> Projects-> Add)
주가로 필요한 jar 추가(ex. apache common, ...)
(properties -> Jaba Build Path -> Libraries -> Add External JARs...)
-- 하둡 설치 버전만 있는 경우
Java 프로젝트 생성후 jar 추가
(properties -> Jaba Build Path -> Libraries -> Add External JARs...)
** mapreduce eclipse 프로젝트 원격 디버깅
-- standalone 모드에서 HADOOP_OPTS 옵션 추가 (bin/hadoop 파일 혹은 환경변수 등록)
8000 번 포트 사용.
set HADOOP_OPTS=%HADOOP_OPTS% -Xdebug -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=y
-- MR 실행
> bin\hadoop jar wc.jar net.yamoe.mr.WordCount /user/joe/wordcount/input /user/joe/wordcount/output
-- eclipse 연결
소스에 break point 지정
Debug As > Debug Configurations... > Remote Java Application 에서 Port: 8000 으로 추가 및 실행
** mapreduce eclipse 프로젝트 word count 디버깅 (windows)
hadoop standalone 모드 C:\hadoop-2.7.3에 설치된 경우
debug configuration 설정
-- Environment 탭 환경 변수 추가
HADOOP_HOME = C:\hadoop-2.7.3
PATH = C:\hadoop-2.7.3\bin
(혹은 윈도우 환경변수 설정 후 eclipse 재시작)
-- Arguments 탭 intput/output 경로 입력
C:\hadoop-2.7.3\input C:\hadoop-2.7.3\output
-- break point 및 디버깅 실행
** mapreduce c++ 샘플
https://github.com/alexanderkoumis/hadoop-wordcount-cpp
https://wiki.apache.org/hadoop/C++WordCount
'가지가지' 카테고리의 다른 글
| ambari-2.5.1 컴파일 및 설치 [컴파일 실패] (0) | 2017.06.16 |
|---|---|
| hive-2.1.1 설치 (on hadoop-2.7.3) (0) | 2017.06.15 |
| hadoop 2.7.3 - listen port (0) | 2017.06.12 |
| hadoop 2.7.3 - ubuntu docker + compile + pseudo-distributed (0) | 2017.06.12 |
| hadoop 2.7.3 - 소스 개발환경 (windows, eclipse) (0) | 2017.06.05 |
| hadoop 2.7.3 - windows 컴파일 (use visual studio 2017) (0) | 2017.06.05 |
| docker getstarted + ＠ 명렁어 정리 (0) | 2017.05.12 |
| scala + play 설치 (0) | 2017.02.06 |