환경 : OS X 10.12.2(16C67) 파이썬 공부를 하다보니 IDE를 설치해야하는데.. 기존 사용하고 있는 Intelij로도 부족함은 없었으나 뭔가.. 아쉬운 감이 있었다. 그래서 다른 IDE를 찾다보니 Pycharm을 권장하시는 분들이 많다. 물론 파이썬은 수행하는 방법에 다양한 방법이 있긴 하지만 많이 사용하는데에는 이유가 있다고 생각하여.. 일단 깔아본다... -_-;;; ㅋㅋ URL : https://www.jetbrains.com/pycharm/ 아시는 분은 알겠지만 intelij와 같은 회사인 JetBrain에서 제공하는 IDE이다. 우리는 돈이 없기 때문에 Community version 으로 셋업하면 무료로 사용이 가능하다. 차이는 ( https://www.jetbrains.com/..
HDP 및 기타 hadoop을 설치하는 경우에 해당 기능이 on/off되어 있는지 물어보는 경우가 종종 있다. 뭔가.. 하고 찾아보니 다음과 같다 . https://access.redhat.com/documentation/ko-KR/Red_Hat_Enterprise_Linux/6/html/Performance_Tuning_Guide/s-memory-transhuge.html 즉 메모리관리에 있어 Page에 접근하는 application에 대용량 size의 page를 쉽게 접근하기 위한 기능이다. 이론적으로는 성능향상을 기대할 수 있으나.. 실상은 많은 부분 해당 기능을 Off하도록 권장하고 있다. 실제 테스트를 해보니.. 전후대비 약 10%의 성능향상을 보인다. 적용하는 방법은 간단하다. 1) 온라인 적..
set spark.home=/location/to/sparkHome;export SPARK_HOME=/usr/hdp/2.4.2.0-xyz/spark/libLink the spark-assembly jar to HIVE_HOME/lib.set hive.execution.engine=spark; set spark.home=/location/to/sparkHome;export SPARK_HOME=/usr/hdp/2.4.2.0-xyz/spark/libLink the spark-assembly jar to HIVE_HOME/lib. set hive.execution.engine=spark;set spark.home=/usr/hdp/2.5.0.0-1245/spark;set spark.master=yarn-clien..