전체 글 썸네일형 리스트형 [APM] Windows 10에서 APM 직접 설치하기 - PHP 편 지난시간에 이어서 APM설치 중 두번째로 PHP를 설치해보고자 한다. PHP 설치라고 했을 때 "PHP"라고 하면 사실 언어 이름이고, 우리가 설치할 이 녀석(?)을 정확히 표현하고자 한다면 아마 "PHP 인터프리터"를 설치한다고 보는 편이 좋을 것 같다. PHP 인터프리터는 클라이언트의 요청에 의해 웹서버 내에 php언어로 작성된 코드를 해석하여 웹서버의 처리 명령을 실행하고 이 결과 값(html 페이지)을 클라이언트로 전송하는 개념으로 생각할 수 있다. 자세한 내용은 다른 좋은 포스팅이 많이 있으니 참고하시면 된다. 바로 설치해보자. 0. Prerequisite php는 설치 전에 VisualStudio 2015용 재배포가능 패키지(VC_redist)를 설치하여야한다. https://www.micro.. 더보기 [APM] Windows 10에서 APM 직접 설치하기 - Apache 편 APM은 웹서버 구현을 위해 사용하는 Apache, PHP, MySQL을 통칭하는 말이다. APM은 각각 독립된 프로젝트이나 서로간의 호환성이 좋아 전통적인 서버 개발에 많이 사용되고 있다. APM을 윈도우에 설치하기 위해서는 여러 가지 방법이 있으나 그중 APM을 구성하는 세가지를 한번에 설치해주고 연동 및 관리해주는 APMsetup이라는 툴이 있었는데 이를 대체해서 나온 AutoSet이라는 것도 있다고 한다. APMsetup이나 AutoSet은 모두 좋은 툴이지만, 리눅스에서 APM을 사용할 때에도 이질감이 없으려면 세가지를 직접 설치 및 연동하는 방법을 어느정도는 알아야한다고 생각하는 편이다. 우리 연구실 홈페이지도 APM을 이용한 간단한 홈페이지를 운영중인데 옛날에 잘 정리해놓은 매뉴얼이 있어 포.. 더보기 [Shell] 쉘프로그래밍으로 초간단 자동 압축해제 프로그램 만들기 우리 연구실은 태양광 관련 연구를 지속하고 있기 때문에 기상 데이터에도 관심이 많다. 의미가 있는 데이터는 어떻게든 다른 데이터와 연관시켜서 분석할 필요가 있기 때문에 닥치는대로 모으고 있다. 최근에는 기상청의 종관기상관측(ASOS, Automated Synoptic Observing System) 데이터를 모으기 위해 기상자료개방포털에서 데이터를 받아본 후 자료형태와 항목 종류 등을 관찰하고 있었다. 그런데 파일셋 조회에서 자료형태, 기간, 지점명을 선택하고 조회를 하면 하나의 지점에 대한 1개월치 데이터를 하나씩 보여주기 때문에 일일이 다운로드를 눌러줘야 하는 불-편함이 있었다. 방대한 데이터를 모으기 위해서는 상당히 비효율적인 구조였다. 이런 사이트를 만나면 누구보다도 불-편해하는 나였기에 자동화 .. 더보기 [Python] PyQt5, Watchdog을 이용한 파일 데이터 실시간 전송 프로그램 만들기 바쁘디바쁜 대학원 생활 속에서 위기의 순간들이 조금은 누그러진 어느날 문득 생각나 오랜만에 블로그를 켜보게 되었다. 나는 사실 블로그를 정보 전달의 목적보다는 나중에 내가 다시 그 일을 수행할 때 시행착오 없이 할 수 있도록 매뉴얼 만들듯이 정리하자는 의미로 처음 시작하게 되었다. 그래서 "나만 알아보면 되지" 라는 마인드로 다소 불친절하게 쓴 경우도 많았다. 그런데 내 생각보다 많은 분들이 온오프라인으로 관심을 가져주시고 피드백도 주셔서, 이에 호응하는 마음으로 연구실 생활하면서 쌓인 작은 경험과 지식을 나누는 일을 조금씩 해보고자 한다. 더불어 기존 포스팅에 부족한 부분이 정말 많이 발견되었다. 이 부분들도 하나씩 개선해서 더 완성도를 높이고자 한다. 많은 관심 바란다. 우리 연구실에서 운용중인 자연.. 더보기 [PySpark] PyCharm에서 PySpark 연동하여 사용하기 보통 pyspark는 zeppelin이나 ipython 환경에서 많이 사용하지만 로컬에서 스파크를 사용해야 할 때는 Pycharm에서 개발해야할 때에도 있다. 최근에 연구실에서 파이썬 기반의 다소 규모가 있는 데이터 분석 시스템 개발 프로젝트를 진행하게 되었는데 나는 이 중 데이터 수집과 분석쪽 기능 개발을 맡았다. 대학원 연구실이 시간을 넉넉하게 주는 편은 아니라 엄청나게 고급진 소프트웨어공학적 이론들을 적용하긴 어렵고, 팀원들과 같이 합의한 내용 중 하나는 pycharm 개발환경을 공통적으로 사용하자는 것이었다. 그래서 데이터 분석에서 spark를 사용하는 나는 pycharm에서 pyspark를 사용하게 되었는데 (기존에도 물론 사용하고 있었지만) 이를 처음 시작할 때 연동하는 방법에 관한 포스팅이 .. 더보기 [HBase] HBase의 HMaster가 작동 안될 때 하둡 기반 시스템에서 HBase를 구축하려고 하는데 이전에 설치했던 경험을 토대로 그대로 진행했는데 HMaster가 자꾸만 안올라간다.로그를 찍어보니 다음과 같다. (...중략)2018-10-16 17:44:01,922 INFO [main] ipc.NettyRpcServer: Bind to /127.0.1.1:160002018-10-16 17:44:01,958 INFO [main] hfile.CacheConfig: Allocating onheap LruBlockCache size=1.54 GB, blockSize=64 KB2018-10-16 17:44:01,962 INFO [main] hfile.CacheConfig: Created cacheConfig: blockCache=LruBlockCache{bl.. 더보기 [Bigdata] Hadoop, Spark, Zeppelin 연동 시스템 구축 요즘 빅데이터를 공부할 때 Hadoop, Spark, Zeppelin을 사용하고 있다. Hadoop은 HDFS로써 데이터 저장소의 역할을 하고, Spark는 분석 엔진의 역할, Zeppelin은 인터페이스의 역할을 한다. 이들을 하나의 서버에서 연동하여 사용하는 시스템을 구축하는 방법을 정리해보고자 한다. 0. Prerequisite 0.1 Ubuntu 우분투는 16.04.5 LTS 버전을 사용하였다. 18 버전이 불안정하다는 다수의 의견이 있어 16 버전을 선택하였다. 0.2 Physical FileSystem structure ubuntu는 UEFI 모드로 설치하였고, 파일시스템은 btrfs 를 사용하였다. 사용할 서버는 SSD 256G, HDD 1TBx2의 저장공간을 가지고 있어서 SSD는 /에 마.. 더보기 [Python] 파이썬 크롤링으로 일출 일몰 데이터 가져오기 우리 대학원 연구실에서는 태양광에 관한 연구를 장기간 진행하고 있기 때문에 하루 중 태양의 노출시간 등이 상당히 중요하다. 그래서 특정 일의 특정 위치에 대한 일출 일몰 시간을 알려주는 프로그램을 작성해야 했는데 이를 알고리즘으로 구현하기보다는 이미 서비스중인 웹페이지를 스크래핑하는 방식을 생각해냈다. 요즘 크롤링(좀더 정확한 의미로는 스크래핑이 맞다고 한다. 그러나 편의상 본 포스팅에서는 크롤링이라는 단어로 사용하고자 한다.) 하면 파이썬으로 이루어진 경우가 많다. 그만큼 크롤링을 할 수 있도록 도와주는 파이썬의 다양한 패키지들이 강력하다는 뜻이다. 본 포스팅에서는 파이썬으로 일출 일몰 데이터를 가져오는 방법을 소개할까 한다. 1. 대상 분석 국내에 있는 가장 정확한 일출일몰 시간을 구할 수 있는 페이.. 더보기 이전 1 2 3 4 다음
