@luzluna - luz + luna
벌써 여덟번째 날이 되었습니다. 오늘 소개하려는것은 STF입니다. STF는 원래 프로레스링의 기술 이름입니다. "Stepover Toehold Facelock"의 약자인데 번역하면 '발을 걸고난 뒤 얼굴을 건다'라는 의미입니다. 주로 마지막 기술로 쓰이는 관절기로써 넘어뜨린 상대의 다리를 다리로 잡은 뒤 돌아와서 머리를 잡아서 항복을 받아내거나 상대의 스테미너를 깍아내는 기술입니다. 원래 처음에는 STFU(Shut the Fxxx Up)라는 이름으로 불렸다는데 좀 순화해서 STF로 이름을 바꿨다는군요. 존 시나의 주요 끝내기 기술이라고 합니다.
그림 1. 존 시나의 주요 끝내기 기술 (원본)
정신좀 차려서 원래 하려던 펄 이야기로 좀 돌아오도록 하겠습니다. STF는 원래 STorage Farm의 약자로 시작했는지도 모르겠습니다만 처음 프로젝트를 시작한 사람이 프로레스링 매니아였던 관계로 무시무시한 관절기 이름이 이 소프트웨어에 달리게 되었습니다.
원래 Livedoor에서 블로그나 사진저장 서비스 또는 다른 서비스들에 이미지를 저장할 목적으로 만들어졌습니다. 4억개의 오브젝트(13억개의 엔티티)를 저장하고 있으며 전체 스토리지는 70테라바이트, 피크타임에 400Mbps정도의 트레픽을 처리하고 있다고 합니다. 이렇게 기록된걸 제가 본게 거진 1년전이니까 지금은 조금 더 늘었겠네요.
비슷한 프로젝트로 MogileFS라는 녀석이 오래되었고 충분히 검증되었으며 또 유명합니다. STF의 기본 아이디어는 바로 이 MogileFS에서 시작했습니다. MogileFS와의 차이점은 외형적으로는 모든 통신을 HTTP로 한다는 점과 PSGI를 통해 구현되었다는 점입니다. 하지만 내부를 보면 분석하고 수정하기 힘들던 MogileFS와 달리 STF는 MogileFS의 경험을 살려서 매우 깔끔하게 정리된 상태로 개발되어있다는 점이 가장 큰 차이점입니다.
신생 프로젝트임에도 불고하고 신뢰를 가지고 쓸만하다라고 추천하는데에는 잘 정리된 코드라서 버그가 발생할 가능성이 낮다라는 점과 혹시라도 버그가 발생하더라도 적은 노력으로 충분히 Fix가 가능하다라는 점 때문이었습니다.
일단 github에서 소스를 다운받습니다.
$ git clone git://github.com/stf-storage/stf.git
그리고 혹시 필요한 패키지들이 설치되어있지 않다면 mysql, memcached를 설치합니다.
$ apt-get install mysql-server $ apt-get install libmysqlclient-dev $ apt-get install memcached $ apt-get install libwww-perl $ apt-get install nginx
CentOS에서는 아마도 아래와 같이 설치해줍니다.
$ yum install mysql-server $ yum install mysql-devel $ yum install memcached $ yum install perl-libwww-perl
nginx 설치는 웹사이트 설치 문서를 참고합니다.
이제 필요한 CPAN 모듈을 설치해줍니다. DBD::mysql은 테스팅과정에서 오류가 있어서 아래와 같이 cpan쉘에 들어간 후 notest를 통해 강제로 설치해줍니다.
$ cpan Terminal does not support AddHistory. cpan shell -- CPAN exploration and modules installation (v1.9800) Enter 'h' for help. cpan[1]> notest install DBD::mysql ... cpan[1]> exit Terminal does not support GetHistory. Lockfile removed.
그리고나면 나머지 모듈들은 그냥 주욱 설치해줍니다.
$ cpan Mouse $ cpan Math::Round $ cpan Parallel::ForkManager $ cpan Scope::Guard $ cpan Log::Minimal $ cpan Furl $ cpan Cache::Memcached::Fast $ cpan Data::FormValidator $ cpan Data::Localize $ cpan Data::Page $ cpan Digest::MurmurHash $ cpan Email::MIME $ cpan Email::Send $ cpan HTML::FillInForm::Lite $ cpan HTTP::Parser::XS $ cpan Net::SNMP $ cpan Parallel::Scoreboard $ cpan Plack $ cpan Plack::Middleware::Reproxy $ cpan Plack::Middleware::ReverseProxy $ cpan Plack::Middleware::Session $ cpan Plack::Middleware::Static $ cpan Proc::Guard $ cpan Router::Simple $ cpan SQL::Maker $ cpan STF::Dispatcher::PSGI $ cpan Starlet $ cpan String::Urandom $ cpan YAML $ cpan Text::Xslate $ cpan Data::Dumper::Concise $ cpan Cache::Memcached
휴... 꽤나 오래 걸리네요.
STF는 총 3가지 종류의 Queue를 사용할 수 있도록 되어있습니다. 아마도 livedoor에서 사용중인것으로 보이는 Q4M이 디폴트이고 Perl로 되어있는 TheSchwartz와 최근에 추가된 Redis를 이용하는 큐인 Resque가 있습니다.
q4m을 이용하는 방법도 나오지만 mysql 5.1버전전용밖에 없는 문제가 있습니다. 대신 TheSchwartz보다 메모리를 조금 덜 먹는것 장점이 있습니다. Resque는 테스트해보지 않아서 잘 모르겠지만 Ruby로 되어있어서 일단 무시하고 지나갑니다.
Q4M은 별도로 소프트웨어를 설치해야되고 Mysql이 5.1이상버전은 안되는것같고 이러저러한 이유로 안되겠고, Resque는 아무래도 2개이상의 언어로 운영환경이 되면 유지보수에 불편함이 있으니 안되겠습니다.
일단 여기서는 순수하게 Perl로 되어있는 Job Queueing System인 TheSchwartz를 사용하도록 하겠습니다. 일단 cpan으로 TheSchwartz를 설치하구요.
$ cpan TheSchwartz
root로 mysql에 로그인하여
$ mysql -u root -p mysql Enter password: Reading table information for completion of table and column names You can turn off this feature to get a quicker startup with -A Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 51 Server version: 5.5.28-1 (Debian) Copyright (c) 2000, 2012, Oracle and/or its affiliates. All rights reserved. Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. mysql>
TheSchwartz에서 사용할 Database를 생성하구요.
mysql> create database stf CHARACTER SET = 'utf8'; Query OK, 1 row affected (0.00 sec)
TheSchwartz에서 사용할 사용자 계정을 추가합니다.
mysql> GRANT ALL PRIVILEGES ON stf.* TO stfuser@localhost IDENTIFIED BY 'stfpasswd';
권한을 Flush한뒤에
mysql> FLUSH PRIVILEGES;
일단 TheSchwartz에서 사용할 DB 스키마를 로드합니다.
스키마 파일은 stf/misc
디렉토리 아래에 stf_schwartz.sql
에
있습니다.
$ cd stf/misc $ mysql -u stfuser -p stf Enter password: stfpasswd mysql> source stf_schwartz.sql Query OK, 0 rows affected (0.02 sec) ... Query OK, 0 rows affected (0.02 sec)
이왕 DB 로그인한거 STF에서 사용할 스키마도 덤으로 로드합니다. 같은 디렉토리에
stf.sql
이라는 이름으로 들어있습니다.
mysql> source stf.sql Query OK, 0 rows affected (0.03 sec) Query OK, 1 row affected (0.00 sec) ... Query OK, 0 rows affected (0.01 sec)
나중에 Admin UI에서 접근할때 필요한 public URI 정보를 잠시 추가로 넣어놓습니다.
mysql> REPLACE INTO config (varname, varvalue) VALUES ("stf.global.public_uri", 'http://localhost');
이제 환경을 조금 손보면 실행해볼 수 있습니다!
일단 stf
디렉토리로 돌아온 뒤에
$ cd ..
STF_HOME
을 설정하고
$ export STF_HOME=`pwd`
STF가 접속할 id와 password를 설정해줍니다.
export STF_MYSQL_USERNAME=stfuser export STF_MYSQL_PASSWORD=stfpasswd
TheSchwartz가 사용할 DB와 id, password도 설정해줍니다.
export STF_QUEUE_TYPE=Schwartz export STF_QUEUE_DSN=dbi:mysql:dbname=stf export STF_QUEUE_USERNAME=stfuser export STF_QUEUE_PASSWORD=stfpasswd
이제 스토리지 서비스의 백그라운드 작업을 할 Worker들을 띄웁니다.
여러 호스트에서 워커를 띄우려면 STF_HOST_ID
를 호스트마다 꼭 다르게 설정해야
됩니다.
export STF_HOST_ID=1 ./bin/stf-worker &
스토리지를 추가하고 관리를 하기위해 Admin UI를 실행합니다. DB에 직접 접속해서 할수도 있겠지만 그건 귀찮고 어려우니까 당연히 UI를 씁니다.
기본 설정파일(etc/config.pl
) 에는 아래와같이 세션 쿠키에 대한 설정이 특정
도메인으로 https로 접속할때만 동작하도록 되어있습니다. 별건 아니지만 디폴트가
일본어라 메뉴 영어로 보려면 쿠키설정을 해야됩니다.
https와 도메인 설정을 지금 할수는 없으니 설정파일을 일단 아래와 같이
바꿔줍니다.
# Session state configuration 'AdminWeb::Session::State' => { path => "/", #domain => "admin.stf.your.company.com", expires => 86400, httponly => 1, #secure => 1, },
그리고나서 9000번 포트로 Admin 페이지를 띄웁니다.
plackup -p 9000 -a etc/admin.psgi &
그림 2. Admin 페이지 (원본)
뭐 정석은 여러대의 스토리지 노드를 준비해놓고 각각 호스트마다 스토리지 서비스를 띄우는거겠지만 여기서는 테스트니까 디렉토리 3개 만들고 스토리지 서비스 3개를 다른포트로 띄워줍니다.
mkdir ../stf_storage1 export STF_STORAGE_ROOT=`pwd`/../stf_storage1 plackup -a $STF_HOME/etc/storage.psgi -p 8888 & mkdir ../stf_storage2 export STF_STORAGE_ROOT=`pwd`/../stf_storage2 plackup -a $STF_HOME/etc/storage.psgi -p 8889 & mkdir ../stf_storage3 export STF_STORAGE_ROOT=`pwd`/../stf_storage3 plackup -a $STF_HOME/etc/storage.psgi -p 8890 &
Storage Cluster 메뉴에 들어가서 우측 상단의 + 버튼을 눌러서 스토리지 클러스터 추가
여기서 ID는 1로, Name은 test Mode로 그대로 두고, rw로 놓고 추가합니다.
그림 3. 스토리지 추가 (원본)
이번에는 Storage Nodes 메뉴에 들어가서 Create 버튼을 누른 뒤 아래와 같이 추가해줍니다.
ID URI Mode Cluster 1 http://127.0.0.1:8888 rw test 2 http://127.0.0.1:8889 rw test 3 http://127.0.0.1:8890 rw test
(주의: http://127.0.0.1:8888 IP로 추가해야함. localhost로 넣으면 나중에 reproxy설정에 dns를 세팅해야되는 문제가 있음 귀찮으니 그냥 IP로 합니다.)
그림 4. IP 추가 (원본)
이제 실제 파일을 업로드 받거나 다운로드 해주는 Dispatcher를 실행합니다.
plackup -p 8080 -a /path/to/dispatcher.psgi &
Dispatcher는 파일을 다운받을때 직접 파일을 서빙하지 않고 뒤에 달린 스토리지 노드에 실제 다운로드 주소만 넘겨주게 됩니다. 그렇기 때문에 실제 사용하려면 apache나 혹은 nginx의 reproxy기능을 이용해서 사용자가 뒤의 스토리지 노드를 알아차리지 못하도록 만들어줍니다.
apache의 mod_reproxy를 사용하는 방법도 있습니다만 일단 여기서는 러시아의 힘을 믿고 nginx로! /etc/nginx/sites-enabled/default 파일을 열어서 server 설정 끝부분에 추가해줍니다. nginx패키징에 따라서는 그냥 /etc/nginx/nginx.conf 파일일수도 있겠네요.
server { ... location /bucket { proxy_pass http://127.0.0.1:8080; } location = "/reproxy" { internal; #resolver 127.0.0.1; # set up a proper resolver set $reproxy $upstream_http_x_reproxy_url; proxy_pass $reproxy; # inherits Content-Type header proxy_hide_header Content-Type; } }
/bucket
이라는 이름으로 시작하는 경우에만 서빙하도록 설정했습니다. 다른 이름의
버킷을 이용하려면 별도로 추가해주거나 전용 파일 서비스라면 그냥 모든
디렉토리(/
)에 대해 다 걸어주면 됩니다.
스토리지 노드를 IP가 아닌 localhost 혹은 hostname 혹은 FQDN으로 주었을 경우
resolver 위치에 주석을 풀고 제대로 된 DNS값으로 줘야됩니다.
# service nginx restart Restarting nginx: nginx.
완성!
일단 bucket이라는 이름으로 버킷을 만들어봅니다. 버킷은 PUT으로 만들고
컨텐츠는 없어야 됩니다. 바로 Ctrl+D
를 눌러서 빠져나오면 만들어집니다.
$ lwp-request -m PUT http://localhost/bucket Please enter content (text/plain) to be PUTed: # (Press Ctrl+D here so you don't send any content)
이미지 파일을 하나 올려보도록 하겠습니다.
$ cat seoulpm_bigger.png | lwp-request -m PUT http://localhost/bucket/seoulpm_bigger.png
텍스트 파일도 올려봅니다.
$ lwp-request -m PUT http://localhost/bucket/text Please enter content (text/plain) to be PUTed: # (Press Ctrl+D here so you don't send any content) test
파일을 받아봅니다.
$ lwp-request http://localhost/bucket/text
이번엔 삭제.
$ lwp-request -m DELETE http://localhost/bucket/seoulpm_bigger.png
http://localhost:9000으로 들어가서 테스트 해보시면 됩니다. 괜히 귀찮게 커맨드라인에서 했네요.
그림 5. 버킷 리스트 보기 메뉴 (원본)
그림 6. 새 버킷 추가 (원본)
그림 7. 버킷 보기 (원본)
그림 8. 파일(오브젝트) 올리기 메뉴 (원본)
그림 9. 올려진 파일(오브젝트) 관리 메뉴 (원본)
스토리지 노드를 plackup -a etc/storage.psgi -p 8888
와 같이 실행하고
있습니다만 실제 GET, HEAD, PUT, DELETE 이외에는 하는일이 없습니다.
별도의 스토리지 노드 프로세스를 띄울필요 없이 그냥 nginx설정만으로
스토리지 노드를 만들면 성능과 안정성면에서 훨씬 좋을 것 같습니다.
한번 도전해보세요!
Articles by
Seoul Perl Mongers,
Artwork by
Yura Lee
Designed by
Yura Lee
& Hojung Youn,
Edited by
Hojung Youn,
JellyPooo
& Keedi Kim.