점프와 쉼없는 나아감

지난 5월 30일 금요일에 서울대 엔지니어링 하우스에서 platformday 2008 행사가 있었다.  하루 업무를 빼먹고 참가했는데 나름 괜찮게 얻어온 게 있는 거 같다.

• 다음의 대용량 파일 처리에 관한 발표가 인상 깊었다.  일반적인 해결 방법을 찾는 거라서 결국 다른 시스템과 비슷한 상식적인 시스템이라 할 수 있겠지만, 실제 시스템을 개발하고 운영하면서 부딪혔던 문제점과 경험을 들을 수 있었다는데서 많은 시사점을 얻을 수 있었다.
• 야후의 예는 별로 건질만한 것이 없었고 다만 hadoop 시스템이 실제로 업무에 사용되고 있다는 걸 확인하는 정도였다.  NHN의 Neptune은 우리도 BigTable을 구현해봤다 정도일까? 실제 서비스에 적용되어 사용되고 있는 예는 없었다.  다만 BigTable 류의 데이터 저장소는 지금 내가 고민하고 있는 것에는 맞지 않다는 정도?
• NexR 의 발표는 인터페이스에 치중한 면이 있는데, 아마 Map Reduce를 실제 문제에 적용하여 푸는 일이 많아진다면 꽤 괜찮은 솔루션이 될 거 같은 느낌이 들었다.  프로그래머가 아닌 기획자나 분석가가 타겟이랄까?
• ETRI에서 발표한 파일 시스템은 좀 어중간하다는 느낌이 들었다.  웹 서비스용으로 굳이 posix API를 지원할 필요가 있을까하는 의문이 있다.  웹 서비스용이라면 그보다는 다른 면(동적으로 copy 본의 갯수를 늘리는 것 등)에 집중하는 게 옳지 않을까 생각한다.

그외 느낀 점이라면

• 맥을 쓰는 사람이 많았다.  맥으로 프리젠테이션도 많이 했다.
• 많은 이들이 나와 비슷한 고민을 하고 있다는 사실을 알았다. 여러 사람들과 고민을 공유할 통로를 마련해보고 싶다.
• BigTable은 Map/Reduce를 위한 데이터스토어인 거 같다.  일반 DB의 대용으로 쓰자면 좀더 고민해야 할 듯하다.
• 자신의 시스템이 직면한 문제점이 무엇인지 그것부터 정리하는 게 시스템 구축의 시작인 거 같다.  솔루션을 정하고 그것에 맞추는 것이 아니라 문제를 먼저 정의해야 하는 것이다.
• Map/Reduce는 성능보다는 모델링 및 개발이 편리하다는 점에 의의가 있는 거 같다.
• 플랫폼에 관련된 문제에서 앞으로 트랜잭션 처리에 관한 부분이 이슈가 될지도 모르겠다. 이에 관한 고민도 좀 해야 할 듯.