2012/02/15 10:13
2000~2001년 사이에 진행했던 로그분석 솔루션에 대한 아쉬움이 종종 생긴다.
당시 야후나 다음의 대용량 로그 처리가 보통 1일치를 연산하는데 2~3일정도 소요됬었고, 내가 만들었던건 최대 3시간정도 걸렸었는데
이건 DB를 버리고 B-Tree 기반의 저장소를 만듬으로 인해 가능했던 것이었다.
요즘 추세를 보면 나름 Key-Value 형태의 Custom DB라고나 할까.
당시에 통계 정보를 만들어내기 위한 중간 저장소라는 개념이 아닌, DB로 생각했더라면, 또 저장되는 Data의 형태를 Key와 pre-define된 Object의 쌍이 아닌 Key-Value 형태로 생각했더라면...
기술적인 부분에 대한 Deep dive보다 한발 물러나서 일반화시켜보는 것이 중장기적으로 큰 성과를 얻어낼 수 있을 것 같다는 생각도 해보는 오늘이다.
'잡담' 카테고리의 다른 글
| Web Site Analyzer (0) | 2012/02/15 |
|---|---|
| 잠시 망상에 빠져서... (0) | 2012/01/12 |
| 지난 회사에서 작업했던 서비스 Open (0) | 2011/01/31 |
