그러니까, 4.5GB
얼마 전에 썼던 글에서 말한 데이터를 처리하기 위해 요 며칠 또 코딩 중인데, 역시나, 데이터가 엄청나게 커졌다. 전부 55570 개의 데이터 중 대략 3000 개가 중요하게 나왔는데, 내가 하고 싶은 것은 중요하게 나온 것 중에는 중요하지 않게 나온 것이랑 sync 가 되는 게 있을 것 같아서 그것을 확인하고 싶었다. 그래서, 대략 5만 곱하기 3천, 해서 1억5천만 개 중 특정 조건을 만족하는 것만을 골라 내서, 그것들에 대해서만 PCC 를 계산하기로 하고, 그렇게 특정 조건을 만족시키는 것을 뽑아 보려고 했다. 그런데, 1%도 채 못가서 결과 파일이 2GB 를 넘어 가서 중간에 중단. 안되겠다 싶어서, 그냥 3천개 중에서 pair 로 했을 때 나오는 것들에 대해서만 sync 가 일어나는 것을 찾기로..
2011. 9. 16.