Tse.h
#ifndef _TSE_H_
#define _TSE_H_
#ifndef_STRING_
#define_STRING_
#include<string>
#endif
using namespace std;
const string DATA_FILE_NAME("WebData.db");
const string INDEX_FILE_NAME("WebData.idx");
const string DATA_TIANWANG_FILE("Tianwang.raw");
const string DATA_LINK4SE_FILE("Link4SE.raw");
const string VISITED_FILE("visited.url");
const string UNVISITED_FILE("tse_unvisited.url");
const string UNREACH_HOST_FILE("tse_unreachHost.list");
const string LINK4SE_FILE("link4SE.url");
const string LINK4History_FILE("link4History.url");
const string URL_MD5_FILE("tse_md5.visitedurl");
const string PAGE_MD5_FILE("tse_md5.visitedpage");
const string IP_BLOCK_FILE("tse_ipblock");
const unsigned int NUM_WORKERS= 10;
const unsigned int NUM_WORKERS_ON_A_SITE = 4;
/*============== Include file ==================*/
#ifndef _IOSTREAM_
#define _IOSTREAM_
#include <iostream>
#endif
#ifndef _FSTREAM_
#define _FSTREAM_
#include <fstream>
#endif
#ifndef _STDIO_H_
#define _STDIO_H_
#include <cstdio>
#endif
#ifndef _STDLIB_H_
#define _STDLIB_H_
#include <stdlib.h>
#endif
#ifndef _CSTDLIB_
#define _CSTDLIB_
#include <cstdlib>
#endif
#ifndef _CSTRING_
#define _CSTRING_
#include <cstring>
#endif
#ifndef _DIRENT_H_
#define _DIRENT_H_
#include <dirent.h>
#endif
#ifndef _UNISTD_H_
#define _UNISTD_H_
#include <unistd.h>
#endif
#ifndef _S_DIR_H_
#define _S_DIR_H_
#include <sys/dir.h>
#endif
#ifndef _S_TYPES_H_
#define _S_TYPES_H_
#include <sys/types.h>
#endif
#ifndef _S_STAT_H_
#define _S_STAT_H_
#include <sys/stat.h>
#endif
#ifndef _FTW_H_
#define _FTW_H_
#include <ftw.h>
#endif
#ifndef _ERROR_H_
#define _ERROR_H_
#include <error.h>
#endif
#ifndef_STREAMBUF_
#define_STREAMBUF_
#include <streambuf>
#endif
#ifndef_IOMANIP_
#define_IOMANIP_
#include <iomanip>
#endif
#ifndef_CTIME_
#define_CTIME_
#include <ctime>
#endif
#ifndef_ALGORITHM_
#define_ALGORITHM_
#include <algorithm>
#endif
#ifndef_CCTYPE_
#define_CCTYPE_
#include <cctype>
#endif
#ifndef_VECTOR_
#define_VECTOR_
#include <vector>
#endif
#ifndef_ITERATOR_
#define_ITERATOR_
#include<iterator>
#endif
#ifndef_LIST_
#define_LIST_
#include <list>
#endif
#ifndef_DEQUE_
#define_DEQUE_
#include <deque>
#endif
#ifndef_MAP_
#define_MAP_
#include <map>
#endif
#ifndef_SET_
#define_SET_
#include <set>
#endif
#ifndef_CASSERT_
#define_CASSERT_
#include<cassert>
#endif
#ifndef_SIGNAL_H_
#define_SIGNAL_H_
#include<signal.h>
#endif
#ifndef_SOCKET_H_
#define_SOCKET_H_
#include<sys/socket.h>
#endif
#ifndef_IN_H_
#define_IN_H_
#include<netinet/in.h>
#endif
#ifndef_INET_H_
#define_INET_H_
#include<arpa/inet.h>
#endif
#endif /* _TSE_H_ */