indexador.cpp

Ir a la documentación de este archivo.

// vim: set expandtab tabstop=8 shiftwidth=8 foldmethod=marker:
#include <iostream>
#include <iomanip>
#include <list>
#include <vector>
#include <fstream>
#include <istream>
#include <unistd.h>


using namespace std;

#include "Operaciones.hpp"




unsigned long MAXG = 50000000;

bool metainformacion=true;

int main(int argc, char *argv[])
{
        if (argc < 5) {
                cerr<<"Se esperaban al menos 4 argumentos, el primero indice por crear, indice temporal, dominio por agregar como prefijo y los siguientes textos por leer"<<endl;
                exit(1);
        }
        vector<Doc> idocs;
        char noma[1024], nomt[1024], nomrel[1024], pref[1024];

        verificaNombre(argv[1], nomrel);
        snprintf(noma, 1000, "%s", argv[1]);
        snprintf(nomt, 1000, "%s", argv[2]);
        snprintf(pref, 1024, "%s", argv[3]);
        //cerr<<"noma="<<noma<<endl;

        char *cm = getenv("MT77MAXG");
        if (cm != NULL) {
                MAXG = atol(cm);
        }
        if (MAXG <= 10) {
                cerr<<"El valor de MT77MAXG no es aceptable" << endl;
                exit(1);
        }
        if (strcmp(nomt, noma) == 0) {
                cerr<<"Indice por crear y temporal deben ser diferentes" << endl;
                exit(1);
        }
        vector<unsigned int> grupo; // Índice donde termina cada grupo en idocs
        unsigned long tg = 0 ; // Tamaño del grupo actual
        for (int i = 4; i < argc; i++) {
                FILE *f = NULL;
                if ((f = fopen (argv[i],  "rb")) == NULL) {
                        cerr << "No existe el archivo '" << argv[i] <<
                        "'" << endl;
                } else  {
                        fseek(f, 0L, SEEK_END);
                        unsigned long sz = ftell(f);
                        fclose(f);
                        //clog << "i=" << i << ", argv[i]=" << argv[i] << ", sz=" << sz << endl;
                        if (sz > MAXG) {
                                cerr << "El archivo " << argv[i] << " es demasiado grande (" << sz << " bytes), no se indexará." << endl;
                        } else {
                                idocs.push_back(Doc(argv[i], "", "1960-01-01"));
                                if (tg + sz > MAXG) {
                                        grupo.push_back(idocs.size()-2);
                                        tg = sz;
                                } else {
                                        tg += sz;
                                }
                        }
                        //clog << "tg=" << tg << endl;
                }
        }
        if (idocs.size() > 0) {
                grupo.push_back(idocs.size() - 1);
        }

        char *nomi[2];  // Nombres de indice y de temporal en el orden correcto para que en la última iteración el índice generado quede en el del indice
        if (grupo.size() % 2 == 1) {
                nomi[0] = noma;
                nomi[1] = nomt;
        } else {
                nomi[0] = nomt;
                nomi[1] = noma;
        }

        string tipo = "otro";
        string formato;
        NodoTrieS *t;
        unsigned int nd = 0; // indice del documento procesado
        try {
                for (unsigned int g = 0; g < grupo.size(); g++) {
                        //clog << "OJO indexando grupo g=" << g << " que termina en " << grupo[g] << endl;
                        t = new NodoTrieS();
                        while (nd <= grupo[g]) {
                                //clog << "OJO indexando nd=" << nd << endl;
                                indexa(idocs[nd], nd + 1, metainformacion, pref,
                                       *t, tipo, formato);
                                nd++;
                        }
                        //cerr<<"idocs.size="<<idocs.size()<<endl;

                        if (g == 0) {
                                //clog << "OJO escribiendo primer grupo en " << nomi[g % 2] << endl;
                                fstream os(nomi[g % 2], ios_base::out);
                                os << MARCAIND << endl;
                                escribePlanoStream(t, os);
                                os.close();
                        } else {
                                //clog << "OJO escribiendo grupo g=" << g << " en " << nomi[g % 2] << endl;
                                fstream os(nomi[g % 2], ios_base::out);
                                fstream is1(nomi[(g + 1) % 2], ios_base::in);

                                verificaIndice(is1);
                                is1.clear();

                                os << MARCAIND << endl;
                                mezclaDiscoRam(is1, t, 0, os, true, true,
                                               NULL, NULL);
                                is1.close();
                                os.close();
                        }
                        delete t;
                }
                if (grupo.size() > 0) {
                        //clog << "OJO escribiendo relacion de documentos" << endl;
                        escribeRelacion(nomrel, idocs, NULL);
                }
        } catch (string m) {
                cerr << noma << ":" << m;
                exit(1);
        }

        return 0;
}

---