DDDsa

1. Определяем виды и структуру документов. Для парсинга потребуются либо ключевые слова (например первое число после фразы "Высота:" или вся строка после фразы "Задание: ") либо расположение абзацев, знаков (Например, последний абзац — всегда описание или список, начинающийся с - или * — это перечень материалов и т д). Если структура произвольная, то тут два выхода:
- либо сохраняем весь текст целиком (но тут сложный поиск не реализовать);
- либо обрабатываем вручную каждый документ (трудоёмко, если документов много).

2. Выбираем язык, который больше нравится; ищем для этого языка библиотеки для работы с нужными форматами (doc, PDF) или способы выкрутиться, например, сконвертировать в другой формат, с которым работать удобнее и т д.

3. Выбираем БД и библиотеку для работы с ней нашего языка. Создаём схему (таблицы), которая соответствует задаче.

4. По определённой в пункте 1 структуре начинаем парсить документы. Сначала берём один документ и пишем парсер для него, потом пытаемся примерить этот парсер для другого документа — понимаем, что нужно изменить, расставляем условия и т д. В итоге должен получиться набор данных, вроде массива объектов, где каждый объект — распарсенный документ.

5. Сохраняем полученный массив объектов в БД, по пути правим схему, потому что наверняка в п. 3 мы учли не всё.

6. По сути, на этом можно закончить, далее поиск можно осуществлять запросами, средствами БД. Но если интересно, или если данными будут пользоваться другие люди — можно написать интерфейс. Это уже следующая большая задача: выбор интерфейса и его реализация.

Если любой тег, то вот так:
r'<(\w+)([\s\S]+?)<\/\1>'
При этом вернётся два значения, тег и его содержимое:

>>> tables = re.findall(r'<(\w+)([\s\S]+?)<\/\1>', s)
>>> tables
[('table', ' id=1>\n    <tr>\n        <td>Some Text</td>\n    </tr>\n'), ('table', ' id=2>\n    <tr>\n        <td>Some Text</td>\n    </tr>\n')]

Если нужно вытаскивать только тег table (или других точно не будет), тогда вот так:
r'<table([\s\S]+?)<\/table>'

Пример:

>>> tables = re.findall(r'<table([\s\S]+?)<\/table>', s)
>>> tables
[' id=1>\n    <tr>\n        <td>Some Text</td>\n    </tr>\n', ' id=2>\n    <tr>\n        <td>Some Text</td>\n    </tr>\n']

Такая?

А вообще, их много в поиске

Во-первых, после in не нужно двоеточие.
Во-вторых, в коде вы оба раза читаете не построчно, а посимвольно. read() возвращает строку со всем содержимым файла целиком. Вам нужен метод readlines(), он вернёт список строк файла.

Но в python есть способ прочитать файл построчно, не загоняя его в память целиком, просто запустите цикл по открытому файлу for line in file.

А лучше всего вот так:

with open('test.txt', 'r') as f:
     for l in f:
             print(l)

a = [[i, i*100] for i in range(15000)]
b = [[i, i*110] for i in range(15000)]
c = {}

for i in a+b:
    c.setdefault(i[0], []).append(i[1:])

Так, например?

UPD: с точки зрения транжирства ресурсов наверное правильнее вместо for i in a+b сделать два цикла, для a и для b. Так мы не будем выделять память под новый бесполезный список только чтобы код смотрелся лаконичнее. Но 15000 подсписков — это, в общем, ерунда и особо заморачиваться не стоит.

А как вы будете посредством питона определять новые записи? Они как-то помечены в файле? Или вы на каждую запись будете делать селект из базы, чтобы проверить, есть она там или нет?
Если помечены, то проще в питоне выбирать только новые и загружать их в базу. Если не помечены, то двадцать тысяч селектов для проверки актуальности будет работать гораздо медленнее чем один большой инзёрт во временную таблицу и потом сравнение средствами самой базы.

Любой БД-менеджер (PL/SQL developer, SQL developer, DataGrip и т д) умеет сохранять результаты запроса в xls или csv, некоторые умеют даже выгружать всю базу. Выполните запрос и поищите кнопку экспорта.

Что касается дат, то всё зависит от того, в каком формате дата хранится в базе. Если DATE, то скорее всего ничего делать не надо будет. Если в текстовом или в TIMESTAMP, то придётся сконвертировать функциями CONVERT, CAST, TO_DATE или другой подходящей.

Если дадите больше вводных (каким бд-менеджером пользуетесь, примеры данных), могу конкретизировать : )