Имеется программа, которая получает на вход базу данных, выполняет с ней манипуляции и сохраняет отредактированную БД с помощью функции
После чего пытаюсь ее читать с помощью
Подключение к базе данных происходит через
Манипуляций с базой данных происходит слишком много и если кратко, то некоторые столбцы округляются, некоторые делятся на некоторые константы и сохраняются в новые столбцы
Основные функции по ссылке ниже:
pastebin.com
Вопрос заключается в следующем: не могу понять, как можно научить даск читать датафрейм (больших объемов данных - порядка миллиона записей)?
Python:
df.to_csv(filename, index=False, mode='a', compression="gzip")
pbar.update()
Python:
df = dd.read_csv("./genfiles/13_Apr_2022_17_18_04.gz")
Python:
conn = sqlite3.connect('genfiles/13.6.2009.db')Основные функции по ссылке ниже:
Dataframe - Pastebin.com
Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.
Вопрос заключается в следующем: не могу понять, как можно научить даск читать датафрейм (больших объемов данных - порядка миллиона записей)?