Помогите с TensorFlow - tf.keras.utils.get_file

[Maxim_Py]

Ребят, выручайте, почему не работает?

from pathlib import Path
import gdown
import warnings
from pathlib import Path
warnings.filterwarnings("ignore")
#%tensorflow_version 1.x
import tensorflow as tf

# Адрес архива на гугл диске (файл называется "internship_data.tar.gz")
_URL = 'https://drive.google.com/file/d/1-HUNDjcmSqdtMCvEkVlI0q43qlkcXBdK/view?usp=sharing/internship_data.tar.gz'
zip_dir = tf.keras.utils.get_file('internship_data.tar.gz', origin=_URL, extract=True, archive_format='tar')

# В архиве internship_data.tar.gz две папки male и female

base_dir = Path(zip_dir).parent / "internship_data"
male_dir = base_dir / 'male'
female_dir = base_dir / 'female'
male_count = len(list(male_dir.glob("*")))
female_count = len(list(female_dir.glob("*")))
total = female_count + male_count

print('Male images:', male_count)
print('Female images:', female_count)
print("--")
print("Total images:", total)

 

[Abudallil]

import gdown
import warnings
warnings.filterwarnings("ignore")
#%tensorflow_version 1.x
import tensorflow as tf
from pathlib import Path

# Адрес архива на гугл диске (файл называется "internship_data.tar.gz")
_URL = 'https://drive.google.com/file/d/1-HUNDjcmSqdtMCvEkVlI0q43qlkcXBdK/view?usp=sharing/internship_data.tar.gz'
zip_dir = tf.keras.utils.get_file('internship_data.tar.gz', origin=_URL, extract=True, archive_format='tar')

# В архиве internship_data.tar.gz две папки male и female

base_dir = Path(zip_dir).parent / "internship_data"
male_dir = base_dir / 'male'
female_dir = base_dir / 'female'
male_count = len(list(male_dir.glob("*")))
female_count = len(list(female_dir.glob("*")))
total = female_count + male_count

print('Male images:', male_count)
print('Female images:', female_count)
print("--")
print("Total images:", total)

Архив на диске недоступен. Поэтому проверить не получается. В прежнем варианте не была подключена библиотека pathlib

 

[Maxim_Py]

А как понять доступен или нет?
Ведь если я руками нажимаю скачать, то он скачивает...

 

[Abudallil]

Google Drive: Sign-in

Access Google Drive with a Google account (for personal use) or Google Workspace account (for business use).

drive.google.com

в браузере у меня предлагает качать с помощью инсталляции прог. А в коде задействование прог не предусмотрено. Поэтому у меня код выдает все по "0".
И вес под 2Г... Может ссылаться на локалку после скачивания?

 

[Maxim_Py]

Ссылка на гугл диск - это точно, а вес файла не имеет значения так, как метод спецаильно разработан для того, чтобы потом создать
ImageDataGenerator() применить flow_from_directory. Таким образом данные будут качаться батчами

 

[Maxim_Py]

url = 'https://drive.google.com/file/d/1-HUNDjcmSqdtMCvEkVlI0q43qlkcXBdK/view?usp=sharing'
output = 'internship_data.tar.gz'
gdown.download(url, output, quiet=False)

Я еще так пробовал

 

[Abudallil]

Пробовал os.path.dirname вместо Path(zip_dir).parent - все по нулям. Ссылка коннектится. Не работает Untar=True (Extract) или директория Path(zip_dir).parent / "internship_data". Пока не могу сказать.

 

[Abudallil]

при назначении директории для распаковки count = len(list(data.glob('*/*.jpg'))) может указать формат?

 

[Maxim_Py]

при назначении директории для распаковки count = len(list(data.glob('*/*.jpg'))) может указать формат?

Не помогает

 

[Abudallil]

Если коннектится, то со чтением ссылки все в порядке. Значит возможная трабла либо с директорией распаковки или с расширением (.tar, .tgz, .tar.gz), либо все вместе. Попробовать устранить вопрос надо с расширения. Для проверки указать ссылку на скачивание .jpg, затем ,zip. Соответственно в коде временно подправить обращение к Unzip (Untar). Если скачивание в указанные директории будет проходить, то все дело с .tar, .tgz, .tar.gz

 

[Maxim_Py]

ок,
А если я его скачаю себе на комп, то как его лучше читать в таком случае?

 

[Abudallil]

Для примера рекурсивный метод - с поиском в подкаталогах одним запросом:

import os

for file in os.listdir('\\myDir'):

    if file.endswith(".jpg"):
             print(os.path.join('\\myDir', file))

А этот метод с указанием вручную директорий для поиска:

import glob, os

os.chdir("/mydir")
for file in glob.glob("*.jpg"):
    print(file)