Mlflow arka uç (SQLite) ve artifact (Azure Blob Depolama) depolarını ayarlama

Mlflow'u aşağıdaki bileşenlere sahip olacak şekilde kurmak istiyorum :

• Arka uç deposu (yerel): Mlflow varlıklarını (run_id, params, metrics) depolamak için yerel olarak bir SQLite veritabanı kullanma...)
• Artifact store (uzak): çıktı dosyalarını (sürümlenmiş veri kümeleri, seri hale getirilmiş modeller, resimler,...) modelimle ilgili
• İzleme sunucusu: bu komut gibi görünen bir şey kullanarak

z

mlflow server --backend-store-uri sqlite:///C:\sqlite\db\mlruns.db --default-artifact-root wasbs://container-name@storage_account_name.blob.core.windows.net/mlartifacts -h 0.0.0.0 -p 8000

Nerede mlruns.db, Sqlite'da (db klasörünün içinde) oluşturduğum bir veritabanıdır ve mlartifacts, tüm çıktı dosyalarını almak için blob kapsayıcısının içinde oluşturduğum klasördür.

Bu komutu çalıştırıyorum ve sonra mlflow'u çalıştırıyorum (ya da Kedro'yu kullandığım gibi bir kedro çalıştırıyorum) ama neredeyse hiçbir şey olmuyor. Veritabanı 12 tablo ile doldurulur, ancak Veri gölünün içinde hiçbir şey yokken hepsi boştur.

İstediğim şey belgelerde Senaryo 4'e benzemelidir.

Eser deposu için ayrıntılı talimatlar bulamadım. Burada Mlflow'un belgelerine bakmaya çalıştım ama bu çok yararlı değil (hala yeni başlayanım). Öyle derler :

MLflow, Azure Depolama erişimi kimlik bilgilerini AZURE_STORAGE_CONNECTION_STRING, AZURE_STORAGE_ACCESS_KEY ortam değişkenlerinde veya kimlik bilgilerinizin DefaultAzureCredential () olacak şekilde yapılandırılmasını bekler. sınıf onları alabilir.

Ancak, env değişkenlerini eklerken bile, veri gölünde hiçbir şey depolanmıyor gibi görünüyor. İki env değişkenini oluşturdum (Windows 10'da):

• AZURE_STORAGE_ACCESS_KEY = wasbs://container-name@storage_account_name.blob.core.windows.net/mlartifacts

• AZURE_STORAGE_CONNECTION_STRING = DefaultEndpoıntsProtocol = https; AccountName = depolama örneği; AccountKey=. Azure Portalında bu yolu izleyerek aldım: Depolama hesabı/Erişim anahtarları / Bağlantı dizesi (anahtar 2'den birini aldı).

Ayrıca şunu da belirtiyorlar: :

Ayrıca, Azure Blob Depolama Alanına erişmek için pıp ınstall azure-storage-blob'u ayrı ayrı (hem istemcinizde hem de sunucuda) çalıştırmanız gerekir. Son olarak, DefaultAzureCredential kullanmak istiyorsanız, azure-ıdentity pip yüklemeniz gerekir; MLflow varsayılan olarak bu paketlere bağımlılık bildirmez.

Bunları proje gereksinimlerime ekledim, ancak hem istemciye hem de sunucuya yükleyerek tam olarak ne anlama geliyorlar ? Azure kimliği kurulumda nasıl yardımcı olur ?

Lütfen tüm kurulumun nasıl yapılacağına ilişkin adım adım talimatlar konusunda bana yardımcı olabilir misiniz ?

Şimdiden teşekkür ederim .