Pytorch-fogyókúra a mesternél · foolwoodpytorch-fogyókúra · GitHub
A GitHub több mint 50 millió fejlesztőnek ad otthont, amelyek együttesen működnek együtt kódok befogadásában és felülvizsgálatában, projektek kezelésében és szoftverek építésében.
A GitHub az, ahol a világ szoftvereket épít
Fejlesztők és vállalatok milliói építik, szállítják és tartják karban szoftverüket a GitHubon - a világ legnagyobb és legfejlettebb fejlesztői platformján.
pytorch-fogyókúra/prune.py /
Nem található definíció ebben a fájlban.
- Ugrás a T fájlra
- Menj az L sorra
- Menj az R definícióhoz
- Útvonal másolása
| import os |
| import argparse |
| import fáklya |
| import fáklya. nn mint nn |
| fáklyától. autograd import változó |
| torchvision import adatkészletekből, transzformációkból |
| vgg importból vgg |
| importálja a számot np-ként |
| # A metszés beállításai |
| parser = argparse. ArgumentParser (leírás = 'PyTorch Slimming CIFAR prune') |
| elemző . add_argument ('--dataset', type = str, default = 'cifar10', |
| help = 'edzés adatkészlet (alapértelmezett: cifar10)') |
| elemző . add_argument ('--test-batch-size', type = int, default = 1000, metavar = 'N', |
| help = 'bemeneti kötegméret a teszteléshez (alapértelmezett: 1000)') |
| elemző . add_argument ('--no-cuda', action = 'store_true', alapértelmezett = Hamis, |
| help = 'letiltja a CUDA képzést') |
| elemző . add_argument ('--percent', type = float, alapértelmezett = 0.5, |
| help = 'skála ritka arány (alapértelmezett: 0.5)') |
| elemző . add_argument ('--model', alapértelmezett = '', type = str, metavar = 'PATH', |
| help = 'elérési út a nyers képzett modellhez (alapértelmezett: nincs)') |
| elemző . add_argument ('--save', alapértelmezett = '', type = str, metavar = 'PATH', |
| help = 'út az aszalt szilva modell mentéséhez (alapértelmezett: nincs)') |
| args = elemző. parse_args () |
| érvel. cuda = nem érvel. no_cuda és fáklya. cuda. elérhető () |
| model = vgg () |
| ha érvel. cuda: |
| modell. cuda () |
| ha érvel. modell: |
| ha os. pálya . isfile (arg. modell): |
| nyomtatás ("=> ellenőrzőpont betöltése '<>'". formátum (érvelési modell)) |
| ellenőrzőpont = fáklya. terhelés (arg. modell) |
| érvel. start_epoch = ellenőrzőpont ['korszak'] |
| best_prec1 = ellenőrzőpont ['best_prec1'] |
| modell. load_state_dict (ellenőrzőpont ['state_dict']) |
| print ("=> betöltött ellenőrzőpont '<>' (epoch <>) 1. prek .:" |
| . formátum (arg. modell, ellenőrző pont ['korszak'], legjobb_prec1)) |
| más: |
| nyomtatás ("=> a '<>'" formátumban nem található ellenőrző pont (arg. folytatás)) |
| nyomtatás (modell) |
| összesen = 0 |
| m-re modellben. modulok (): |
| ha isinstance (m, nn. BatchNorm2d): |
| összesen + = m. súly . adatok. alak [0] |
| bn = fáklya. nullák (összesen) |
| index = 0 |
| m-re modellben. modulok (): |
| ha isinstance (m, nn. BatchNorm2d): |
| méret = m. súly . adatok. alak [0] |
| bn [index:( index + méret)] = m. súly . adatok. abs (). klón () |
| index + = méret |
| y, i = fáklya. rendezés (milliárd) |
| thre_index = int (összesen * arg. százalék) |
| thre = y [thre_index] |
| metszett = 0 |
| cfg = [] |
| cfg_mask = [] |
| k, m esetén felsoroljuk (modell. modulok ()): |
| ha isinstance (m, nn. BatchNorm2d): |
| súly_másolat = m. súly . adatok. klón () |
| maszk = súly_másolat. abs (). gt (három). úszó (). cuda () |
| metszett = metszett + maszk. alak [0] - fáklya. összeg (maszk) |
| m. súly . adatok. mul_ (maszk) |
| m. Elfogultság . adatok. mul_ (maszk) |
| vö. függelék (int (fáklya. összeg (maszk))) |
| cfg_mask. függelék (maszk. klón ()) |
| print ('réteg index: \ t teljes csatorna: \ t fennmaradó csatorna:' . |
| formátum (k, maszk. alak [0], int (fáklya. összeg (maszk)))) |
| elif izinstance (m, nn. MaxPool2d): |
| vö. függelék ('M') |
| metszett_arány = metszett/összesen |
| nyomtatás ('Sikeres előfeldolgozás!') |
| # egyszerű tesztmodell a metszés előfeldolgozása után (egyszerű BN skálák nullára állítása) |
| def teszt (): |
| kwargs = < 'num_workers': 1, 'pin_memory': True >ha érvel. cuda más <> |
| teszt_töltő = fáklya. utils. adatok. DataLoader ( |
| adatkészletek. CIFAR10 ('./data', vonat = Hamis, transzformáció = transzformáció. Írja ([ |
| átalakul. ToTensor (), |
| átalakul. Normalizálás ((0,5, 0,5, 0,5), (0,5, 0,5, 0,5))])), |
| kötegelt_méret = érvel. test_batch_size, shuffle = True, ** kwargs) |
| modell. eval () |
| helyes = 0 |
| Adatok esetén célozzon a test_loader programban: |
| ha érvel. cuda: |
| adatok, cél = adatok. cuda (), cél. cuda () |
| adatok, cél = változó (adatok, volatilis = igaz), változó (cél) |
| output = modell (adatok) |
| pred = kimenet. adatok. max (1, keepdim = True) [1] # megkapja a maximális log-valószínűség indexét |
| helyes + = pred. eq (cél. adatok. view_as (pred)). CPU (). összeg () |
| print ('\ n Tesztkészlet: Pontosság: <>/<> (%) \ n'. formátum ( |
| helyes, len (test_loader. adatkészlet), 100. * helyes/len (test_loader. adatkészlet))) |
| return return/float (len (test_loader. adatkészlet)) |
| teszt () |
| # Készítsen valódi metszést |
| nyomtatás (cfg) |
| newmodel = vgg (cfg = cfg) |
| új modell . cuda () |
| layer_id_in_cfg = 0 |
| start_mask = fáklya. egyek (3) |
| end_mask = cfg_mask [layer_id_in_cfg] |
| [m0, m1] esetén zip-ben (modell. modulok (), újmodell. modulok ()): |
| ha isinstance (m0, nn. BatchNorm2d): |
| idx1 = np. nyomja (np. argwhere (np. asarray (end_mask. cpu (). numpy ()))) |
| m1. súly . adatok = m0. súly . adatok [idx1]. klón () |
| m1. Elfogultság . adatok = m0. Elfogultság . adatok [idx1]. klón () |
| m1. futás_érték = m0. running_mean [idx1]. klón () |
| m1. futás_var = m0. running_var [idx1]. klón () |
| layer_id_in_cfg + = 1 |
| start_mask = end_mask. klón () |
| ha a layer_id_in_cfg len (cfg_mask): # nem változik a Final FC-ben |
| end_mask = cfg_mask [layer_id_in_cfg] |
| elif izinstance (m0, nn. Conv2d): |
| idx0 = np. összenyomni (np. argwhere (np. asarray (start_mask. cpu (). numpy ()))) |
| idx1 = np. nyomja (np. argwhere (np. asarray (end_mask. cpu (). numpy ()))) |
| print ('Formában: Out shape:'. formátum (idx0. alak [0], idx1. alak [0])) |
| w = m0. súly . adatok [:, idx0,:,:]. klón () |
| w = w [idx1,:,:,:]. klón () |
| m1. súly . adatok = w. klón () |
| # m1.bias.data = m0.bias.data [idx1] .clone () |
| elif izinstance (m0, nn. Lineáris): |
| idx0 = np. összenyomni (np. argwhere (np. asarray (start_mask. cpu (). numpy ()))) |
| m1. súly . adatok = m0. súly . adatok [:, idx0]. klón () |
| fáklya. megment (< 'cfg': cfg, 'state_dict': newmodel . state_dict ()>, érvel. megment ) |
| nyomtatás (newmodel) |
| model = newmodel |
| teszt () |
- Sorok másolása
- Másolja a permalinket
- Tekintse meg a hibát
- Hivatkozás az új számban
Jelenleg nem hajthatja végre ezt a műveletet.
Egy másik füllel vagy ablakkal jelentkezett be. Töltse be újra a munkamenet frissítéséhez. Kijelentkezett egy másik fülön vagy ablakban. Töltse be újra a munkamenet frissítéséhez.