CSV Import and Media Importing with File Sideload?

carlj · March 27, 2017, 11:29pm

Has anyone had success with the beta-2 CSVImport module using Sideload? That is I configure the field name (csv column) Media Import settings to use the Sideload option for importing files?

I’m testing with dc.source with Media Import property of Sideload. On individual items I can succesfully use Sideload and attach files to items from my Uploads directory but I thought the Sideload option under CSVImport would work for batch loads where it would be immensely useful.

So far no luck, I get new records created with metadata but no files attached.

Thanks.

Carl

patrickmj · March 28, 2017, 12:01am

Thanks. First tests looked good, but we’ll look into this. Is there anything in the job’s log?

carlj · March 30, 2017, 11:06pm

Sorry for the delayed response. Is this helpful at all? From the log (seems to repeat for each item):

Stack trace:
#0 /var/www/html/omeka-s/application/src/Api/Adapter/AbstractEntityAdapter.php(287): Omeka\Api\Adapter\AbstractEntityAdapter->hydrateEntity(Object(Omeka\Api\Request), Object(Omeka\Entity\Item), Object(Omeka\Stdlib\ErrorStore))
#1 /var/www/html/omeka-s/application/src/Api/Manager.php(344): Omeka\Api\Adapter\AbstractEntityAdapter->batchCreate(Object(Omeka\Api\Request))
#2 /var/www/html/omeka-s/application/src/Api/Manager.php(218): Omeka\Api\Manager->executeBatchCreate(Object(Omeka\Api\Request), Object(Omeka\Api\Adapter\ItemAdapter))
#3 /var/www/html/omeka-s/application/src/Api/Manager.php(92): Omeka\Api\Manager->execute(Object(Omeka\Api\Request))
#4 /var/www/html/omeka-s/modules/CSVImport/src/Job/Import.php(85): Omeka\Api\Manager->batchCreate(‘items’, Array, Array, true)
#5 /var/www/html/omeka-s/modules/CSVImport/src/Job/Import.php(63): CSVImport\Job\Import->createEntities(Array)
#6 /var/www/html/omeka-s/application/src/Job/Strategy/SynchronousStrategy.php(37): CSVImport\Job\Import->perform()
#7 /var/www/html/omeka-s/application/src/Job/Dispatcher.php(105): Omeka\Job\Strategy\SynchronousStrategy->send(Object(Omeka\Entity\Job))
#8 /var/www/html/omeka-s/application/data/scripts/perform-job.php(43): Omeka\Job\Dispatcher->send(Object(Omeka\Entity\Job), Object(Omeka\Job\Strategy\SynchronousStrategy))
#9 {main}
2017-03-16T05:59:59+00:00 ERR (3): exception ‘Omeka\Api\Exception\ValidationException’ in /var/www/html/omeka-s/application/src/Api/Adapter/AbstractEntityAdapter.php:438
Errors:
{
“o:media”: [
{
“ingest_filename”: [
“No ingest filename specified”
]
}
]
}

patrickmj · March 31, 2017, 1:00pm

Thanks. It’s possible, but by no means certain, that other recent fixes in CSVImport could fix this.

It looks like somehow the file names in that column aren’t being read in. There are a couple places where that could happen.

Could you post up the first two or three rows of the CSV file you are using?

carlj · March 31, 2017, 4:27pm

Below are first 2 rows with header. I’m on a Mac and this is .csv exported from Excel (originally created on Windows). I could also update my version of CSVImporter if there’s a new version and/or give another file a try (fix line endings, etc.)

–

Topic,Image,DC Creator,DC Date,DC Description,Topic,DC Coverage temporal,MMEDIA filename,Production date,Renovation date,JPEG ID,Demolition Date,web info,DC Coverage spatial,Parents,Subject: People,Subject: Topics,Children,Subject: Topics: Vie Quotidienne,DC Type,Address,GIS Location
Cartographie,I096H.jpg,inconnu,inconnu,"Cartographie
VdP #Plan quartier historique du Marais#

-La ‘Grande Gouache’ (1512 1547)

-Le plan de Braun (vers 1550)

XVIe Plan de Olivier Truschet et Germain Hoyau, (1551)Repro. autorise d’aprs fac-simile, edit par les Editions Seefeld AG Zrich, vente en France Firmin Didot, Paris

-Le plan de Boisseau lev de 1649 1652

-Le plan de Gomboust 1652.

-Le plan de Paris au XVIe, dit de Saint-Victor, reproduit en 1736

-Le plan de Bullet et Blondel 1670-76

-Plan du dbut du XVIIIe extrait des ‘Oisivets de M. de Vauban.’

XVIIIePlan de Turgot (1738) divers extraits , tres revelateur de la hauteur des habitations.
-Plan de Verniquet, publi en 1791, qui devait servir de base une grande opration d’urbanisme dcide en 1783.
XIXePlan ministriel des fortifications autour de Paris, vers 1840, premieres tudes pour les fortifications de Thiers.

-Srie de plans modernes qui reconstituent l’volution de la ville depuis le Ier siecle jusqu’ recemment. Cartographie Rene Muller C.N.M.H.S.

-‘Systme de l’Architecture urbaine’ Paris C.N.R.S.1977 par F. Boudon, A.Chastel, H.Couzy, F. Hamon,1-fin XIVe, 2-dbut XVIIIe, 3-XIXe. voir si le Marais est abord

-Plan de Paris indiquant les zones inondes en 1910 et rappelant les zones d’inondation de 1658. M. Boreux (1910) B.H.V.P.

-Plan de la chausse romaine entre la rue de Birague et la rue des Tournelles dress a l’occasion des fouilles du Mtropolitain, 1899 M. Boreux (1910) B.H.V.P.

",Cartographie,mar000565_lrg.jpg,RAS,RAS,I096H,RAS,Le Marais,Cartographie,“Cartographie Ancien Rgime
Cartographie des origines
Cartographie du XXe
Cartographie Moyen Age”,“Engraving/Illustration
Gravure / Illustration”,Marais,

‘Premier plan de Paris’,I074H.jpg,A. Coquart,1705,"'Premier plan de Paris’
BN.2 n¼11078#C5570 Premier Plan de la ville de Paris par A. Coquart 1705#

‘Description’
‘Cette petite ville que les Gaulois nommaient Lutce tait la capitale de la province des Parisiens, l’une des 64 qui composaient tout l’Etat des Gaules. Elle tait renferme dans l’une des les de la Seine, le ct du Nord couvert d’un Marais et d’un bois et celui du Midi, une partie en prs et le reste aussi en marais et en bois. Ses maisons taient de forme ronde bties de bois et de terre, couvertes de roseaux ou de paille et sans chemines.
Camulogne en tait le gouverneur ou souverain magistrat lorsque les Romains en firent la conqute, l’an du Monde 3998 et 56 ans avant JC.’

",‘Premier plan de Paris’,mar000552_lrg.jpg,RAS,RAS,I074H,RAS,Cartographie des origines,Cartographie,“Engraving/Illustration
Gravure / Illustration”,Paris,

patrickmj · March 31, 2017, 5:00pm

This seems to have lost the CSV structure to try to test things. If you could copy and past directly from your CSV file, then select what you paged and click the </> icon to format it as code, that’ll help me try to reproduce the issue. Thanks.

carlj · March 31, 2017, 6:20pm

Let’s try again. Excerpt from .csv file exported from Excel then opened and saved with text editor (TextMate) with UTF8 encoding and LF line endings. I selected the pasted text and clicked on the ‘pre-formatted text’ icon, is that the icon you mean?

Topic,Image,DC Creator,DC Date,DC Description,Topic,DC Coverage temporal,MMEDIA filename,Production date,Renovation date,JPEG ID,Demolition Date,web info,DC Coverage spatial,Parents,Subject: People,Subject: Topics,Children,Subject: Topics: Vie Quotidienne,DC Type,Address,GIS Location
Cartographie,I096H.jpg,inconnu,inconnu,"Cartographie
VdP #Plan quartier historique du Marais#

-La 'Grande Gouache' (1512  1547)

-Le plan de Braun (vers 1550)

- XVIe Plan de Olivier Truschet et Germain Hoyau, (1551)Repro. autorise d'aprs fac-simile, edit par les Editions Seefeld AG Zrich, vente en France Firmin Didot, Paris

-Le plan de Boisseau lev de 1649  1652

-Le plan de Gomboust 1652.

-Le plan de Paris au XVIe, dit de Saint-Victor, reproduit en 1736

-Le plan de Bullet et Blondel 1670-76

-Plan du dbut du XVIIIe extrait des 'Oisivets de M. de Vauban.'

- XVIIIePlan de Turgot (1738) divers extraits , tres revelateur de la hauteur des habitations.
-Plan de Verniquet, publi en 1791,  qui devait servir de base  une grande opration d'urbanisme dcide en 1783. 

- XIXePlan ministriel des fortifications autour de Paris, vers 1840, premieres tudes pour les fortifications de Thiers.

-Srie de plans modernes qui reconstituent l'volution de la ville depuis le Ier siecle jusqu' recemment. Cartographie Rene Muller C.N.M.H.S.

-'Systme de l'Architecture urbaine' Paris C.N.R.S.1977 par F. Boudon, A.Chastel, H.Couzy, F. Hamon,1-fin XIVe, 2-dbut XVIIIe, 3-XIXe. voir si le Marais est abord

-Plan de Paris indiquant les zones inondes en 1910 et rappelant les zones d'inondation de 1658. M. Boreux (1910) B.H.V.P.

-Plan de la chausse romaine entre la rue de Birague et la rue des Tournelles dress a l'occasion des fouilles du Mtropolitain, 1899 M. Boreux (1910) B.H.V.P.

",Cartographie,,mar000565_lrg.jpg,RAS,RAS,I096H,RAS,,,Le Marais,,Cartographie,"Cartographie Ancien Rgime
Cartographie des origines
Cartographie du XXe
Cartographie Moyen Age",,"Engraving/Illustration
Gravure / Illustration",Marais,
'Premier plan de Paris',I074H.jpg,A. Coquart,1705,"'Premier plan de Paris'
BN.2 n¼11078#C5570 Premier Plan de la ville de Paris par A. Coquart 1705#

'Description'
'Cette petite ville que les Gaulois nommaient Lutce tait la capitale de la province des Parisiens, l'une des 64 qui composaient tout l'Etat des Gaules. Elle tait renferme dans l'une des les de la Seine, le ct du Nord couvert d'un Marais et d'un bois et celui du Midi, une partie en prs et le reste aussi en marais et en bois. Ses maisons taient de forme ronde bties de bois et de terre, couvertes de roseaux ou de paille et sans chemines.
Camulogne en tait le gouverneur ou souverain magistrat lorsque les Romains en firent la conqute, l'an du Monde 3998 et 56 ans avant JC.'


",'Premier plan de Paris',,mar000552_lrg.jpg,RAS,RAS,I074H,RAS,,,Cartographie des origines,,Cartographie,,,"Engraving/Illustration
Gravure / Illustration",Paris,
"'L'htel de Sens, Moyen Age'",F033H.jpg,Tristan de Salazar,inconnu,"'L'htel de Sens, Moyen Age'
JLC.NB# l'htel de Sens au M.A.#

Gargouille et statue de vierge  l'enfant, du couvent de l'Ave-Maria.
Maison  colombages,  gauche, bornes le long de l'htel.

PLUS INFO:
Gouttires et conduites d'eau
L'htel de Sens
Le couvent de l'Ave-Maria
Le style gothique
Le XIXe et le Moyen Age
Les rues au Moyen Age
Les tourelles d'angle","'L'htel de Sens, Moyen Age'","1474-1519
15e sicle",mar000354_lrg.jpg,1474-1519,"1507, 1843, 1934-1960",F033H,1790,,"Hotels
Htels","Gouttires et conduites d'eau
L'htel de Sens
Le couvent de l'Ave-Maria
Le style gothique
Le XIXe et le Moyen Age
Les rues au Moyen Age
Les tourelles d'angle",,"Architecture
Commerce",,,"Engraving/Illustration
Gravure / Illustration","1, rue du Figuier",

patrickmj · April 3, 2017, 12:34pm

Thanks. That does help. Am I understanding correctly that there are two columns that refer to images from File Sideload (Image and MMedia file)? If so, that’s a case that I hadn’t thought about, and is possibly the cause of problems. It’ll take some investigation to test that.

carlj · April 3, 2017, 4:44pm

Hi,

I’m in fact only using ‘MMedia Filename’ to refer to the image files for Sideload. I’m not sure what the ‘Image’ column is referring to.

Thanks for all your efforts. I’ll try to test with the latest version of the CSVImporter module as soon as possible. Well, just tried installing the latest CSVImport module but it’s not compatible with Omeka-S beta 2 (needs beta 3, which is not out yet).

Carl