BigData & Bases de données
il y a 6 ans par HoferPO

Bonjour,

Je suis un peu surpris qu'un 1GB dépasse la capacité d'Excel (specifications). Je pense que la difficulté tient davantage à l'organisation des données elle-même ou de la puissance de votre PC.

Dans un premier temps, j'utiliserai des outils de BI comme Qlik sense (ou Qlik view) ou Tableau. Quand on est pas des spécialistes des outils décisionnels, ils sont trés intuitif... (les autres outils comme B.O. ou Cognos me semble moins facile d'accés.

Je commencerai donc par télécharger la version Qlik Sense Desktop qui est gratuite. Si cela fonctionne vous oublierez Excel

Si cela ne fonctionne pas et j'utiliserai une base MySQL à la place d'Access. Le plus simple pour un test est de télécharger un environnement comme XAMPP qui vous proposera en local un serveur Apache, PHP et MySQL clé en main. L'interface PHPmyadmin vous aidera pour les requêtes sur la base et les outils comme Qlik ou Tableau fonctionnent très bien. Mais à ce point, le nécessité d'un développement commencera à se faire plus pressante...parce que même si cela marche, c'est quand même "spartiate"

Je ne vous cache pas que les performances de votre machine en particulier la RAM vont faire la différence.

Bonjour,

Il est clair que Access et/ou Excel on des limites techniques et ce entre autres sur la capacité volumétrique. Donc quid des bases de données big data.

Sauf que ce sont de bon outils pour faire de l'analyse de données spécifiques et/ou de l'extraction depuis des bases données relationnels. Quand je parle de base de données relationnel, je parle de système en mesure de gérer des contraintes relationnel et en la matière il existe de très nombreux produits.

Tous sont plus ou moins capables de gérer des volumétries conséquentes, il s'agit plus souvent d'une question d'organisation et de manière intrinsèque d'infrastructure informatique.

N'hésitez pas à revenir vers moi, si vous souhaitez échanger pour avancer sur votre problématique.

La solution la plus simple quand on doit traiter de gros fichiers, c'est tout simplement de les découper. Il existe une multitude de programmes pour cela. Des commerciaux. Des gratuits. Il n'y a qu'à se servir.

Par exemple, pour votre fichier CSV, vous pourriez utiliser dessus le programme gratuit HJSplit  ( www.hjsplit.org/ ) dont il existe aussi bien des versions Windows, Linux et Mac (et même PHP, OS/2, Amiga, etc.). Bien qu’en anglais, le programme reste très simple d’utilisation, même pour le non-informaticien.

Je rappelle, au besoin, que le format CSV, ce n'est ni plus ni moins qu'un fichier texte dont les données ont été organisées d'une certaine manière. Il peut donc très facilement être découpé par n'importe quel programme dédié, justement, à la coupe. C'est moins vrai avec les formats Excel et Access qui sont, à la base, des formats propriétaires. Ils nécessitent donc la présence d'un entête spécifique pour pouvoir être lus correctement. Quant au format CSV, sachez qu’il a été pensé dès le début dans une optique de portabilité. C’est donc plus un format de transition qu'un format d'exploitation (comme peut l'être le DOC, le XLS, etc).

Voilà. J’espère avoir répondu à votre question.
Je reste au besoin à votre disposition si vous avez besoin de plus amples précisions.

Il existe PowerQuery pour Excel qui permet de le booster dans le traitement de données.

support.office.com/fr-fr/article/Pr%C3%A9senta...

Par contre, l'add-on ne fonctionne pas avec certaines versions d'Excel.

Bonjour,

Comme les collègues ont déjà donné de très bonnes réponses sur les outils disponibles pour traiter des fichiers au cas par cas, je vais me concentrer sur l'étape suivante : quand on veut gérer ces fichiers avec une continuité dans le temps (gérer les versions).

Nous utilisons pour beaucoup d'application la solution ElasticSearch qui est spécialisée en BigData. Couplée à Kibana qui est un outil de visualisation adhoc (développé par la même société), vous avez un outil d'une très grande puissance pour interroger vos données et même programmer des tableaux de bord. Les temps de réponse sont bluffants !

En utilisant des solution de gestion de flux (ETL comme Talend ou le plus récent Airflow par exemple), vous pourrez gérer les imports successifs au gré des versions.

Néanmoins, cette approche requiert des développements et de l'hébergement.