Archives de Catégorie: DATA

Stockage et organisation des données

Une promesse est une promesse

Bonjour,

Cela fait longtemps que ne n’ai pas alimenté ces lignes. J’en suis désolé. C’est donc avec pas mal de matière que je reviens vers vous. De plus, j’ai promis cette publication, dont acte. Les deux présentations ci dessous dressent le paysage de l’offre éditeurs dans les domaines concernés.

No SQL 10082015 slide

Hadoop 23102015 slide

Publicités

Poster un commentaire

Classé dans DATA, HADOOP

Mais c’est une mine!!

A la recherche d’un indice sur l’ancienneté des lignes de données sur Oracle, je n’ai pas trouvé ma réponse, mais suis tombé sur un mine d’informations.

Je ne peux donc pas m’empécher de partager ma trouvaille:

http://www.deep-data-mining.com/

1 commentaire

Classé dans DATA

Oracle, mais ou sont mes données?

Voici le fruit d’une réflexion personnelle fort instructive. Pour certains, un SGBD permet de stocker des données et la manière n’est pas intéressante. Pour moi, tant que je ne comprends pas, j’ai l’impression de ne pas maîtriser.

Ainsi, je me propose de répondre à une question de base : ‘C’est quoi cette ligne?‘. Chaque ligne est identifiée par un ROWID, donnée unique pour l’ensemble de la base de données. On peut le lire ainsi:

select ROWIDTOCHAR(rowid), t.*
from table_perso t
where rownum < 100;

Le résultat est aussi moche qu’indigeste. Essayons plutôt de le faire décoder par le moteur:

select DBMS_ROWID.ROWID_OBJECT(rowid) « DB OBJECT »,
DBMS_ROWID.ROWID_RELATIVE_FNO(rowid) « DB FILE »,
DBMS_ROWID.ROWID_BLOCK_NUMBER(rowid) « DB BLOCK »,
DBMS_ROWID.ROWID_ROW_NUMBER(rowid) « DB ROW »,
t.*
from table_perso t
where rownum < 100;

La c’est bien plus instructif, le résultat désigne la table et le fichier de stockage. On sait donc tout sur cette ligne: comment y accéder et ou elle se trouve. On peut rendre le résultat plus sympa encore; pour obtenir la table, on essaiera :

select *
from user_objects
where DATA_OBJECT_ID=
(
select DBMS_ROWID.ROWID_OBJECT(rowid) « DB OBJECT »
from table_perso t
where rownum = 1
);

On peut faire de même sur le fichier de données; on saura exactement où la ligne est stockée sur le serveur; incroyable, non? Pour ceci, voici la requête:

SELECT *
FROM DBA_DATA_FILES
where FILE_ID in
(
select DBMS_ROWID.ROWID_RELATIVE_FNO(rowid) « DB FILE »
from table_perso t
where rownum = 1
);

Maintenant, on peut imaginer le travail du SGBD. Il transforme l’information contenue dans un gros fichier indigeste en table tout en conservant le lien direct vers chaque ligne d’information. Quand j’exécute une requête, je ne peux qu’admirer le travail du moteur…

1 commentaire

Classé dans DATA

Optimisez, bon dieu, optimisez!!!

En surfant sur la toile, j’ai trouvé un petit document concernant l’optimisation de requêtes SQL.

Ce n’est pas une bible, mais il décrit, pour de nombreuses commandes les processus mis en oeuvre, et j’ai bien apprécié.

http://www.cocktail.org/gedfs/courrier/34703/SQL_optimizer.pdf

Poster un commentaire

Classé dans DATA

Big data startup Databricks is now certifying applications for Spark

Spark was created as a processing framework for Hadoop that’s both faster and easier to use than the traditional MapReduce framework, and it’s catching on fast among folks writing big data applications.

Gigaom

Databricks , a new startup dedicated to commercializing the Apache Spark data-processing framework , has launched a « Certified on Spark » program for software vendors that want to tout their abilities to run on the increasingly popular technology. Spark was created as a processing framework for Hadoop that’s both faster and easier to use than the traditional MapReduce framework, and it’s catching on fast among folks writing big data applications.

Spark’s popularity is based on a few factors, including that it supports numerous programming languages (all of which are easier to write in than MapReduce) and supports faster data analysis both in-memory and on disk. It also allows for iterative queries on existing datasets, which — along with its speed — makes it more ideal for machine learning workloads. There are a number of workload-specific implementations on top of Spark, too, including Shark for interactive SQL queries, SparkR for statistical…

View original post 190 mots de plus

Poster un commentaire

Classé dans DATA, HADOOP

Read Only Users Can Lock Tables

NZ DBA

Can a user with only select privileges block transactions?  Yes!

Although this topic has been covered on the interweb already, I thought it was worth a mention because this fact had evaded me (and a team of experienced DBAs) until recently.

A session using an application support account, with resource limits and a « READ_ONLY » role, was found to be blocking another session’s transaction.  The user had selected a row with a popular GUI tool then accidentally clicked on a field in that row, which resulted in a select for update.

I was shocked, so I tried a simple experiment with the lock table command:

17:09:17 SYS@MYDB SQL> create user RO_USER identified by RO_USER; User created. 17:09:56 SYS@MYDB SQL> grant create session to RO_USER; Grant succeeded. 17:10:03 SYS@MYDB SQL> grant select on APP.key_table to RO_USER; Grant succeeded. 17:10:12 SYS@MYDB SQL> conn RO_USER/RO_USER Connected. 17:10:24 RO_USER@MYDB SQL> lock table APP.key_table in…

View original post 40 mots de plus

Poster un commentaire

Classé dans DATA

Redis, travailler en NoSQL pour pas un radis

En fouinant sur la toile, je suis tombé sur le site suivant:
http://redistogo.com/

On peut faire joujou en ligne avec une base NoSQL pour pas un Kopek!
Ni une ni deux, je cherche un tutoriel sur le sujet, et tombe sur un truc vraiement simpe et accessible.
Convaincu par l’ensemble, je ne peux pas m’empêcher de partager.
Enojy:
http://www.barreverte.fr/une-courte-introduction-a-redis

Poster un commentaire

Classé dans DATA