Pour ma part, si je publie sur Skiller ou d'autres RS ou blogs, c'est que j'accepte que ma parole soit pu lique et donc puisse être exploitée. À la différence du mail qui est privé. Donc ça me va.
Une petite question : est-ce que les résultats seront anonymisés ? Certain.e.s n'étant pas sur le même positionnement que moi.
Est-ce que nous auront également le retour de ce projet -puisque nous en serons de la matière première ? Avec les explications et analyses qui vont bien, je ne suis pas sûr de maîtriser ce domaine des graphes ni ton sujet.
Est ce que je peux crawler SKILLER pour une expé ?
il y a 8 ans
par
YkCy
Bonjour,
Une question qui s'adresse @MissSkiller et @iomoci parce qu il y a un aspect cgu et BM et à la communauté parce elle est auteure de tout ce contenu.
Je lis skiller depuis qq mois. Etant d'un profil dev, je suis ce Q&R pour penser et préparer la prochaine étape de mon projet.
Je développe une application d'édition collaborative et d'exploration de graph. Je viens d'une équipe universitaire ou nous avons plutot travaillé avec des ressources lexicales et des corpus de page web/documents.
Nous sommes en recherche de sujets d'applications pour que des robots puissent recueillir des données et puissent produire des graphs. On a plutôt envie d'essayer de voir ce que cela nous permet d'apprendre sur des mondes qu on connait en temps que membre ou utilisateur et de se rapprocher de ses communautés.
La dimension et le contenu produit par les membres de Skiller est intéressant et plutot spécifques dans les domaines abordés et sa communauté possède une dynamique.
C'est aussi un monde dans lequel je ne suis pas habile que je découvre et un monde d'intervenants qui s'incarne dans la réalité locale et donc que je suis amené à rencontrer.
En parallèle, nous voulons mener le même genre de projets sur lexique, des données journalistiques et eventuellement sur des projets d'e-démocratie si l'on rencontre les bons partenaires. Ce n'est clairement pas du big data, n'est pas nécessaire pour faire des choses pertinentes avec des graphs on l'espère.
La thématique là c 'est essayer de naviguer dans un corpus de documents de domaines spécifiques en intégrant les structures sociales et les des interactions des membres. .
Rapidement on sait extraire des réseaux sociaux et des communautés ds la communauté. C'est pourquoi la question s'adresse aussi à elle.
4
2
5 réponses
Anonymiser les utilisateurs de cette plateforme serait je crois assez contre-productif.
En guise de données strictement personnelle on ne disposerait que du username.
le reste ce sont les empreintes de l'usage. Questions commentaires, tags, follow, like.
Le like on ne sait pas qui en sont les auteurs ( du moins de mon point de vue, cette données doit exister par ailleurs ds la base de données de Skiller).
Le crawl ne permet pas de recueillir plus d'informations que celles la.
Sur des graph contruits à partir d'un volume de données de la dimension de skiller, l'anonymisation n'a pas trop de sens car il est très facile de revenir aux données sources. Pour illustrer si je construits des bigraphs de user et de questions ou de tags et de user, anonymiser les noms d'utilisateurs ne les anonymise pas longtemps. Il suffit de retrouver sur le site les participants à une question et en arriver très vite à l'dentité réelle ( ici le pseudo a minima ).
Un autre contre l'anonymisation c est qu on perd l'introspection cad la possibilité de `se` retrouver dans le graph. C'est dommage si on pense le coté interactif du graph pour de la navigation ou de l'exploration.
Je serais ravi de communiquer ces avancées et pouvoir lire ou entendre vos retours mais aussi pour déterminer des intentions pour les graphs que l'ont construit. Avec l'idée que l'on construit un graph selon ce que l'on cherche.
Je crois qu il y a beaucoup de valeur ajoutée apportée par les graphs. Ils font prendre conscience que les choses existent par les relations qu'elles ont avec l'extérieure, qu'elles prennent du sens parce qu'elle sont dans un milieu et pas simplement par leurs propriétés.
En guise de données strictement personnelle on ne disposerait que du username.
le reste ce sont les empreintes de l'usage. Questions commentaires, tags, follow, like.
Le like on ne sait pas qui en sont les auteurs ( du moins de mon point de vue, cette données doit exister par ailleurs ds la base de données de Skiller).
Le crawl ne permet pas de recueillir plus d'informations que celles la.
Sur des graph contruits à partir d'un volume de données de la dimension de skiller, l'anonymisation n'a pas trop de sens car il est très facile de revenir aux données sources. Pour illustrer si je construits des bigraphs de user et de questions ou de tags et de user, anonymiser les noms d'utilisateurs ne les anonymise pas longtemps. Il suffit de retrouver sur le site les participants à une question et en arriver très vite à l'dentité réelle ( ici le pseudo a minima ).
Un autre contre l'anonymisation c est qu on perd l'introspection cad la possibilité de `se` retrouver dans le graph. C'est dommage si on pense le coté interactif du graph pour de la navigation ou de l'exploration.
Je serais ravi de communiquer ces avancées et pouvoir lire ou entendre vos retours mais aussi pour déterminer des intentions pour les graphs que l'ont construit. Avec l'idée que l'on construit un graph selon ce que l'on cherche.
Je crois qu il y a beaucoup de valeur ajoutée apportée par les graphs. Ils font prendre conscience que les choses existent par les relations qu'elles ont avec l'extérieure, qu'elles prennent du sens parce qu'elle sont dans un milieu et pas simplement par leurs propriétés.
Je me suis lancé,
et j'ai construit un premier graph social de followers à partir des données accessible par un navigateur.
Un premier car il s'agit vraiment de matière brute peu traitée. J'ai supprimé le profil de MissSkiler ainsi que ceux qui ne suivaient personne. voila tout. les liens sont pas forcement ds le bon sens mais ca donne un aperçu.
La visualisation de ce graph nous en apprend un peu sur la centralité des membres ds ce réseau, qui contient un `noyau dur` tres dense avec les membres qui follows > 100 personnes. Ca mérite un travail plus appronfondit de ce coté pour y voir plus clair.
J'ai pas trop tester coté `narcissique` de ce graph: Ou suis je dans le réseau ? . Ca demande un autre travail sur l'influence en intégrant finement les participations aux échanges. @GhalemOUADJED La peut commencer le traitement automatique du language et sa représentation. Une autre étape qui devrait contenir des objectifs plus affirmés que pour ce graph.
Une autre idée à pousser, serait d'utiliser les tags de questions et les associés aux utlisateurs. Je n'ai pas eu accès a qui suit quels tags dans les données. En revanche, on sait qui post dans une question multi taggée.
La je m'interroge plutôt sur les métriques intéressantes qui complèterait la visualisation. Des idées ?
Pour les données récoltées, j peux les mettre en téléchargement avec le code source qui a permis de les construire.
J aurait besoin d avis sur le où ( github? ) et comment ( licence )
et j'ai construit un premier graph social de followers à partir des données accessible par un navigateur.
Un premier car il s'agit vraiment de matière brute peu traitée. J'ai supprimé le profil de MissSkiler ainsi que ceux qui ne suivaient personne. voila tout. les liens sont pas forcement ds le bon sens mais ca donne un aperçu.
La visualisation de ce graph nous en apprend un peu sur la centralité des membres ds ce réseau, qui contient un `noyau dur` tres dense avec les membres qui follows > 100 personnes. Ca mérite un travail plus appronfondit de ce coté pour y voir plus clair.
J'ai pas trop tester coté `narcissique` de ce graph: Ou suis je dans le réseau ? . Ca demande un autre travail sur l'influence en intégrant finement les participations aux échanges. @GhalemOUADJED La peut commencer le traitement automatique du language et sa représentation. Une autre étape qui devrait contenir des objectifs plus affirmés que pour ce graph.
Une autre idée à pousser, serait d'utiliser les tags de questions et les associés aux utlisateurs. Je n'ai pas eu accès a qui suit quels tags dans les données. En revanche, on sait qui post dans une question multi taggée.
La je m'interroge plutôt sur les métriques intéressantes qui complèterait la visualisation. Des idées ?
Pour les données récoltées, j peux les mettre en téléchargement avec le code source qui a permis de les construire.
J aurait besoin d avis sur le où ( github? ) et comment ( licence )
j ai mis en ligne une image produite à partir de ces données sans les données brutes, pour partager une réalisation autour de ce travail et qu on ai la meme idée qd on en parle.
github.com/ynnk/pdg-skllr
j'espère que cela apportera plus de discussions que de pb. je l enlèverai si ça en pose.
github.com/ynnk/pdg-skllr
j'espère que cela apportera plus de discussions que de pb. je l enlèverai si ça en pose.
C'est bien ce que j'imaginais :) C'est très réussi mais cela ne me semble pas "diffusable" publiquement. On pourrait limiter l'accès à la communauté peut-être... mais j'aimerais vraiment avoir l'avis d'un juriste avant ! Avec un peu de chance, on a un expert du sujet sur Skiller !
ca l est selon 3 aspects :
* les relations des individus. (surlignages de liens `follow` )
* le point de vue : une approche global du reseau ou localisé a partir un point de vue cad une personne ds ce cas la.
* les communauté ds la communauté
Ce qui répond à :
* Comment est le reseau de mon point de vue ?
* ou suis je dans le reseau par rapport au autres ?
* Est ce que ma communauté est structurée et comment ? est ce qu elle contient des sous groupes tres liés ?
* les relations des individus. (surlignages de liens `follow` )
* le point de vue : une approche global du reseau ou localisé a partir un point de vue cad une personne ds ce cas la.
* les communauté ds la communauté
Ce qui répond à :
* Comment est le reseau de mon point de vue ?
* ou suis je dans le reseau par rapport au autres ?
* Est ce que ma communauté est structurée et comment ? est ce qu elle contient des sous groupes tres liés ?
Chère Madame Skiller :) ton questionnement sur publication ou pas est plus que légitime. En même temps le graphe produit offre une opportunité pour skiller par le fait qu'il ouvre la voie à une exploitation optimisé du réseau par les users et aussi par le fait qu'il a préparé un mode de stockage des données "ouvert" tout en conservant un lien entre les données basé sur l'usage. Si @YkCy peut confirmer que son graphe est ouvert? Merci
Ce n 'est pas le mien, il est issu de donnée qui ne m'appartiennent pas. Seulement après un crawl je l'ai construit.
Mes questions sont sur la pertinence, les métriques, le ressenti et le droit qui m'interroge autrement car globalement on a pas l'air de savoir.
Mes questions sont sur la pertinence, les métriques, le ressenti et le droit qui m'interroge autrement car globalement on a pas l'air de savoir.
Bonsoir,
Pour ma part, ça ne me dérange pas. Skiller c'est aider les pros, alors pourquoi pas à travers cette expérience.
Pour ma part, ça ne me dérange pas. Skiller c'est aider les pros, alors pourquoi pas à travers cette expérience.
J'aime beaucoup l'idée !
Par contre, les CGU sont très claires : "Les Contenus sur Skiller sont et restent la propriété des Utilisateurs-auteurs respectifs" (même si elles devraient à nouveau évoluer pour s'adapter à la réalité des usages).
Il faudrait qu'on s'entende sur ce qui pourrait être partagé et publié, vous en pensez quoi les Skilleuses et les Skilleurs ?
Par ailleurs, comme le suggère @gmaison, quid de l'enrichissement de l'expérience par d'autres pros ? @ghalemOuadjed bosse sur la sémantique, ça pourrait l'intéresser en effet ! Qui d'autre ?
Preneur de vos avis les amis !
Par contre, les CGU sont très claires : "Les Contenus sur Skiller sont et restent la propriété des Utilisateurs-auteurs respectifs" (même si elles devraient à nouveau évoluer pour s'adapter à la réalité des usages).
Il faudrait qu'on s'entende sur ce qui pourrait être partagé et publié, vous en pensez quoi les Skilleuses et les Skilleurs ?
Par ailleurs, comme le suggère @gmaison, quid de l'enrichissement de l'expérience par d'autres pros ? @ghalemOuadjed bosse sur la sémantique, ça pourrait l'intéresser en effet ! Qui d'autre ?
Preneur de vos avis les amis !
Hello @gmaison, @oimoci, @YkCy, intéressant en effet et qui peut être fort utile à MissSkiller pour des objectifs bienveillants et produire du sens, une compréhension différente, supplémentaire, complémentaire...
Il faut distinguer principalement deux choses: le "crawl" (collecte?) des données et le résultat des analyses, recoupements, traitements... s'agissant de la collecte l'intérêt des users est que les données soient effacées, supprimées, traitées pour anonymiser, en tout cas qu'il n'y ait plus de liens possibles entre celles ci et les résultats produits (graphes), et pour ce qui concerne le résultat des traitements il faut en déterminer ou en connaître l'exploitation qui en sera faite et peut être produire un accord sur ces bases...
@YcKy, je taf sur la sphère social depuis 2010 en effet, je crawl les média digitaux majeurs, sotcke en rdf, produit des recoupements pour tableaux ainsi qu un traitement de la langue sur le non structuré (tags, co occurrents, concordance, concepts, sentiments +, -, etc...). Si vous le souhaitez, je serais heureux d'échanger :).
Bonne fin de we à tous.
Il faut distinguer principalement deux choses: le "crawl" (collecte?) des données et le résultat des analyses, recoupements, traitements... s'agissant de la collecte l'intérêt des users est que les données soient effacées, supprimées, traitées pour anonymiser, en tout cas qu'il n'y ait plus de liens possibles entre celles ci et les résultats produits (graphes), et pour ce qui concerne le résultat des traitements il faut en déterminer ou en connaître l'exploitation qui en sera faite et peut être produire un accord sur ces bases...
@YcKy, je taf sur la sphère social depuis 2010 en effet, je crawl les média digitaux majeurs, sotcke en rdf, produit des recoupements pour tableaux ainsi qu un traitement de la langue sur le non structuré (tags, co occurrents, concordance, concepts, sentiments +, -, etc...). Si vous le souhaitez, je serais heureux d'échanger :).
Bonne fin de we à tous.
J'ai répondu à un aspect de la question d'anonymisation un peu plus haut, depuis un point de vue d'expérimentateur.
En ce qui concerne les traitements, la production de données et la diffusion, je rejoins, il faut penser à des accords et une licence. Pour la licence, il me semble que c est plutôt du coté de Skiller que ca se passe en accord avec la communauté pour la diffusion.
Sur ce sujet je reste attentif et le débat est lancé.
En ce qui concerne les traitements, la production de données et la diffusion, je rejoins, il faut penser à des accords et une licence. Pour la licence, il me semble que c est plutôt du coté de Skiller que ca se passe en accord avec la communauté pour la diffusion.
Sur ce sujet je reste attentif et le débat est lancé.