إستخراج البيانات من صفحات الإنترنت

alirebaie — Thu, 02 Jul 2015 09:13:36 +0000

ما هو المقصود من التجريف؟

وفقا للمعني في المعجم فهي تشير الي الازالة (على سبيل المثال الطبقة الخارجية) من السطح عن طريق ضربات قوية بأداة خشنه أو حادة بينما تجريف الويب يشار اليه في الويكيبيديا كبرنامج كمبيوتر يقوم باستخراج المعلومات من شبكات الإنترنت. تجريف شبكة الإنترنت هو عملية جمع المعلومات من الشبكة العالمية تلقائيا من أجل تقليل الحاجة للبحث اليدوي وتقليل عمليات النسخ واللصق من المواقع.

وبالتالي فان التجريف يصف الطريقه التي يتم بها استخراج البيانات المخفية في الوثائق – مثل صفحات الويب وملفات بي دي إف وجعلها صالحة للاستخدام لإضافة المزيد من المعالجة عليها. ويعتبر التحقيق في البيانات من المهارات الأكثر فائدة اذا تم العمل بها – وهي ليست صعبة بشكل خاص في أغلب الاحيان. وللقيام بأبسط سبل التجريف فأنك لا تحتاج حتى إلى معرفة كيفية كتابة التعليمات البرمجية

مقدمه مختصرة الي لغة الإتش تي إم إل

ان معرفه بنية موقع على شبكة الانترنت هو الخطوة الأولى نحو استخراج واستخدام البيانات. ولهذا السبب من المفيد أن تتعلم القليل عن لغة الإتش تي إم إل

ان الحصول على البيانات من المواقع قد تبدو معقدة قليلا في البداية – ولكن اطمئن فبمجرد قيامك بها عدة مرات سوف تصبح متشابهة. ولاستخراج البيانات من المواقع نحن بحاجة إلى القاء نظرة خاطفة علي كود الإتش تي إم إل الأساسي. لا تقلق لا تحتاج لفهم كل التفاصيل منه فقط ما يجعلك قادرا على القيام بذلك

الإتش تي إم إل هي اختصار للغة توصيف النص التشعبي وهي اللغة المستخدمة لوصف (علامات الترميز) صفحات الويب. وهي اللغة الأساسيه لانتشاء محتوى صفحه الويب. الإتش تي إم إل نفسها لا تحدد الطريقة التي تبدو عليها الأمور – فهي تساعد فقط في تصنيف المحتوى والهيكل. لذلك دعونا نلقي نظرة خاطفة على بعض المواقع

قم بفتح موقع يحتوي علي قائمه بكل نواب برلمان المملكة المتحدة بمتصفح جوجل كروم

http://www.parliament.uk/mps-lords-and-offices/mps/

انتقل لأسفل إلى قائمة النواب

انقر بزر الفارة الأيمن على أحد الإدخالات

حدد

Inspect Element

سوف يقوم الكروم بفتح مساحه ثانوية في أسفل الصفحه ليظهر الكود الاساسي للأتش تي إم إل والذي يركز علي العنصر الذي قمت باختياره

الاقواس المدببه هي وسوم الإتش تي إم إل

قم بتحريك الفارة الي أعلي والي أسفل ولاحظ كيف يمكن للكروم تعريف كل عنصر

يمكنك توسيع وطي قطاعات معينة من خلال النقر على المثلثات

هل لاحظت شيئا ما ؟ كل صف في القائمة الطويلة للنواب هو ضمن قطاع واحد من حيث تشير الي صف من الجدول

الاسماء والدوائر في وسوم حيث تشير td الي جدول البيانات اي أننا نتعامل هنا مع جدول

اذا قمت بتمرير الفارة الي أعلي القائمه ستلاحظ عنصر

يتبعه عنصر نعم انه جدول الإتش تي إم إل مناسب

تفضل وقم بالاكتشاف !

الإتش تي إم إل ليست لغزا. إذا كنت ترغب في معرفه المزيد عنها وكيفية انشاء صفحات الويب باستخدامها – قم بزيارة هذا الموقع لقراءة مقدمة بسيطة عنه

School of Webcraft

متصفحات ويب أخري

للقيام بنفس الشيء في المتصفحات الويب الأخرى جرب الطرق التالية.

فايرفوكس Firefox : قم بتثبيت وتنصيب الفاير باج Firebug (http://getfirebug.com/)

Safari: Preferences > Advanced > Show Develop Menu > Show Web Inspector

ثبت مستكشف للانترنت 7 ( Internet Explorer 7): قم بتثبيت شريط الادوات المطور

عناصر اللإتش تي إم إل

ويتم تحديد العناصر من خلال “وسم” اسمائها وقد تحتوي علي نصوص داخلية و “attributes” (named properties): text

الوثيقة بأكملها text –

– الجزء المقروء من صفحة الويب

– إطار عنصر الجدول

– صف في الجدول

– خلية من المحتويات داخل الصف	– خلية رأس الجدول داخل الصف استخراج جدول من صفحة ويب باستخدام جداول بيانات جوجل دعونا نحفظ البيانات المتوفرة لدينا في جدول بيانات – حتى نتمكن من استخدامها فيما بعد. ويتم ذلك بطريقه سهله عن طريق معادلة خاصة في جداول البيانات جوجل. معادلة جداول بيانات جوجل: =importHTML(“”,”table”,N) سوف تقوم بتجريف جدول من صفحة ويب الإتش تي إم إل الي جدول بيانات جوجل. يحتاج عنوان المسار لصفحة الويب المطلوبة وعنصر الجدول المطلوب على حد سواء أن يكونا في علامات اقتباس مزدوجة. العدد N يحدد الجدول N’th في الصفحة (يبدأ العد من 1) كما في الجدول المطلوب لتجريف البيانات. اقرأ المزيد عن: استخراج جداول الإتش تي إم إل وتحويلها الي جدول بيانات جوجل. اذهب الي موقع http://drive.google.com وقم بالتسجيل وإنشاء جدول بيانات جديد حرر الخليه A1 (الخليه بأعلي اليسار) استخرج جدول محافظات مصر باللغة العربيةhttp://ar.wikipedia.org/wiki/مصر ادخل المعادله التاليه داخل الخليه =ImportHTML(“http://ar.wikipedia.org/wiki/مصر”, “table”, 1) (العدد الاخير يشير إلى عدد الجداول في الوثيقة قم بتجربتها واختبارها والعثور على المتطابق …) اضغط زر ادخال انتظر لبرهة وسوف تري الجدول يظهر بطريقه سحريه انتظر ليس هذا هو الجدول الذي توقعناه أليس كذلك ؟ يرجع ذلك لأن هناك جداول متعددة في الصفحة وتقوم مستندات ووثائق جوجل باختيار المستند الاول (الرقم1 في نهاية المعادله هو من اعطي الامر بذلك). – ببساطة قم بتغييره إلى 2 أو 3 حتى تحصل على الجدول الصحيح. (تذكر أننا نحاول الحصول على جدول المحافظات المصرية) بعد تجربة أرقام جدول مختلفة يمكنك معرفة أن الجدول الذي نحاول البحث عنه هو رقم الجدول. وبشكل سحري يظهر جدول البيانات التي نحتاجها في جدول البيانات وقد تم سحبها مباشرة من صفحة ويكيبيديا. ملحوظ هامه أرقام الجدول ليست واضحة دائما – ابدأ بالرقم 1 وقم بزيادة عدد الجدول حتى تحصل على الارقام الصحيحة. تهانينا : لقد قمت بتجريف أولي مجموعة البيانات الخاص بك! تجريف المواقع باستخدام ملحق تجريف للكروم متى يجب أن اتعلم التجريف؟ هناك عدد من الاسباب إذا كان عليك استخراج البيانات بانتظام وحيث يوجد العديد من الجداول في صفحة واحدة إذا تم نشر المعلومات التي تبحث عنها عبر العديد من الصفحات إذا كنت ترغب في تشغيل المجرفه بانتظام – مثل اذا كان يتم نشر المعلومات كل أسبوع أو شهر كنت تبحث عن بعض الاشياء مثل تنبيهات البريد الإلكتروني إذا كانت المعلومات على تتغير علي صفحة ويب معينة ….واذا كنت لا تريد أن تدفع لشخص آخر للقيام بذلك نيابة عنك! ملخص تغطي هذه الدورة تجريف شبكة الإنترنت وكيفية استخراج البيانات من المواقع. وتتمثل المهمة الرئيسية للتجريف في تحويل البيانات التي الشبه منظمة الي بيانات مهيكلة وجعلها صالحة للاستعمال بسهولة للإضفاء المزيد من المعالجة عليها. علي الرغم أنها مهمة بسيطة نسبيا مع معرفه بسيطة للبرمجة – لصفحات الويب الاحاديه- أو بدون ادني خبرة الإطلاق. لقد قدمنا = importHTML ملحق التجريف لتلبية الاحتياجات الخاصة بك في التجريف. لمعرفة المزيد اقرأ Scraping for Journalism: A Guide for Collecting Data: ProPublica Guides Scraping for Journalists (ebook): Paul Bradshaw Scrape the Web: Strategies for programming websites that don’t expect it : Talk from PyCon An Introduction to Compassionate Screen Scraping: Will Larson دليل : استخراج البيانات من داخل ملفات البي دي إف يمكن لملفات بي دي إف أن تكون في جميع الصور والأشكال – إذا كنت تستعرض ملف بي دي إف منسق علي نحو جيد و لم يتم مسحه ضوئيا فاعطي تابولا الفرصه لاستخراج المعلومات. كيف يتم ذلك ؟ اطلع علي البحوث القصيرة بأسفل: سوف تحتاج الي: برنامج Tabula http://tabula.nerdpower.org/ مستند PDF تحميل ملف بي دي إف من : http://datahub.io/dataset?q=egypt ابدأ برنامج Tabula (بالنقر المزدوج علي ايقونه Tabula) وجه متصفحك الي http://127.0.0.1:8080 اختر الملف الذي تود تحميله وانقر Submit انتظر حتى نهاية تحميل ملف PDF انزل بالسهم الي أسفل لصفحه 74- حيث سنقوم باستخراج هذا الجدول انقر واسحب مربع التحديد فوق الجدول سوف تظهر لك نافذة توضح كيف يمكن لبرنامج Tabula استخراج البيانات. ابدأ الآن في تحميل البيانات كـ CSV حسنا لدينا الآن مجموعة بيانات للواردات المصرية في تنسيق CSV. ماذا عن تمثيل هذه البيانات مرئيا في قصة ذات مغزى؟ لحسن الحظ لدينا الآن ادوات رائعة لإنتاج المخططات البيانيه ومن ثم يمكنك وشرها على شبكة الإنترنت.الـ Datawrapper هو واحد من هذه الأدوات لتمثيل البيانات اذهب الي http://datawrapper.de إنشاء حساب ثم اضغط على زر “create a chart” يمكنك حفظ مصدر البيانات هنا وتعديل البيانات. يمكنك أيضا تبديل موضع البيانات وهو ما يعني تحويل الصفوف والأعمدة من أجل الحصول على الصفوف التي تريد أن تصورها كرؤوس الأعمدة. بعد النقر علي visualize يمكنك تحديد نوع المخطط وصقل الرسم البياني عن طريق تغيير الألوان أو مضيفا العنوان والوصف. أفضل مخطط لنوع البيانات التي لدينا هنا هو مخطط الاعمدة لأن هدفنا من تمثيل هذه البيانات مرئيا هو اظهار مقارنات بين الواردات في مصر خلال 5 سنوات الماضية. بعد النقر فوق نشر سوف تحصل على رابط لتمثيل البيانات الخاص وكود HTML ثم يمكنك وضعه في موقع الويب الخاص بك. ها هي الآن يمكنك النقر على الرابط واللعب بهذا المخطط الرائع: http://cf.datawrapper.de/11mKD/2/ عدّاد الكلمات – أداة جديدة لتحليل النصوص والكلمات Tarek Amr — Mon, 30 Mar 2015 14:11:10 +0000 قامت كاثرين دي إيجنازيو وراهول بهارجافا بخلق أداه لتحليل النصوص الكتابية لغير المتخصصين. الأداة متاحة على هذا الرابط، وهي تسمح بإدخال نصوص بها وفي الأخير تصدر تقريرا بعدد مرات تكرار كل كلمة في النص وعدد مرات تتابع كل زوج من الكلمات وراء بعضهم البعض تطبيق عداد الكلمات لعمل إحصائيات لإستخدام المفردات المختلفة في نص ما تحليل النصوص هو أمر مفيد للصحفيين وصحفيي البيانات بشكل خاص، حيث يتيح لهم فهم خطابات السياسيين على سبيل المثال وعرض الكلمات المفتاحية التي يركز عليها السياسي في خطابه أو مقارنة خطاب سياسي بأخر ومعرفة مدى إهتمام كل منهم بأمور معينة مقارنة بزميله .. يمكن أيضا إستخدام تحليل النصوص لمعرفة زيادة وتغير الإهتمام بمواضيع معينة عبر الزمن عن طريق تحليل الأخبار المنشورة عبر فترة زمنية معينة حقيبة الطالب المطور Tarek Amr — Wed, 08 Oct 2014 02:24:45 +0000 توفر جيت هب بالتعاون مع بعض شركائها مجموعة من الأدوات الخاصة بتطوير البرمجيات وإستضافة المواقع بشكل مجاني للطلبة، في محاولة لتشجيع الطلاب في الإنخراط في تطوير المواقع والبرمجيات. يمكنكم معرفة المزيد عن حقيبة الطالب المطور هنا Poplus: Shared & Collaborative Civic Coding Tarek Amr — Sat, 09 Aug 2014 20:17:56 +0000 “Organisations all over the world are holding governments to account, challenging corruption, and demanding the right to transparency, and they are using digital technologies to do so. Why should every organisation have to write their software from scratch?”, Poplus homepage. Poplus is an open federation of people and organisations from many different countries. They realised that there is a lot of redundancy in the efforts made to create softwares needed for civic engagement and transparency. Civic websites often need the same basic functionalities, no matter what kind of legislature or form of government they operate within. Thus, they created numerous components which any organization can use as a service, or download and install on their own. Organizations can mix and match between the existing components or even submit their own components. The current existing components are: PopIt: Enables organizations to create and maintain lists of politicians.For example, it is currently used in South Africa to share the names and the biographies of the members of the people’s assembly there. It is also used to list Kenyan Politicians. SayIt: Tool for publishing speeches, discussions and dialogues, simply and clearly, online. It is already used in different scenarios, from managing the transcripts of the debates taking place in the People’s Assembly in South Africa to making Shakespeare’s plays searchable and browsable. BillIt: Record, search and track bills as they change. MapIt: It is used to map geographic points to administrative boundaries. There are already usecases for MapIP in UK, Australia and Norway. WriteIt: Messaging system for sending and archiving messages to public figures and private organizations. In fact, anyone can apply to have a piece of software certified as an official Poplus Component. So, in addition to the above components, there are other components that are still in earlier stage of developments. CheckIt: Applications to keep track of promises made by politicians. CompareIt: Compares changes made to bills. Currently is it still a client-site tool only and they are looking for guidelines to turn it into a component. TrackIt: A proposed component to track political events. Poplus was founded by mySociet and Ciudadano Inteligente. قياس حالة الأحمال على الشبكة الكهربائية المصرية Tarek Amr — Thu, 07 Aug 2014 10:38:55 +0000 بالأمس تحدثنا عن تطبيق قياس حالة الأحمال على الشبكة المصرية للكهرباء والذي يوفره جهاز تنظيم مرفق الكهرباء وحماية المستهلك، إلا أنه لا يوفر واجهة إستخدام للمبرمجين، إلا أن مصعب أحمد قام بعمل تطبيق يستقي المعلومات من جهاز تنظيم مرفق الكهرباء ويوفرها في صورة مناسبة للحاسب التطبيق يرجع النتائج في صورة جيسون ويحتوى على ثلاث حلات: خطر وتحذير وآمن. يمكنك إيجاد واجهة المبرمج هنا وقرأة المزيد عن تطبيق مصعب هنا، التطبيق أيضا مفتوح المصدر ويمكنك رؤية وتعديل الكود الخاص به من هنا كريم قشوع أيضا قام بعمل تطبيق، لحل نفس المشكلة حالة الأحمال على الشبكة الكهربائية المصرية Tarek Amr — Wed, 06 Aug 2014 18:16:32 +0000 جهاز تنظيم مرفق الكهرباء وحماية المستهلك لديه تطبيق على موقعه لنشر حالة الأحمال على الشبكة الكهربائية المصرية. وحيث أنه من الواضح أن مشكلة إنقطاع التيار الكهربي لا تلوح لها أي حلول في الأفق، فمن الممكن التفكير في طرق للإستفادة من البيانات المتاحة يمكن مثلا عمل تطبيق يحذر الناس عندما يرتفع الحمل عن طريق رسالة نصية، أو يمكن لأحدهم أن يبرمج الأجهزة المنزلية الغير ضرورية أن تنطفيء بمجرد إرتفاع الحمل على الشبكة، أو مثلا يقوم باحث بمحاولة إيجاد ألية للتنبؤ بإنقطاع التيار في المناطق المختلفة بإستخدام تلك المعلومة بالإضافة لمعلومات أخرى مثل درجة الحرارة ومواعيد قطع التيار في المنطقة لكن المشكلة أن التطبيق الخاص بجهاز تنظيم مرفق الكهرباء لا يوفر البيانات بصيغة يفهمها الحاسب، كمثال أن تكون في صورة ملف جيسون أو أر إس إس توفره واجهة إستخدام المبرمج، ومن ثم، أطرح عليكم المشكلة وإن كان بإمكان أحدكم عمل كاشط – سكرابر – لإستخراج البيانات من التطبيق وتوفيرها في صورة مناسبة للحاسب عنوان التطبيق هنا صحافيو البيانات و تغطية كأس العالم Tarek Amr — Wed, 11 Jun 2014 18:08:06 +0000 قاعدة بيانات كرة القدم المفتوحة كرة القدم هي أكثر الرياضات إنتشارا في العالم، وفعاليات كأس العالم لكرة القدم في البرازيل على الأبواب، حيث سيتنافس ٣٢ فريقا من ست قارات عبر ٦٤ مباراة في ١٢ مدينة برازيلية. طبعا، هذه فرصة عظيمة لهواة الرياضة وصحافة البيانات للمزج بين الإثنين وتقديم خدمة جذابة للقراء، ومن هنا كانت فكرة قاعدة بيانات كرة القدم، وهو مشروع يهدف إلي توفير البيانات الخاصة بكرة القدم وبطولاتها بشكل تقني سلهل للمطورين وصحافي البيانات. يمكنكم قرأة نبذة عن المشروع هنا CKAN Tour Tarek Amr — Fri, 02 May 2014 13:15:12 +0000 In this 1-hour video hangout Irina Bolychevsky, Services Director gives us an overview of CKAN with live demo’s of several CKAN sites including data.gov.uk, publicdata.eu and data.glasgow.gov.uk. Via Heather Leson. Project Naptha: Copy & Paste Text from Images Tarek Amr — Wed, 23 Apr 2014 15:18:51 +0000 Internet memes, quotes and charts. They usually have something in common. Text in images. This used to be a real pain for us to deal with, especially when it comes to copying and editing it. Not any more, project Naptha is a browser extension that allows you can to highlight, as well as copy and paste and even edit and translate the text formerly trapped within an image. مورف، منصة كشط جديدة Islam Abdul Wahab — Fri, 21 Mar 2014 00:48:48 +0000 الكشط أو التجريف هو تشغيل برنامج ما لاستخراج البيانات المهيكلة من صفحات الويب، وتعرف كاشطات أو جرافات الويب بالأبطال المجهولين في تحرير البيانات. وقد أعلنت منظمة أستراليا المفتوحة عن منصة تجريف جديدة تدعى مورف Morph.io, a new scraping platform يمكنك كتابة البرامج النصية على مورف باستخدام لغات الكتابة مثل بايثون وروبي وبي إتش بي ليقوم البرنامج بعدها بجمع البيانات من صفحات الويب وكتابتها إلى قاعدة بيانات إس كيو لايت في دليل العمل. الكود الخاص بالكاشطة يتم حفظه في مستودع على جيت هاب والذي يكون متصلا بالكاشطة عن طريق مورف. البيانات الناتجة من العملية يتم تخزينها في قاعدة بيانات ويمكن الإستعلام عنها عن طريق واجهة المبرمج، أو يمكنك تحميل البيانات بصيغة جيسون أو صيغة سي إس في يمكنك تنزيلها كجدول بيانات، أو يمكنك تحميل قاعدة بيانات إس كيو لايت ثنائية كاملة. أمثلة من تونس Tarek Amr — Sat, 08 Mar 2014 12:56:29 +0000 هذه بعض الأمثلة لمبادرات ومواقع من تونس تعنى بحرية المعلومات والشفافية ومراقبة أداء الحكومة هناك فكما كان الحال مع مرسي ميتر في مصر، هناك الآن جمعة ميتر في تونس لمراقبة وتقييم أداء رئيس الحكومة الحالي مهدي جمعة ومدى وتوثيق ما تم تحقيقه من انجازات مقارنةً بما إلتزم به أمام المجلس التأسيسي نفذت مؤسسة البوصلة منصة مرصد لمراقبة أداء المجلس التأسيسي، ومثلها مثل المراصد البرلمانية في الدول المختلفة فيمكنك من خلالها رؤية نبذة عن النواب والكتل البرلمانية التي يمثلونها وكل نص دستوري جديد ومن صوت معه أو ضده ورسوم بيانية ومعلومات عن اللجان المختلفة في المجلس ومشاركات الكتل البرلمانية وأجندة بالإجتماعات المختلفة، المرصد بإختصار يتيح لكل شخص متابعة أداء المجلس والنائب الذي يمثله في بشكل جيد جدا من حق كل شخص في تونس طلب المعلومات والبيانات الحكومة وفقا لمرسوم ٤١ لسنة ٢٠١١ والذي يتعلق بالنفاذ إلى الوثائق الإدارية للهياكل العمومية، ومن ثم قامة مؤسسة توانسة بالتنسيق مع مبادرة الحكومة المفتوحة في تونس في عمل منصة تحت نفس الإسم، مرسوم ٤١، يمكن من خلالها متابعة طلبات النفاذ للبيانات الحكومية وقياس سرعة إستجابة الحكومة لها وأخيرة منصة بالكمشة لتوثيق حالات الرشاوى، وهي تشبه منصة ظبطك في مصر مثلا كل الشكر ليـــامن بوسـريــح على المساعدة في كتابة هذا المقال Morph.io, A New Scraping Platform Tarek Amr — Thu, 27 Feb 2014 11:23:17 +0000 Scraping is where you run a program to extract structured data from web pages, and web scrapers could be called the unsung heroes of data liberation. The OpenAustralia Foundation is announcing a new Scraping Platform called Morph.io Morph.io, a new scraping platform You can write scripts on Morph using Python, Ruby or PHP to collects information from web pages and writes it to an SQLite database in its working directory.The scraper code is kept in a repository on GitHub which is linked to the scraper on Morph. The resulting data is stored in a database that you can query through an API. Or you can just download all the data as JSON or as a CSV (you can import into a spreadsheet) or just download a whole binary SQLite database. Join the Open Movement Tarek Amr — Sat, 22 Feb 2014 15:10:28 +0000 Bloggers, hackers, designers, statisticians and other citizens who are interested in Open Data and Transparency are gathering online and offline today for the International Open Data Day. The Open Data day is a yearly event that is meant to encourage openness and government’s transparency. The Open Definition sets out principles that define “openness” in relation to data and content. In brief, the definition states the data should be accessible to anyone, they also should have the right to redistribute the data they get access to and reuse it without any legal or technological restrictions. They are also free to use it in whichever purpose they see. The party releasing the data may ask for attribution by those who use it, however they should not impose any restrictions on any person or group. As a way for measuring transparency in governments, and how much they adhere to the open definition, a yearly report is run by the Open Knowledge Foundation to show how open is each government in 10 different fields, including transportation, government spending, legislations and education. The report for the year 2013, covered 70 countries, including Arab countries such as, Tunisia, Egypt, Saudi Arabia, Bahrain and Yemen. The United Kingdom and the United States of America came first and second respectively. The two governments use a Free and Open Source tool to release their data, CKAN. The software platform is developed by the Open Knowledge Foundation and is free to anyone to use. A list of the governments using CKAN can be found here. Cities, regional and municipalities also release their data. New York shows a good example here. Thus, Open Knowledge Foundation is planning to run a similar report for cities and local areas. Researchers, NGO’s and citizens do also release important datasets. The Frictionless Data project is working on a set of protocols to make it easier to package datasets in a machine readable format. In addition to that, the Open Development Toolkit aims to deliver tools and training around open development data. If you find the above topics interesting, feel free to join any of the Open Knowledge Foundation projects, lab projects and/or working groups, and if you think you are lost, feel free to contact us and ask for help. Git as your NoSQL Database Tarek Amr — Wed, 29 Jan 2014 09:06:20 +0000 This is a bit technical, but here in this video, Brandon Keepers from github is discussing how one can use git/github as their database. In a previous post, we discussed how Tate museum in UK is using github to store the data of their collection [Ar]. Abuse your tools, and imagine how to make them better. This video will give you more insight about git internals, and it also help you think how one can abuse his tools and make use of them in ways there were never designed for. All Your Base – Brandon Keepers from White October on Vimeo. The slides for Brandon Keepers’ presentation are published here. تحليل الحالة المرورية في القاهرة من خلال تحديثات موقع بيقوللك Islam Abdul Wahab — Fri, 10 Jan 2014 05:24:12 +0000 يشكو الجميع ليلا ونهارا من مشكلة المرور في القاهرة. على الرغم من وجود بيانات رسمية عن عدد السيارات في القاهرة، فإن الناس بحاجة إلى مزيد من الأفكار حول أوضاع الطرق الرئيسية في المدينة طوال أيام الأسبوع والوقت من اليوم. بيقوللك و وصلني هما تطبيقان من تطبيقات المحمول التي تستخدم بيانات مصدرها السائقين لإعطاء مستخدميها معلومات حول حالة كل الطرق في المدينة في الوقت الحقيقي. المشكلة هي أن أيا منها لا يوفر واجهة برمجة التطبيقات أو تخزين للبيانات التي يمكن لأي شخص تحميلها و تحليلها. وبالتالي, قرر كريم عودة إنشاء برنامج نصي يقوم بالدخول إلى بيقوللك كل ٣٠ ثانية لتلخيص البيانات من هناك وتحليلها من أجل الإجابة على الأسئلة الثلاث الآتية: ما هي ساعات الذروة في مصر؟ ما هي أسوأ / أفضل الطرق في القاهرة من حيث حركة المرور؟ ما هو العبء المروري خلال ساعات اليوم و في عطلة نهاية الأسبوع؟ ثم نشرت النتيجة في المدونة التالية: الحالة العامة للمرور بحسب أيام الأسبوع البيانات: من موقع بيقوللك فاصل: كل 30 دقيقة مدة البحث: من 2/12/2011 – 30/12/2011 استنتاج أسوأ الطريق في القاهرة (من حيث حركة المرور) هو كوبري ٦ أكتوبر – كلا الجانبين أعلى نقطة من الكثافة المرورية (كل يوم) هو 18:30 مساء أعلى ساعة الكثافة المرورية (كل يوم) هو 18:00 مساء أدنى ساعة الكثافة المرورية (كل يوم) هو 06:00 أعلى كثافة حركة المرور هو فترة من 15:00 مساءا إلى 20:0٠ مساء أقل كثافة حركة المرور تمتد هو 4:00 حتي 06:00 ذات يوم (من حيث حركة المرور) هو يوم الثلاثاء أدنى اليوم (من حيث حركة المرور) هو يوم الجمعة أقل من أيام الأسبوع (من حيث حركة المرور) هو يوم الأربعاء – يوم الجمعة هو يوم عطلة نهاية الاسبوع في مصر البيانات الخام والمخططات البيانية البيانات الخام والمخططات البيانية وأضاف كريم بعض المخططات على المدونة هنا. كما نشر البيانات الخام في جدول هنا. تايم مابر Tarek Amr — Sat, 21 Dec 2013 16:44:34 +0000 أحيانا تريد أن تسرد التسلسل الزمني لبعض الأحداث على صفحتك أو مدونتك، وبالإضافة لتوفير خاصية تصفح الأحداث المتتالية عن طريق تتبع الخط الزمني المبين هناك، يمكنك أيضا مشاهدة توزيعهم على الخريطة، تطبيق تايم مابر يتيح لك كل ذلك بصورةسهلة وبسيطة ويمكنك التعرف على كيفية إستخدامه عن طريق هذا الفيديو القصير الموضوع هنا رابط لتطبيق تايم مابر http://timemapper.okfnlabs.org/ Scripting in Google Spreadsheets Tarek Amr — Thu, 05 Dec 2013 12:02:05 +0000 You can do a lot of things with Google Drive via scripts, but I will focus here on the most simple scripting scenario. You all have used functions in Excel or similar spreadsheet application to make the value of one cell depend on that of other cells. For example, we usually use the sum() to put the summation of a whole row or column in one cell and we call it total. Nevertheless, in Google Spreadsheets, you can also write your own functions, and in those functions, you can even call external sources or applications. Scripts can give your spreadsheets super powers In my case, I have spreadsheet with one column the represents peoples’ addresses, and I wanted to add another column that contains the latitude and longitude extracted from that address. Easy peasy! From the ‘Tools’ menu select ‘Script Manager’, then click on the ‘New’ button. Then, you are given a page where you can write some JavaScript code.I created a function and called it latlng() which takes one parameter, address. In that function I called Maps.newGeocoder().geocode(address), this returns the results in a json format. I then parsed the results and returned the resulting latitude and longitude. Voila! That’s it. All you have to do now is to use that new latlng() function in your spreadsheet, the same way you used to use any other built-in functions, for example, sum(), or max(). This article was originally written here, also here is a link to a script that converts addresses into latitudes and longitudes in Goolge Spreadsheets. No women photos allowed Tarek Amr — Sat, 30 Nov 2013 11:57:45 +0000 Having the Arabic language being written from right to left, the web developers need to adapt their code to render the Arabic text correctly. Today, I’ve stumbled upon this online tool that enables developers to convert their CSS code from one direction (LTR) to the other (RTL). RTL CSS Usage Agreement However, I’d like to discuss the usage agreement of the tool, which states the following: It is prohibited to use this tool for designing or developing websites that has content that is not compliant with the Islamic religion. It is prohibited to use this tool for designing or developing websites that contains photos of women. It is prohibited to use this tool to convert code that you are not allowed to use. We do not store the CSS entered by the users, and any uploaded files are being frequently deleted. As you may know, in both of the Open Definition and Open Source Definition, it is stated that there should be no discrimination against fields of endeavor: The license must not restrict anyone from making use of the work/program in a specific field of endeavor. For example, it may not restrict the work/program from being used in a business, or from being used for genetic research. For sure that author of the tool, did not say that his tool is compliant with any of the above definitions, however, I found it a good opportunity to open a discussion about the different usage agreements we see: Do think that the restrictions made by the tool author are harmful to the spread of the Arabic content online? Do you find it morally accepted for that author to put any restrictions that comply with his set of beliefs? Should that be taken into the considerations of the licenses as well? Shall we have an Arabic (or Islamic) variation of the Open Definition for example?

– خلية من المحتويات داخل الصف

– خلية رأس الجدول داخل الصف

استخراج جدول من صفحة ويب باستخدام جداول بيانات جوجل

دعونا نحفظ البيانات المتوفرة لدينا في جدول بيانات – حتى نتمكن من استخدامها فيما بعد. ويتم ذلك بطريقه سهله عن طريق معادلة خاصة في جداول البيانات جوجل.

معادلة جداول بيانات جوجل:

=importHTML(“”,”table”,N)

سوف تقوم بتجريف جدول من صفحة ويب الإتش تي إم إل الي جدول بيانات جوجل. يحتاج عنوان المسار لصفحة الويب المطلوبة وعنصر الجدول المطلوب على حد سواء أن يكونا في علامات اقتباس مزدوجة. العدد N يحدد الجدول N’th في الصفحة (يبدأ العد من 1) كما في الجدول المطلوب لتجريف البيانات.

اقرأ المزيد عن: استخراج جداول الإتش تي إم إل وتحويلها الي جدول بيانات جوجل.

اذهب الي موقع http://drive.google.com وقم بالتسجيل وإنشاء جدول بيانات جديد
حرر الخليه A1 (الخليه بأعلي اليسار)
استخرج جدول محافظات مصر باللغة العربيةhttp://ar.wikipedia.org/wiki/مصر
ادخل المعادله التاليه داخل الخليه

=ImportHTML(“http://ar.wikipedia.org/wiki/مصر”, “table”, 1)

(العدد الاخير يشير إلى عدد الجداول في الوثيقة قم بتجربتها واختبارها والعثور على المتطابق …)

اضغط زر ادخال
انتظر لبرهة وسوف تري الجدول يظهر بطريقه سحريه

انتظر ليس هذا هو الجدول الذي توقعناه أليس كذلك ؟ يرجع ذلك لأن هناك جداول متعددة في الصفحة وتقوم مستندات ووثائق جوجل باختيار المستند الاول (الرقم1 في نهاية المعادله هو من اعطي الامر بذلك). – ببساطة قم بتغييره إلى 2 أو 3 حتى تحصل على الجدول الصحيح. (تذكر أننا نحاول الحصول على جدول المحافظات المصرية)

بعد تجربة أرقام جدول مختلفة يمكنك معرفة أن الجدول الذي نحاول البحث عنه هو رقم الجدول. وبشكل سحري يظهر جدول البيانات التي نحتاجها في جدول البيانات وقد تم سحبها مباشرة من صفحة ويكيبيديا. ملحوظ هامه أرقام الجدول ليست واضحة دائما – ابدأ بالرقم 1 وقم بزيادة عدد الجدول حتى تحصل على الارقام الصحيحة.
تهانينا : لقد قمت بتجريف أولي مجموعة البيانات الخاص بك!

تجريف المواقع باستخدام ملحق تجريف للكروم

متى يجب أن اتعلم التجريف؟

هناك عدد من الاسباب

إذا كان عليك استخراج البيانات بانتظام وحيث يوجد العديد من الجداول في صفحة واحدة

إذا تم نشر المعلومات التي تبحث عنها عبر العديد من الصفحات

إذا كنت ترغب في تشغيل المجرفه بانتظام – مثل اذا كان يتم نشر المعلومات كل أسبوع أو شهر

كنت تبحث عن بعض الاشياء مثل تنبيهات البريد الإلكتروني إذا كانت المعلومات على تتغير علي صفحة ويب معينة

….واذا كنت لا تريد أن تدفع لشخص آخر للقيام بذلك نيابة عنك!

ملخص

تغطي هذه الدورة تجريف شبكة الإنترنت وكيفية استخراج البيانات من المواقع. وتتمثل المهمة الرئيسية للتجريف في تحويل البيانات التي الشبه منظمة الي بيانات مهيكلة وجعلها صالحة للاستعمال بسهولة للإضفاء المزيد من المعالجة عليها. علي الرغم أنها مهمة بسيطة نسبيا مع معرفه بسيطة للبرمجة – لصفحات الويب الاحاديه- أو بدون ادني خبرة الإطلاق. لقد قدمنا = importHTML ملحق التجريف لتلبية الاحتياجات الخاصة بك في التجريف.

لمعرفة المزيد اقرأ

Scraping for Journalism: A Guide for Collecting Data: ProPublica Guides

Scraping for Journalists (ebook): Paul Bradshaw

Scrape the Web: Strategies for programming websites that don’t expect it : Talk from PyCon

An Introduction to Compassionate Screen Scraping: Will Larson

دليل : استخراج البيانات من داخل ملفات البي دي إف

يمكن لملفات بي دي إف أن تكون في جميع الصور والأشكال – إذا كنت تستعرض ملف بي دي إف منسق علي نحو جيد و لم يتم مسحه ضوئيا فاعطي تابولا الفرصه لاستخراج المعلومات. كيف يتم ذلك ؟ اطلع علي البحوث القصيرة بأسفل:

سوف تحتاج الي:

برنامج Tabula http://tabula.nerdpower.org/
مستند PDF
تحميل ملف بي دي إف من : http://datahub.io/dataset?q=egypt

ابدأ برنامج Tabula (بالنقر المزدوج علي ايقونه Tabula)
وجه متصفحك الي http://127.0.0.1:8080
اختر الملف الذي تود تحميله وانقر Submit

انتظر حتى نهاية تحميل ملف PDF
انزل بالسهم الي أسفل لصفحه 74- حيث سنقوم باستخراج هذا الجدول

انقر واسحب مربع التحديد فوق الجدول

سوف تظهر لك نافذة توضح كيف يمكن لبرنامج Tabula استخراج البيانات.
ابدأ الآن في تحميل البيانات كـ CSV

حسنا لدينا الآن مجموعة بيانات للواردات المصرية في تنسيق CSV.

ماذا عن تمثيل هذه البيانات مرئيا في قصة ذات مغزى؟

لحسن الحظ لدينا الآن ادوات رائعة لإنتاج المخططات البيانيه ومن ثم يمكنك وشرها على شبكة الإنترنت.الـ Datawrapper هو واحد من هذه الأدوات لتمثيل البيانات

اذهب الي http://datawrapper.de إنشاء حساب ثم اضغط على زر “create a chart”

يمكنك حفظ مصدر البيانات هنا وتعديل البيانات. يمكنك أيضا تبديل موضع البيانات وهو ما يعني تحويل الصفوف والأعمدة من أجل الحصول على الصفوف التي تريد أن تصورها كرؤوس الأعمدة.

بعد النقر علي visualize يمكنك تحديد نوع المخطط وصقل الرسم البياني عن طريق تغيير الألوان أو مضيفا العنوان والوصف. أفضل مخطط لنوع البيانات التي لدينا هنا هو مخطط الاعمدة لأن هدفنا من تمثيل هذه البيانات مرئيا هو اظهار مقارنات بين الواردات في مصر خلال 5 سنوات الماضية.

بعد النقر فوق نشر سوف تحصل على رابط لتمثيل البيانات الخاص وكود HTML ثم يمكنك وضعه في موقع الويب الخاص بك.

ها هي الآن يمكنك النقر على الرابط واللعب بهذا المخطط الرائع: http://cf.datawrapper.de/11mKD/2/

عدّاد الكلمات – أداة جديدة لتحليل النصوص والكلمات

Tarek Amr — Mon, 30 Mar 2015 14:11:10 +0000

قامت كاثرين دي إيجنازيو وراهول بهارجافا بخلق أداه لتحليل النصوص الكتابية لغير المتخصصين. الأداة متاحة على هذا الرابط، وهي تسمح بإدخال نصوص بها وفي الأخير تصدر تقريرا بعدد مرات تكرار كل كلمة في النص وعدد مرات تتابع كل زوج من الكلمات وراء بعضهم البعض

تطبيق عداد الكلمات لعمل إحصائيات لإستخدام المفردات المختلفة في نص ما

تحليل النصوص هو أمر مفيد للصحفيين وصحفيي البيانات بشكل خاص، حيث يتيح لهم فهم خطابات السياسيين على سبيل المثال وعرض الكلمات المفتاحية التي يركز عليها السياسي في خطابه أو مقارنة خطاب سياسي بأخر ومعرفة مدى إهتمام كل منهم بأمور معينة مقارنة بزميله .. يمكن أيضا إستخدام تحليل النصوص لمعرفة زيادة وتغير الإهتمام بمواضيع معينة عبر الزمن عن طريق تحليل الأخبار المنشورة عبر فترة زمنية معينة

حقيبة الطالب المطور

Tarek Amr — Wed, 08 Oct 2014 02:24:45 +0000

توفر جيت هب بالتعاون مع بعض شركائها مجموعة من الأدوات الخاصة بتطوير البرمجيات وإستضافة المواقع بشكل مجاني للطلبة، في محاولة لتشجيع الطلاب في الإنخراط في تطوير المواقع والبرمجيات.

يمكنكم معرفة المزيد عن حقيبة الطالب المطور هنا

Poplus: Shared & Collaborative Civic Coding

Tarek Amr — Sat, 09 Aug 2014 20:17:56 +0000

“Organisations all over the world are holding governments to account, challenging corruption, and demanding the right to transparency, and they are using digital technologies to do so. Why should every organisation have to write their software from scratch?”, Poplus homepage.

Poplus is an open federation of people and organisations from many different countries. They realised that there is a lot of redundancy in the efforts made to create softwares needed for civic engagement and transparency. Civic websites often need the same basic functionalities, no matter what kind of legislature or form of government they operate within. Thus, they created numerous components which any organization can use as a service, or download and install on their own. Organizations can mix and match between the existing components or even submit their own components. The current existing components are:

PopIt: Enables organizations to create and maintain lists of politicians.For example, it is currently used in South Africa to share the names and the biographies of the members of the people’s assembly there. It is also used to list Kenyan Politicians.
SayIt: Tool for publishing speeches, discussions and dialogues, simply and clearly, online. It is already used in different scenarios, from managing the transcripts of the debates taking place in the People’s Assembly in South Africa to making Shakespeare’s plays searchable and browsable.
BillIt: Record, search and track bills as they change.
MapIt: It is used to map geographic points to administrative boundaries. There are already usecases for MapIP in UK, Australia and Norway.

WriteIt: Messaging system for sending and archiving messages to public figures and private organizations.

In fact, anyone can apply to have a piece of software certified as an official Poplus Component. So, in addition to the above components, there are other components that are still in earlier stage of developments.

CheckIt: Applications to keep track of promises made by politicians.
CompareIt: Compares changes made to bills. Currently is it still a client-site tool only and they are looking for guidelines to turn it into a component.
TrackIt: A proposed component to track political events.

Poplus was founded by mySociet and Ciudadano Inteligente.

قياس حالة الأحمال على الشبكة الكهربائية المصرية

Tarek Amr — Thu, 07 Aug 2014 10:38:55 +0000

بالأمس تحدثنا عن تطبيق قياس حالة الأحمال على الشبكة المصرية للكهرباء والذي يوفره جهاز تنظيم مرفق الكهرباء وحماية المستهلك، إلا أنه لا يوفر واجهة إستخدام للمبرمجين، إلا أن مصعب أحمد قام بعمل تطبيق يستقي المعلومات من جهاز تنظيم مرفق الكهرباء ويوفرها في صورة مناسبة للحاسب

التطبيق يرجع النتائج في صورة جيسون ويحتوى على ثلاث حلات: خطر وتحذير وآمن. يمكنك إيجاد واجهة المبرمج هنا وقرأة المزيد عن تطبيق مصعب هنا، التطبيق أيضا مفتوح المصدر ويمكنك رؤية وتعديل الكود الخاص به من هنا

كريم قشوع أيضا قام بعمل تطبيق، لحل نفس المشكلة

حالة الأحمال على الشبكة الكهربائية المصرية

Tarek Amr — Wed, 06 Aug 2014 18:16:32 +0000

جهاز تنظيم مرفق الكهرباء وحماية المستهلك لديه تطبيق على موقعه لنشر حالة الأحمال على الشبكة الكهربائية المصرية. وحيث أنه من الواضح أن مشكلة إنقطاع التيار الكهربي لا تلوح لها أي حلول في الأفق، فمن الممكن التفكير في طرق للإستفادة من البيانات المتاحة

يمكن مثلا عمل تطبيق يحذر الناس عندما يرتفع الحمل عن طريق رسالة نصية، أو يمكن لأحدهم أن يبرمج الأجهزة المنزلية الغير ضرورية أن تنطفيء بمجرد إرتفاع الحمل على الشبكة، أو مثلا يقوم باحث بمحاولة إيجاد ألية للتنبؤ بإنقطاع التيار في المناطق المختلفة بإستخدام تلك المعلومة بالإضافة لمعلومات أخرى مثل درجة الحرارة ومواعيد قطع التيار في المنطقة

لكن المشكلة أن التطبيق الخاص بجهاز تنظيم مرفق الكهرباء لا يوفر البيانات بصيغة يفهمها الحاسب، كمثال أن تكون في صورة ملف جيسون أو أر إس إس توفره واجهة إستخدام المبرمج، ومن ثم، أطرح عليكم المشكلة وإن كان بإمكان أحدكم عمل كاشط – سكرابر – لإستخراج البيانات من التطبيق وتوفيرها في صورة مناسبة للحاسب

عنوان التطبيق هنا

صحافيو البيانات و تغطية كأس العالم

Tarek Amr — Wed, 11 Jun 2014 18:08:06 +0000

قاعدة بيانات كرة القدم المفتوحة

كرة القدم هي أكثر الرياضات إنتشارا في العالم، وفعاليات كأس العالم لكرة القدم في البرازيل على الأبواب، حيث سيتنافس ٣٢ فريقا من ست قارات عبر ٦٤ مباراة في ١٢ مدينة برازيلية. طبعا، هذه فرصة عظيمة لهواة الرياضة وصحافة البيانات للمزج بين الإثنين وتقديم خدمة جذابة للقراء، ومن هنا كانت فكرة قاعدة بيانات كرة القدم، وهو مشروع يهدف إلي توفير البيانات الخاصة بكرة القدم وبطولاتها بشكل تقني سلهل للمطورين وصحافي البيانات. يمكنكم قرأة نبذة عن المشروع هنا

CKAN Tour

Tarek Amr — Fri, 02 May 2014 13:15:12 +0000

In this 1-hour video hangout Irina Bolychevsky, Services Director gives us an overview of CKAN with live demo’s of several CKAN sites including data.gov.uk, publicdata.eu and data.glasgow.gov.uk.

Via Heather Leson.

Project Naptha: Copy & Paste Text from Images

Tarek Amr — Wed, 23 Apr 2014 15:18:51 +0000

Internet memes, quotes and charts. They usually have something in common. Text in images. This used to be a real pain for us to deal with, especially when it comes to copying and editing it.

Not any more, project Naptha is a browser extension that allows you can to highlight, as well as copy and paste and even edit and translate the text formerly trapped within an image.

مورف، منصة كشط جديدة

Islam Abdul Wahab — Fri, 21 Mar 2014 00:48:48 +0000

الكشط أو التجريف هو تشغيل برنامج ما لاستخراج البيانات المهيكلة من صفحات الويب، وتعرف كاشطات أو جرافات الويب بالأبطال المجهولين في تحرير البيانات. وقد أعلنت منظمة أستراليا المفتوحة عن منصة تجريف جديدة تدعى مورف

Morph.io, a new scraping platform

يمكنك كتابة البرامج النصية على مورف باستخدام لغات الكتابة مثل بايثون وروبي وبي إتش بي ليقوم البرنامج بعدها بجمع البيانات من صفحات الويب وكتابتها إلى قاعدة بيانات إس كيو لايت في دليل العمل.

الكود الخاص بالكاشطة يتم حفظه في مستودع على جيت هاب والذي يكون متصلا بالكاشطة عن طريق مورف. البيانات الناتجة من العملية يتم تخزينها في قاعدة بيانات ويمكن الإستعلام عنها عن طريق واجهة المبرمج، أو يمكنك تحميل البيانات بصيغة جيسون أو صيغة سي إس في يمكنك تنزيلها كجدول بيانات، أو يمكنك تحميل قاعدة بيانات إس كيو لايت ثنائية كاملة.

أمثلة من تونس

Tarek Amr — Sat, 08 Mar 2014 12:56:29 +0000

هذه بعض الأمثلة لمبادرات ومواقع من تونس تعنى بحرية المعلومات والشفافية ومراقبة أداء الحكومة هناك

فكما كان الحال مع مرسي ميتر في مصر، هناك الآن جمعة ميتر في تونس لمراقبة وتقييم أداء رئيس الحكومة الحالي مهدي جمعة ومدى وتوثيق ما تم تحقيقه من انجازات مقارنةً بما إلتزم به أمام المجلس التأسيسي

نفذت مؤسسة البوصلة منصة مرصد لمراقبة أداء المجلس التأسيسي، ومثلها مثل المراصد البرلمانية في الدول المختلفة فيمكنك من خلالها رؤية نبذة عن النواب والكتل البرلمانية التي يمثلونها وكل نص دستوري جديد ومن صوت معه أو ضده ورسوم بيانية ومعلومات عن اللجان المختلفة في المجلس ومشاركات الكتل البرلمانية وأجندة بالإجتماعات المختلفة، المرصد بإختصار يتيح لكل شخص متابعة أداء المجلس والنائب الذي يمثله في بشكل جيد جدا

من حق كل شخص في تونس طلب المعلومات والبيانات الحكومة وفقا لمرسوم ٤١ لسنة ٢٠١١ والذي يتعلق بالنفاذ إلى الوثائق الإدارية للهياكل العمومية، ومن ثم قامة مؤسسة توانسة بالتنسيق مع مبادرة الحكومة المفتوحة في تونس في عمل منصة تحت نفس الإسم، مرسوم ٤١، يمكن من خلالها متابعة طلبات النفاذ للبيانات الحكومية وقياس سرعة إستجابة الحكومة لها

وأخيرة منصة بالكمشة لتوثيق حالات الرشاوى، وهي تشبه منصة ظبطك في مصر مثلا

كل الشكر ليـــامن بوسـريــح على المساعدة في كتابة هذا المقال

Morph.io, A New Scraping Platform

Tarek Amr — Thu, 27 Feb 2014 11:23:17 +0000

Scraping is where you run a program to extract structured data from web pages, and web scrapers could be called the unsung heroes of data liberation. The OpenAustralia Foundation is announcing a new Scraping Platform called Morph.io

Morph.io, a new scraping platform

You can write scripts on Morph using Python, Ruby or PHP to collects information from web pages and writes it to an SQLite database in its working directory.The scraper code is kept in a repository on GitHub which is linked to the scraper on Morph. The resulting data is stored in a database that you can query through an API. Or you can just download all the data as JSON or as a CSV (you can import into a spreadsheet) or just download a whole binary SQLite database.

Join the Open Movement

Tarek Amr — Sat, 22 Feb 2014 15:10:28 +0000

Bloggers, hackers, designers, statisticians and other citizens who are interested in Open Data and Transparency are gathering online and offline today for the International Open Data Day. The Open Data day is a yearly event that is meant to encourage openness and government’s transparency.

The Open Definition sets out principles that define “openness” in relation to data and content. In brief, the definition states the data should be accessible to anyone, they also should have the right to redistribute the data they get access to and reuse it without any legal or technological restrictions. They are also free to use it in whichever purpose they see. The party releasing the data may ask for attribution by those who use it, however they should not impose any restrictions on any person or group.

As a way for measuring transparency in governments, and how much they adhere to the open definition, a yearly report is run by the Open Knowledge Foundation to show how open is each government in 10 different fields, including transportation, government spending, legislations and education. The report for the year 2013, covered 70 countries, including Arab countries such as, Tunisia, Egypt, Saudi Arabia, Bahrain and Yemen. The United Kingdom and the United States of America came first and second respectively. The two governments use a Free and Open Source tool to release their data, CKAN. The software platform is developed by the Open Knowledge Foundation and is free to anyone to use. A list of the governments using CKAN can be found here. Cities, regional and municipalities also release their data. New York shows a good example here. Thus, Open Knowledge Foundation is planning to run a similar report for cities and local areas.

Researchers, NGO’s and citizens do also release important datasets. The Frictionless Data project is working on a set of protocols to make it easier to package datasets in a machine readable format. In addition to that, the Open Development Toolkit aims to deliver tools and training around open development data.

If you find the above topics interesting, feel free to join any of the Open Knowledge Foundation projects, lab projects and/or working groups, and if you think you are lost, feel free to contact us and ask for help.

Git as your NoSQL Database

Tarek Amr — Wed, 29 Jan 2014 09:06:20 +0000

This is a bit technical, but here in this video, Brandon Keepers from github is discussing how one can use git/github as their database. In a previous post, we discussed how Tate museum in UK is using github to store the data of their collection [Ar].

Abuse your tools, and imagine how to make them better.

This video will give you more insight about git internals, and it also help you think how one can abuse his tools and make use of them in ways there were never designed for.

All Your Base – Brandon Keepers from White October on Vimeo.

The slides for Brandon Keepers’ presentation are published here.

تحليل الحالة المرورية في القاهرة من خلال تحديثات موقع بيقوللك

Islam Abdul Wahab — Fri, 10 Jan 2014 05:24:12 +0000

يشكو الجميع ليلا ونهارا من مشكلة المرور في القاهرة. على الرغم من وجود بيانات رسمية عن عدد السيارات في القاهرة، فإن الناس بحاجة إلى مزيد من الأفكار حول أوضاع الطرق الرئيسية في المدينة طوال أيام الأسبوع والوقت من اليوم.

بيقوللك و وصلني هما تطبيقان من تطبيقات المحمول التي تستخدم بيانات مصدرها السائقين لإعطاء مستخدميها معلومات حول حالة كل الطرق في المدينة في الوقت الحقيقي. المشكلة هي أن أيا منها لا يوفر واجهة برمجة التطبيقات أو تخزين للبيانات التي يمكن لأي شخص تحميلها و تحليلها.

وبالتالي, قرر كريم عودة إنشاء برنامج نصي يقوم بالدخول إلى بيقوللك كل ٣٠ ثانية لتلخيص البيانات من هناك وتحليلها من أجل الإجابة على الأسئلة الثلاث الآتية:

ما هي ساعات الذروة في مصر؟
ما هي أسوأ / أفضل الطرق في القاهرة من حيث حركة المرور؟
ما هو العبء المروري خلال ساعات اليوم و في عطلة نهاية الأسبوع؟

ثم نشرت النتيجة في المدونة التالية:

الحالة العامة للمرور بحسب أيام الأسبوع

البيانات: من موقع بيقوللك
فاصل: كل 30 دقيقة
مدة البحث: من 2/12/2011 – 30/12/2011

استنتاج

أسوأ الطريق في القاهرة (من حيث حركة المرور) هو كوبري ٦ أكتوبر – كلا الجانبين
أعلى نقطة من الكثافة المرورية (كل يوم) هو 18:30 مساء
أعلى ساعة الكثافة المرورية (كل يوم) هو 18:00 مساء
أدنى ساعة الكثافة المرورية (كل يوم) هو 06:00
أعلى كثافة حركة المرور هو فترة من 15:00 مساءا إلى 20:0٠ مساء
أقل كثافة حركة المرور تمتد هو 4:00 حتي 06:00
ذات يوم (من حيث حركة المرور) هو يوم الثلاثاء
أدنى اليوم (من حيث حركة المرور) هو يوم الجمعة
أقل من أيام الأسبوع (من حيث حركة المرور) هو يوم الأربعاء – يوم الجمعة هو يوم عطلة نهاية الاسبوع في مصر
البيانات الخام والمخططات البيانية

البيانات الخام والمخططات البيانية

وأضاف كريم بعض المخططات على المدونة هنا. كما نشر البيانات الخام في جدول هنا.

تايم مابر

Tarek Amr — Sat, 21 Dec 2013 16:44:34 +0000

أحيانا تريد أن تسرد التسلسل الزمني لبعض الأحداث على صفحتك أو مدونتك، وبالإضافة لتوفير خاصية تصفح الأحداث المتتالية عن طريق تتبع الخط الزمني المبين هناك، يمكنك أيضا مشاهدة توزيعهم على الخريطة، تطبيق تايم مابر يتيح لك كل ذلك بصورةسهلة وبسيطة ويمكنك التعرف على كيفية إستخدامه عن طريق هذا الفيديو القصير الموضوع هنا

رابط لتطبيق تايم مابر
http://timemapper.okfnlabs.org/

Scripting in Google Spreadsheets

Tarek Amr — Thu, 05 Dec 2013 12:02:05 +0000

You can do a lot of things with Google Drive via scripts, but I will focus here on the most simple scripting scenario. You all have used functions in Excel or similar spreadsheet application to make the value of one cell depend on that of other cells. For example, we usually use the sum() to put the summation of a whole row or column in one cell and we call it total. Nevertheless, in Google Spreadsheets, you can also write your own functions, and in those functions, you can even call external sources or applications.

Scripts can give your spreadsheets super powers

In my case, I have spreadsheet with one column the represents peoples’ addresses, and I wanted to add another column that contains the latitude and longitude extracted from that address. Easy peasy! From the ‘Tools’ menu select ‘Script Manager’, then click on the ‘New’ button. Then, you are given a page where you can write some JavaScript code.I created a function and called it latlng() which takes one parameter, address. In that function I called Maps.newGeocoder().geocode(address), this returns the results in a json format. I then parsed the results and returned the resulting latitude and longitude. Voila! That’s it. All you have to do now is to use that new latlng() function in your spreadsheet, the same way you used to use any other built-in functions, for example, sum(), or max().

This article was originally written here, also here is a link to a script that converts addresses into latitudes and longitudes in Goolge Spreadsheets.

No women photos allowed

Tarek Amr — Sat, 30 Nov 2013 11:57:45 +0000

Having the Arabic language being written from right to left, the web developers need to adapt their code to render the Arabic text correctly. Today, I’ve stumbled upon this online tool that enables developers to convert their CSS code from one direction (LTR) to the other (RTL).

RTL CSS Usage Agreement

However, I’d like to discuss the usage agreement of the tool, which states the following:

It is prohibited to use this tool for designing or developing websites that has content that is not compliant with the Islamic religion.
It is prohibited to use this tool for designing or developing websites that contains photos of women.
It is prohibited to use this tool to convert code that you are not allowed to use.
We do not store the CSS entered by the users, and any uploaded files are being frequently deleted.

As you may know, in both of the Open Definition and Open Source Definition, it is stated that there should be no discrimination against fields of endeavor:

The license must not restrict anyone from making use of the work/program in a specific field of endeavor. For example, it may not restrict the work/program from being used in a business, or from being used for genetic research.

For sure that author of the tool, did not say that his tool is compliant with any of the above definitions, however, I found it a good opportunity to open a discussion about the different usage agreements we see:

Do think that the restrictions made by the tool author are harmful to the spread of the Arabic content online?
Do you find it morally accepted for that author to put any restrictions that comply with his set of beliefs? Should that be taken into the considerations of the licenses as well? Shall we have an Arabic (or Islamic) variation of the Open Definition for example?

Tools – Open Knowledge Foundation Egypt

أساسيات جدول البيانات

طريقة تصميم الخرائط الشجرية باستخدام Google Drive