MS SQL vs Python Pandas Cheatsheet (Leetcode EASY) (1).pdf
۲۱۶.۸۲ کیلوبایت
این کار جالبه. یک سوال مطرح میکنه و بعد به دو شیوه
1- SQL 2- Pandas
سوال رو پاسخ میده. مولف میگوید خیلی اوقات در مصاحبههای پوزیشنهای مرتبط با دیتا میپرسند که به دو روش فلان مسئله رو برامون حل کن..
منبع در لینکدین
@elmedadeir
1- SQL 2- Pandas
سوال رو پاسخ میده. مولف میگوید خیلی اوقات در مصاحبههای پوزیشنهای مرتبط با دیتا میپرسند که به دو روش فلان مسئله رو برامون حل کن..
منبع در لینکدین @elmedadeir
۶
اینهمه خودمون رو میکشیم و ایتیال (ETL) میکنیم تا در نهایت دیتا برسه به دیتابیس (بعنوان مثال پوستگرس)، حالا اسکیوال (SQL) این وسط چیکاره هست؟ اصلن چرا باید یاد بگیریم اسکیوال رو؟
خب، وقتی دیتای تمیز و دارای ساختار رو میریزیم داخل جداول دیتابیس، الان خیلی راحت با اسکیوال میتونیم جستجوهای مختلفی رو روی این دیتا بزنیم، کاری که شاید با این جزئیات نتونیم با اکسل در بیاریم. بخصوص وقتی حجم دیتا میره بالا.
پس اسکیوال بما اجازه میده که بتونیم برای سوالات مختلفی که در تیم بوجود میاد، با اجرا کردن یک به اصطلاح کوئری، به نتیجه مطلوبمون برسیم.
حالا از اینجا به بعد داستان، دیگه میشه مباحث بهینهسازیهای مختلف. اینکه نوع دیتامون چی هست و باید از چه دیتابیسی استفاده کنیم. در واقع از مرحلهای به بعد که بهبودها فقط اپسیلونی میشوند، تفاوت مهندسین معمولی با افرد باتجربه، ممکنه در بهبود مقداری اندک از متریکها در سیستم دیتایی مجموعه باشه.
و نکته جالب داستان اینجاست؛
از این مرحله به بعد که ما به چندتا از ابهامات ذهنی در خصوص مسائل بنیادی پاسخ دادیم، دیگه فقط باید کار و مطالعه کنیم تا شاید ما هم بتونیم در چنین حوزههایی به تخصص واقعی برسیم. تخــصـــص، چیزی که در عصر هوش مصنوعی شاید در حال رنگ باختن باشد.
پینوشت: تا میتونید از این نقاشیها (تصویر پیوست) برای خودتون بکشید. در ظاهر بدیهی هستند. ولی خیلی بما کمک میکنند تا یک بحث رو عمیقتر درک کنیم. .@elmedadeir
خب، وقتی دیتای تمیز و دارای ساختار رو میریزیم داخل جداول دیتابیس، الان خیلی راحت با اسکیوال میتونیم جستجوهای مختلفی رو روی این دیتا بزنیم، کاری که شاید با این جزئیات نتونیم با اکسل در بیاریم. بخصوص وقتی حجم دیتا میره بالا.
پس اسکیوال بما اجازه میده که بتونیم برای سوالات مختلفی که در تیم بوجود میاد، با اجرا کردن یک به اصطلاح کوئری، به نتیجه مطلوبمون برسیم.
حالا از اینجا به بعد داستان، دیگه میشه مباحث بهینهسازیهای مختلف. اینکه نوع دیتامون چی هست و باید از چه دیتابیسی استفاده کنیم. در واقع از مرحلهای به بعد که بهبودها فقط اپسیلونی میشوند، تفاوت مهندسین معمولی با افرد باتجربه، ممکنه در بهبود مقداری اندک از متریکها در سیستم دیتایی مجموعه باشه.
و نکته جالب داستان اینجاست؛
از این مرحله به بعد که ما به چندتا از ابهامات ذهنی در خصوص مسائل بنیادی پاسخ دادیم، دیگه فقط باید کار و مطالعه کنیم تا شاید ما هم بتونیم در چنین حوزههایی به تخصص واقعی برسیم. تخــصـــص، چیزی که در عصر هوش مصنوعی شاید در حال رنگ باختن باشد.
پینوشت: تا میتونید از این نقاشیها (تصویر پیوست) برای خودتون بکشید. در ظاهر بدیهی هستند. ولی خیلی بما کمک میکنند تا یک بحث رو عمیقتر درک کنیم. .@elmedadeir
۴در این سالها، من با زبانهای برنامهنویسی زیادی کار نکردم. اما بعنوان مثال در دانشگاه زمانی سیپلاسپلاس درس میدادم. چندتا پروژه با جاوا زدم. با پایتون زیاد کار کردم، در آموزش، پژوهش و اجرا.
پس شد سه زبان؛
سیپلاسپلاس جاواپایتون
ولی همیشه در ته ذهنم ابهامهایی در خصوص برنامهنویسی وجود داشت. بخصوص برای ماهایی که مهندس نرمافزار و توسعه دهندهی نرمافزار نیستیم. فقط با دیتا کار میکنیم. خیلی به عمق طراحیهای مختلف با پارادایمهای گوناگون نمیریم. بیشتر یک اپ مینویسیم که گوشهای از کار دیتاپایپلاین رو ببره جلو.
این داستان ادامه داشت تا با زبان برنامهنویسی راست آشنا شدم، آموزش ویدیویی دیدم، کدهای قبلی خودم که با پایتون نوشته شده بود، به راست تبدیل کردم. کتاب و مقاله خوندم و باز هم دارم میخونم.
نمیدونم چرا. ولی بشخصه برای بنده راست زبانی بود که به اون ابهامهای ذهنی من در دنیای برنامهنویسی پاسخ داد. بخصوص در دنیای کار با دیتا، چون راست بشدت به نوع داده یا همونData Typeحساسیت داره. فکر کنم به همین دلیل بود که وقتی با راست کدنویسی کردم، تونستم عمیقتر بشم در دنیای کدها و حتی دیتا و از این لحاظ بسیار خرسندم. البته هنوز هم خیلی از چیزها رو نمیدونم و ندونستن رو عیب نمیدانم. چون هر روز برای بهتر شدن، تلاش میکنم و مطالعه دارم.
واقعن از کار با راست لذت میبرم و بشما هم توصیه میکنم که اگر از کدزنی با پایتون خسته شدید (و دیگه خیلی تکراری شده براتون)، کمی در خصوص راست مطالعه کنید، و چه بهتر که مقداری هم با راست کد بزنید و آموزش ببینید. بقول ما ترکها «چثـــــــافت خیلــــــی باحالـــــــــــه». همه چیز اصولی طراحی شده و سعی کردند که اون نقاط ضعف برنامههای پیش از خودش رو بهبود بدهند. از این لحاظ ممنون Graydon Hoareهستم که چنین پروژه خفنی رو استارت زد..#Rust.@elmedadeir
پس شد سه زبان؛
سیپلاسپلاس جاواپایتون
ولی همیشه در ته ذهنم ابهامهایی در خصوص برنامهنویسی وجود داشت. بخصوص برای ماهایی که مهندس نرمافزار و توسعه دهندهی نرمافزار نیستیم. فقط با دیتا کار میکنیم. خیلی به عمق طراحیهای مختلف با پارادایمهای گوناگون نمیریم. بیشتر یک اپ مینویسیم که گوشهای از کار دیتاپایپلاین رو ببره جلو.
این داستان ادامه داشت تا با زبان برنامهنویسی راست آشنا شدم، آموزش ویدیویی دیدم، کدهای قبلی خودم که با پایتون نوشته شده بود، به راست تبدیل کردم. کتاب و مقاله خوندم و باز هم دارم میخونم.
نمیدونم چرا. ولی بشخصه برای بنده راست زبانی بود که به اون ابهامهای ذهنی من در دنیای برنامهنویسی پاسخ داد. بخصوص در دنیای کار با دیتا، چون راست بشدت به نوع داده یا همونData Typeحساسیت داره. فکر کنم به همین دلیل بود که وقتی با راست کدنویسی کردم، تونستم عمیقتر بشم در دنیای کدها و حتی دیتا و از این لحاظ بسیار خرسندم. البته هنوز هم خیلی از چیزها رو نمیدونم و ندونستن رو عیب نمیدانم. چون هر روز برای بهتر شدن، تلاش میکنم و مطالعه دارم.
واقعن از کار با راست لذت میبرم و بشما هم توصیه میکنم که اگر از کدزنی با پایتون خسته شدید (و دیگه خیلی تکراری شده براتون)، کمی در خصوص راست مطالعه کنید، و چه بهتر که مقداری هم با راست کد بزنید و آموزش ببینید. بقول ما ترکها «چثـــــــافت خیلــــــی باحالـــــــــــه
». همه چیز اصولی طراحی شده و سعی کردند که اون نقاط ضعف برنامههای پیش از خودش رو بهبود بدهند. از این لحاظ ممنون Graydon Hoareهستم که چنین پروژه خفنی رو استارت زد..#Rust.@elmedadeir۴۲ کاری از محمد فلاحی در لینکدینبرای خیلی از دوستان و همکارانم در ایران، دسترسی پایدار به APIهای ابری مدل زبانی همیشه ساده نیست؛ هزینه، محدودیت پرداخت، یا وابستگی به اینترنت و سرویس خارجی کار را سخت میکند.به همین دلیل پروژه ollama-chat-rag را منتشر کردم:یک چتبات self-hosted که با Ollama روی سیستم خودتان اجرا میشود — بدون نیاز به API پولی.اگر در ایران هستید و میخواهید مدل زبانی را روی لپتاپ یا PC خودتان داشته باشید (مثلاً Qwen، Llama یا مدلهای فارسیتر)، میتوانید از همین پروژه استفاده کنید:گفتگو کاملاً محلی و روی دستگاه خودتانپاسخ لحظهای (استریم SSE)رابط وب فارسی (RTL)انتخاب مدل از UIراهاندازی ساده با FastAPIاستک: Python · FastAPI · Ollamaمجوز: MIT (اوپنسورس)
https://github.com/fallahim/ollama-chat-rag.
منبع در لینکدین.@elmedadeir۱کتابخانه dlt (data load tool)
در پایتون یک ابزار متنباز و قدرتمند برای ساخت خطوط لوله داده (Data Pipeline) است که فرآیند انتقال دیتا از منابع مختلف (API، دیتابیس، فایل) به مقصدهای گوناگون را فوقالعاده ساده میکند. این کتابخانه به صورت خودکار ساختار داده و اسکیما را تشخیص داده، دادههای تودرتو را مدیریت میکند و در صورت تغییر ساختار، به شما هشدار میدهد. از ویژگیهای برجستهی آن میتوان به:
- مقیاسپذیری بالا،- قابلیت اجرا روی پلتفرمهای مختلف- مصرف بهینه منابع،- مدیریت هوشمند خطا،- و امکان ادامهی پردازش از نقطه توقف قبلی است که برای حجمهای عظیم داده (میلیاردها رکورد) حیاتی محسوب میشود.
این کتابخانه از مقصدهای متنوعی مانند
- S3- DuckDB- BigQuery- Snowflake
پشتیبانی کرده و با معماری سه مرحلهای
- Extract- Normalize- Load
دادهها را به شکلی امن و ساختاریافته منتقل میکند. اگر به دنبال راهکاری ساده و برمبنای پایتون برای مدیریت جریان دادههای خود هستید dlt یک انتخاب عالی خواهد بود..در این مقـــالـــه یک آموزش بسیار مختصر و مفید از dlt رو میبینیم..@elmedadeir
در پایتون یک ابزار متنباز و قدرتمند برای ساخت خطوط لوله داده (Data Pipeline) است که فرآیند انتقال دیتا از منابع مختلف (API، دیتابیس، فایل) به مقصدهای گوناگون را فوقالعاده ساده میکند. این کتابخانه به صورت خودکار ساختار داده و اسکیما را تشخیص داده، دادههای تودرتو را مدیریت میکند و در صورت تغییر ساختار، به شما هشدار میدهد. از ویژگیهای برجستهی آن میتوان به:
- مقیاسپذیری بالا،- قابلیت اجرا روی پلتفرمهای مختلف- مصرف بهینه منابع،- مدیریت هوشمند خطا،- و امکان ادامهی پردازش از نقطه توقف قبلی است که برای حجمهای عظیم داده (میلیاردها رکورد) حیاتی محسوب میشود.
این کتابخانه از مقصدهای متنوعی مانند
- S3- DuckDB- BigQuery- Snowflake
پشتیبانی کرده و با معماری سه مرحلهای
- Extract- Normalize- Load
دادهها را به شکلی امن و ساختاریافته منتقل میکند. اگر به دنبال راهکاری ساده و برمبنای پایتون برای مدیریت جریان دادههای خود هستید dlt یک انتخاب عالی خواهد بود..در این مقـــالـــه یک آموزش بسیار مختصر و مفید از dlt رو میبینیم..@elmedadeir
۷۱
بازی در دنیای مدلهای یادگیری ماشین خیلی عجیب و خوفناک شده. مهاجمین از طریق حملههای Black-Box Attacks یعنی، هنگامی که هیچ شناختی از معماری و ساختار و دیتایی که مدل ما با اون آموزش دیده ندارند، تنها با فهمیدن ورودی و خروجی، مدل رو بنوعی شبیهسازی میکنند تا به اهداف خودشون برسند.
در این عنوان؛
Adversarial AI Attacks, Mitigations, and Defense Strategies: A Cybersecurity Professional's Guide to AI Attacks, Threat Modeling, and Securing AI with #MLSecOps
خیلی دقیق به این مهم پرداخته شده. کتاب فوقالعادهای است. اگر امنیت مدلهای یادگیری ماشین یا استک هوش مصنوعی مجموعه براتون مهم هست، یا دنبال ارتقای مهارتی خودتون هستین، این کار رو مطالعه کنید.
دیگه فقط مدل تیون کردن و بردن به پروداکشن، مهم نیست. امنیت سرویسها بر پایهی هوش مصنوعی، اهمیت دو چندانی دارند. بخصوص اگر در محیطهای حساس کار میکنیم.
#ام_ال_سک_آپس.@elmedadeir
در این عنوان؛
Adversarial AI Attacks, Mitigations, and Defense Strategies: A Cybersecurity Professional's Guide to AI Attacks, Threat Modeling, and Securing AI with #MLSecOps
خیلی دقیق به این مهم پرداخته شده. کتاب فوقالعادهای است. اگر امنیت مدلهای یادگیری ماشین یا استک هوش مصنوعی مجموعه براتون مهم هست، یا دنبال ارتقای مهارتی خودتون هستین، این کار رو مطالعه کنید.
دیگه فقط مدل تیون کردن و بردن به پروداکشن، مهم نیست. امنیت سرویسها بر پایهی هوش مصنوعی، اهمیت دو چندانی دارند. بخصوص اگر در محیطهای حساس کار میکنیم.
#ام_ال_سک_آپس.@elmedadeir
۱Rust.pdf
۱۲.۵ مگابایت
جزوه زبان برنامهنویسی راست (Rust) در دانشگاه شهید بهشتی
مولف: میلاد وزان.سپاس از ایشان بابت نشر چنین جزوهای .@elmedadeir
مولف: میلاد وزان.سپاس از ایشان بابت نشر چنین جزوهای .@elmedadeir۴۳
۳